Wetenschappers ontwikkelen enorme hoeveelheden bewijsmateriaal om effectief beleid te ontwikkelen

Wetenschappers ontwikkelen enorme hoeveelheden bewijsmateriaal om effectief beleid te ontwikkelen

Investeerders steken tienduizenden miljoenen dollars in een ambitieus plan om het grootste probleem op het gebied van wetenschappelijk advies op te lossen: het leveren van bewijs aan regeringen. Hun doel is om een ​​systeem te creëren dat beleidsmakers wereldwijd in staat stelt snelle syntheses van wetenschappelijk bewijs te genereren, wat hen zal helpen bij het ontwikkelen van op bewijs gebaseerd beleid. kritieke problemen zoals klimaatverandering oplossen.

“Uiteindelijk zouden we enorm kunnen profiteren van een wereld waarin alomvattende bewijssyntheses over elk groot sociaal probleem op één plek beschikbaar zijn en voortdurend worden bijgewerkt”, zegt Will Moy, leider van de Campbell Collaboration, een internationale non-profitorganisatie die sociaalwetenschappelijke beoordelingen ondersteunt.

Hoewel onderzoekers op beleidsrelevante gebieden een verscheidenheid aan onderzoeken produceren, zijn syntheses die de bewijskracht over een onderwerp weergeven op veel gebieden zeldzaam en worden ze niet routinematig gebruikt om de beleidsvorming te sturen. “Er is een enorme vraag” van beleidsmakers naar dergelijke syntheses, zegt Jen Gold, onderzoeksdirecteur bij de Economic and Social Research Council (ESRC), een Brits financieringsagentschap. “Maar het aanbod komt niet overeen.”

Bewijssynthese is “alles wat de wereld weet over hoe een belangrijk probleem op één plek kan worden opgelost”, legt Moy uit. In de geneeskunde gebruiken artsen routinematig duizenden systematische reviews – grondige syntheses van onderzoeken zoals gerandomiseerde geneesmiddelenonderzoeken – waaruit blijkt of een behandeling helpt of schaadt. Op de meeste andere gebieden ontbreekt een dergelijke alomvattende basis echter (zie 'Ontbrekende syntheses'). Het kan maanden of jaren duren om betekenis te ontlenen aan een enorm corpus aan onderzoek – en financieringsinstanties hebben historisch gezien relatief weinig uitgegeven aan het synthetiseren van kennis, vergeleken met de miljarden die ze aan nieuw onderzoek besteden.

Om dit aan te pakken maakten de ESRC en Wellcome, de financier van biomedisch onderzoek in Londen, op 21 september bekend dat ze over een periode van vijf jaar respectievelijk £9,2 miljoen ($12,2 miljoen) en ongeveer £45 miljoen investeerden in databases en hulpmiddelen die kunnen helpen bij het synthetiseren van onderzoek. De Britse minister van Wetenschap Patrick Vallance en Wellcome-baas John-Arne Røttingen maakten de financiering bekend tijdens een evenement in New York dat verband hield met de United Nations Summit on the Future, een bijeenkomst gericht op het vormgeven van een betere wereld, onder meer door middel van wetenschap.

Onderzoekers hebben het nieuws verwelkomd – vermoedelijk een van de grootste afzonderlijke investeringen in de synthese van bewijsmateriaal – en zeggen dat het op het juiste moment komt, aangezien de vooruitgang op het gebied van kunstmatige intelligentie (AI) het proces van het vinden en combineren van studies versnelt. “Het is zo spannend”, zegt Isabelle Mercier, onderzoeker bij het Ontwikkelingsprogramma van de Verenigde Naties Ondersteunde bewijssyntheses bij de VN. “Vier jaar geleden was dit te groot om over na te denken, maar nu beginnen we in te zien dat we het ook daadwerkelijk kunnen realiseren”, zegt ze.

Maar AI maakt de taak ook moeilijker, omdat AI-chatbots zoals ChatGPT geloofwaardig klinkende maar potentieel misleidende samenvattingen van onderzoeksresultaten kunnen genereren. “De uitdaging is hoe we onderscheid kunnen maken tussen wat echt betrouwbaar is en wat niet”, zegt Moy.

De productie van syntheses is doorgaans traag, moeilijk en duur. Onderzoekers die een systematische review uitvoeren, moeten wereldwijde databases van gepubliceerde en ongepubliceerde artikelen doorzoeken om potentieel relevante onderzoeken te vinden. Vervolgens reduceren ze een lange lijst van duizenden onderzoeken tot de meest relevante onderzoeken, beoordelen hun betrouwbaarheid, extraheren de gegevens en combineren de resultaten, soms met behulp van een statistische methode die meta-analyse wordt genoemd. Zelfs als ze voltooid zijn, bereiken syntheses van bewijsmateriaal vaak niet de beleidsmakers en raken ze snel achterhaald als er nieuw onderzoek arriveert. “Als een beleidsmaker met een vraag komt, hoeft het geen drie maanden te duren om het onderzoek te vinden”, zegt James Thomas, specialist in onderzoekssynthese aan het University College London. “Dit is belachelijk.”

Het probleem verergerde tijdens de COVID-19-pandemie, toen autoriteiten overal een snelle synthese nodig hadden om beslissingen te nemen over medicijnen, maskers en lockdowns. Aanvankelijk konden wetenschappers ze niet snel genoeg leveren, maar toen produceerden ze ze te veel dubbele syntheses en slechte evaluaties.

De droom van wetenschappers is dat iedereen, waar dan ook, met één druk op de knop een synthese kan samenstellen die is afgestemd op zijn vraagstuk en regio. Om dit te doen willen onderzoekers 'evidence banks' creëren: gedeelde databases van vooraf geselecteerde onderzoeken, getagd met informatie zoals methode en locatie, en die gegevens in een gemeenschappelijk formaat bevatten zodat ze kunnen worden gecombineerd. Getrainde AI-tools zouden het grootste deel van het vervelende werk van het sorteren van onderzoeken en het synthetiseren van gegevens moeten doen, terwijl mensen de kwaliteit controleren – bijvoorbeeld door mogelijke vooroordelen in de onderliggende onderzoeken te beoordelen.

Sommige databases zijn al op de goede weg. De Education Endowment Foundation (EEF), een liefdadigheidsinstelling in Londen, beschikt over een database met meer dan 3.500 onderwijsstudies. Met behulp van deze database heeft de organisatie een reeks systematische reviews gemaakt Invloed van bijles, huiswerk en klasgrootte op het leren onthullen. Het deelt de database en overzichten met meerdere landen om te voorkomen dat anderen het werk herhalen. Idealiter “maak je, in plaats van zes afzonderlijke systematische reviews te doen, één geweldige review die we samen kunnen gebruiken”, zegt Jonathan Kay, die leiding geeft aan de bewijssynthese bij de EEF.

De nieuwste investeringen zouden uiteindelijk kunnen leiden tot een reeks databases vergelijkbaar met het EDF, klaar om te worden samengesteld voor belangrijke beleidsterreinen zoals milieubescherming. Op basis hiervan willen voorstanders ‘levende’ – of voortdurend bijgewerkte – bewijssyntheses bouwen die bijvoorbeeld aantonen: wat helpt de klimaatverandering terug te dringen, het verbeteren van de geestelijke gezondheid en het terugdringen van de jeugdwerkloosheid.

Wellcome is van plan consortia te financieren die dataplatforms en tools ontwikkelen die dit doel helpen bereiken. Dit is “een ongebruikelijke zet van Wellcome”, zegt Tariq Khokhar, hoofd data voor wetenschap en gezondheid van de liefdadigheidsinstelling. De organisatie staat bekend om het financieren van gezondheidsonderzoek, maar dit geld zou kunnen helpen om bewijsmateriaal uit verschillende disciplines begrijpelijker te maken. “Het is echt een fundament waarop iedereen kan voortbouwen”, zegt hij.

De ESRC is van plan een consortium te financieren om de synthese van bewijsmateriaal te versnellen en eerste versies van levende syntheses te ontwikkelen op gebieden zoals gezond ouder worden. De twee inspanningen zouden verschillend zijn, maar zouden elkaar kunnen overlappen, zegt Khokhar.

De ESRC wil ook dat zijn consortium manieren ontwikkelt om het voor beleidsmakers gemakkelijker te maken om bewijssynthese te gebruiken. Sommige Britse functionarissen beginnen een AI-tool genaamd Redbox Copilot te gebruiken om overheidsdocumenten en toespraken te analyseren en samen te vatten. Onderzoekers zouden instrumenten kunnen ontwikkelen die ‘systematisch review-bewijsmateriaal in dit proces integreren’, zegt Gold.

De £55 miljoen zal niet genoeg zijn om het soort naadloze bewijssynthese te verwezenlijken waar men van droomt. Maar financiers hopen meer geld bijeen te brengen – en dat deze initiële investering andere financiers zal aanmoedigen om mee te doen. “Het idee is dat elke investering kan voortbouwen op veel werk dat al is gedaan”, zegt Khokhar.