Forskare utvecklar enorma arkiv med bevis för att utveckla effektiva policyer

Forskare utvecklar enorma arkiv med bevis för att utveckla effektiva policyer

Investerare häller tiotusentals miljoner dollar i en ambitiös plan för att lösa det största problemet inom vetenskaplig rådgivning: att tillhandahålla bevis till regeringar. Deras mål är att skapa ett system som gör det möjligt för beslutsfattare över hela världen att generera snabba synteser av vetenskapliga bevis som hjälper dem att utveckla evidensbaserad policy kritiska problem som klimatförändringar att lösa.

"Vi skulle i slutändan kunna dra enorm nytta av en värld där omfattande bevissynteser om alla större sociala problem finns tillgängliga på ett ställe, ständigt uppdaterade", säger Will Moy, som leder Campbell Collaboration, en internationell ideell organisation som stöder samhällsvetenskapliga bedömningar.

Även om forskare inom policyrelevanta områden producerar en mängd olika studier, är synteser som representerar vikten av bevis om ett ämne sällsynta inom många områden och används inte rutinmässigt för att vägleda policyskapande. "Det finns en enorm efterfrågan" från beslutsfattare på sådana synteser, säger Jen Gold, forskningschef vid Economic and Social Research Council (ESRC), en brittisk finansieringsbyrå. "Men erbjudandet stämmer inte."

Bevissyntes är "allt världen vet om hur man löser ett viktigt problem på ett ställe", förklarar Moy. Inom medicin använder läkare rutinmässigt tusentals systematiska recensioner - grundliga synteser av studier som randomiserade läkemedelsprövningar – som visar om behandling hjälper eller skadar. Inom de flesta andra områden saknas dock en sådan heltäckande grund (se 'Synteser saknas'). Det kan ta månader eller år att utvinna mening ur en stor mängd forskning – och finansiärer har historiskt sett spenderat jämförelsevis lite på att syntetisera kunskap jämfört med de miljarder de spenderar på ny forskning.

För att komma till rätta med detta meddelade ESRC och Wellcome, den biomedicinska forskningsfinansiären i London, den 21 september att de investerar £9,2 miljoner ($12,2 miljoner) respektive cirka £45 miljoner under fem år i databaser och verktyg som kan hjälpa till att syntetisera forskning. Storbritanniens vetenskapsminister Patrick Vallance och Wellcome-chefen John-Arne Røttingen tillkännagav finansieringen vid ett evenemang i New York kopplat till FN:s toppmöte om framtiden, ett möte som syftar till att forma en bättre värld, bland annat genom vetenskap.

Forskare har välkomnat nyheterna - som tros vara en av de största enskilda investeringarna i bevissyntes - och säger att de kommer vid rätt tidpunkt eftersom framstegen inom artificiell intelligens (AI) påskyndar processen att hitta och kombinera studier. "Det är så spännande", säger Isabelle Mercier, forskare vid FN:s utvecklingsprogram Understödda bevissynteser i FN. "För fyra år sedan var det här för stort att tänka på, men nu börjar vi se att vi faktiskt kan få det att hända", säger hon.

Men AI gör också uppgiften svårare, eftersom AI-chatbotar som ChatGPT kan generera trovärdiga men potentiellt missvisande sammanfattningar av forskningsresultat. "Utmaningen är hur man kan skilja det som verkligen är pålitligt från det som inte är det", säger Moy.

Framställningen av synteser är vanligtvis långsam, svår och dyr. Forskare som gör en systematisk översikt måste söka i världsomspännande databaser med publicerade och opublicerade artiklar för att hitta potentiellt relevanta studier. De reducerar sedan en lång lista med tusentals studier till de mest relevanta, bedömer deras tillförlitlighet, extraherar data och kombinerar resultaten, ibland med hjälp av en statistisk metod som kallas metaanalys. Även när de är klara når bevissynteserna ofta inte beslutsfattare och blir snabbt föråldrade när ny forskning kommer. "När en beslutsfattare kommer med en fråga bör det inte ta tre månader att hitta forskningen", säger James Thomas, en specialist på forskningssyntes vid University College London. "Det här är löjligt."

Problemet förvärrades under covid-19-pandemin, när myndigheter överallt behövde snabb syntes för att fatta beslut om mediciner, masker och låsningar. Först kunde forskarna inte tillhandahålla dem tillräckligt snabbt - men sedan producerade de dem för många dubbletter av synteser och dåliga utvärderingar.

Forskarnas dröm är att vem som helst, var som helst, skulle kunna sätta ihop en syntes anpassad till deras fråga och region med en knapptryckning. För att göra detta vill forskare skapa "bevisbanker": delade databaser med förutvalda studier, taggade med information som metod och plats, och som innehåller data i ett gemensamt format så att de kan kombineras. Utbildade AI-verktyg borde göra det mesta av det tråkiga arbetet med att sortera studier och syntetisera data, medan människor kontrollerar kvalitet – till exempel genom att bedöma möjliga fördomar i de underliggande studierna.

Vissa databaser är redan på rätt väg. Education Endowment Foundation (EEF), en välgörenhetsorganisation i London, har en databas med mer än 3 500 utbildningsstudier. Med hjälp av denna databas har organisationen skapat en serie systematiska översikter som Inflytande av handledning, läxor och klassstorlek på lärande avslöja. Den delar databasen och översikterna med flera länder för att undvika att andra upprepar arbetet. Helst, "istället för att göra sex separata systematiska granskningar skapar du en bra recension som vi kan använda tillsammans", säger Jonathan Kay, som leder bevissyntesarbetet vid EEF.

De senaste investeringarna kan så småningom leda till en serie databaser som liknar EUF, redo att syntetiseras för viktiga politikområden som miljöskydd. Av dessa vill förespråkarna bygga "levande" - eller ständigt uppdaterade - bevissynteser som visar t.ex. som bidrar till att minska klimatförändringarna, förbättra den mentala hälsan och minska ungdomsarbetslösheten.

Wellcome avser att finansiera konsortier som utvecklar dataplattformar och verktyg som hjälper till att uppnå detta mål. Det här är "ett ovanligt drag av Wellcome", säger Tariq Khokhar, välgörenhetschefen för data för vetenskap och hälsa. Organisationen är känd för att finansiera hälsoforskning, men dessa pengar kan hjälpa till att göra bevis över discipliner mer begripliga. "Det är verkligen en grund som alla kan bygga på", säger han.

ESRC planerar att finansiera ett konsortium för att påskynda bevissyntesen och utveckla första versioner av levande synteser inom områden som hälsosamt åldrande. De två ansträngningarna skulle vara olika men kan överlappa varandra, säger Khokhar.

ESRC vill också att dess konsortium ska utveckla sätt att göra det lättare för beslutsfattare att använda bevissyntes. Vissa brittiska tjänstemän börjar använda ett AI-verktyg som heter Redbox Copilot för att analysera och sammanfatta regeringsdokument och tal. Forskare kan utveckla verktyg som "integrerar systematiska granskningsbevis i denna process", säger Gold.

De 55 miljonerna pund kommer inte att räcka för att uppnå den typ av sömlös bevissyntes som förespråkarna drömmer om. Men finansiärer hoppas kunna samla ihop fler medel - och att denna initiala investering kommer att uppmuntra andra finansiärer att engagera sig. "Tanken är att varje investering kan bygga på mycket arbete som redan har gjorts", säger Khokhar.