Forskere utvikler enorme arkiver av bevis for å utvikle effektive retningslinjer

Forskere utvikler enorme arkiver av bevis for å utvikle effektive retningslinjer

Investorer strømmer titusenvis av millioner av dollar inn i en ambisiøs plan for å løse det største problemet innen vitenskapelig rådgivning: å fremskaffe bevis til regjeringer. Målet deres er å lage et system som gjør det mulig for beslutningstakere over hele verden å generere raske synteser av vitenskapelig bevis som vil hjelpe dem å utvikle evidensbasert politikk kritiske problemer som klimaendringer å løse.

"Vi kan til syvende og sist ha stor nytte av en verden der omfattende bevissynteser om alle store sosiale problemer er tilgjengelige på ett sted, kontinuerlig oppdatert," sier Will Moy, som leder Campbell Collaboration, en internasjonal ideell organisasjon som støtter samfunnsvitenskapelige vurderinger.

Selv om forskere innen politikkrelevante områder produserer en rekke studier, er synteser som representerer vekten av bevis om et emne sjeldne på mange områder og brukes ikke rutinemessig for å veilede politikkutforming. "Det er stor etterspørsel" fra beslutningstakere etter slike synteser, sier Jen Gold, forskningsdirektør ved Economic and Social Research Council (ESRC), et britisk finansieringsbyrå. "Men tilbudet stemmer ikke."

Bevissyntese er "alt verden vet om hvordan man løser et viktig problem på ett sted," forklarer Moy. I medisin bruker leger rutinemessig tusenvis av systematiske oversikter – grundige synteser av studier som randomiserte legemiddelforsøk – som viser om behandling hjelper eller skader. På de fleste andre områder mangler imidlertid et slikt omfattende grunnlag (se 'Manglende synteser'). Det kan ta måneder eller år å hente ut mening fra et stort forskningskorpus – og finansieringsbyråer har historisk sett brukt relativt lite på å syntetisere kunnskap sammenlignet med milliardene de bruker på ny forskning.

For å løse dette kunngjorde ESRC og Wellcome, den biomedisinske forskningsfinansiereren i London, den 21. september at de investerer henholdsvis 9,2 millioner pund (12,2 millioner dollar) og rundt 45 millioner pund over fem år i databaser og verktøy som kan bidra til å syntetisere forskning. Den britiske vitenskapsministeren Patrick Vallance og Wellcome-sjef John-Arne Røttingen kunngjorde finansieringen på et arrangement i New York knyttet til FNs toppmøte om fremtiden, et møte med sikte på å forme en bedre verden, inkludert gjennom vitenskap.

Forskere har ønsket nyheten velkommen – antatt å være en av de største enkeltinvesteringene i bevissyntese – og sier at den kommer til rett tid ettersom fremskritt innen kunstig intelligens (AI) fremskynder prosessen med å finne og kombinere studier. "Det er så spennende," sier Isabelle Mercier, en forsker ved FNs utviklingsprogram Støttede bevissynteser i FN. "For fire år siden var dette for stort til å tenke på, men nå begynner vi å se at vi faktisk kan få det til," sier hun.

Men AI gjør også oppgaven vanskeligere, ettersom AI-chatbots som ChatGPT kan generere troverdige, men potensielt misvisende sammendrag av forskningsresultater. "Utfordringen er hvordan man kan skille det som virkelig er pålitelig fra det som ikke er det," sier Moy.

Produksjonen av synteser er vanligvis langsom, vanskelig og kostbar. Forskere som gjennomfører en systematisk oversikt må søke i verdensomspennende databaser med publiserte og upubliserte artikler for å finne potensielt relevante studier. De reduserer deretter en lang liste med tusenvis av studier til de mest relevante, vurderer påliteligheten deres, trekker ut dataene og kombinerer resultatene, noen ganger ved hjelp av en statistisk metode kalt metaanalyse. Selv når de er fullført, når bevissynteser ofte ikke beslutningstakere og blir raskt utdaterte etter hvert som ny forskning kommer. "Når en politiker kommer med et spørsmål, bør det ikke ta tre måneder å finne forskningen," sier James Thomas, en forskningssyntesespesialist ved University College London. "Dette er latterlig."

Problemet forverret seg under COVID-19-pandemien, da myndighetene overalt trengte rask syntese for å ta beslutninger om medisiner, masker og nedstengninger. Til å begynne med kunne ikke forskere gi dem raskt nok - men så produserte de dem for mange dupliserte synteser og dårlige evalueringer.

Forskeres drøm er at hvem som helst, hvor som helst, kan sette sammen en syntese skreddersydd til deres spørsmål og region med et tastetrykk. For å gjøre dette ønsker forskerne å lage «bevisbanker»: delte databaser med forhåndsutvalgte studier, tagget med informasjon som metode og plassering, og som inneholder data i et felles format slik at de kan kombineres. Trente AI-verktøy bør gjøre det meste av det kjedelige arbeidet med å sortere studier og syntetisere data, mens mennesker sjekker kvalitet – for eksempel ved å vurdere mulige skjevheter i de underliggende studiene.

Noen databaser er allerede på rett vei. Education Endowment Foundation (EEF), en veldedig organisasjon i London, har en database med mer enn 3500 utdanningsstudier. Ved å bruke denne databasen har organisasjonen laget en serie systematiske oversikter som Påvirkning av veiledning, lekser og klassestørrelse på læring avsløre. Den deler databasen og oversiktene med flere land for å unngå at andre gjentar arbeidet. Ideelt sett, "i stedet for å gjøre seks separate systematiske gjennomganger, lager du én flott anmeldelse som vi kan bruke sammen," sier Jonathan Kay, som leder bevissyntesearbeidet ved EEF.

De siste investeringene kan til slutt føre til en serie databaser som ligner på EDF, klare til å syntetiseres for viktige politikkområder som miljøvern. Fra disse ønsker talsmenn å bygge «levende» – eller stadig oppdaterte – bevissynteser som viser f.eks. som bidrar til å redusere klimaendringene, forbedre mental helse og redusere ungdomsarbeidsledigheten.

Wellcome har til hensikt å finansiere konsortier som utvikler dataplattformer og verktøy som bidrar til å nå dette målet. Dette er «et uvanlig grep fra Wellcome», sier Tariq Khokhar, veldedighetssjefen for data for vitenskap og helse. Organisasjonen er kjent for å finansiere helseforskning, men disse pengene kan bidra til å gjøre bevis på tvers av disipliner mer forståelig. "Det er virkelig et grunnlag som alle kan bygge på," sier han.

ESRC planlegger å finansiere et konsortium for å akselerere bevissyntese og utvikle første versjoner av levende synteser på områder som sunn aldring. De to innsatsene vil være forskjellige, men kan overlappe hverandre, sier Khokhar.

ESRC ønsker også at konsortiet deres skal utvikle måter å gjøre det lettere for beslutningstakere å bruke bevissyntese. Noen britiske tjenestemenn begynner å bruke et AI-verktøy kalt Redbox Copilot for å analysere og oppsummere offentlige dokumenter og taler. Forskere kan utvikle verktøy som "inkorporerer systematisk gjennomgangsbevis i denne prosessen," sier Gold.

De 55 millioner pundene vil ikke være nok til å oppnå den typen sømløs bevissyntese som talsmenn drømmer om. Men finansiører håper å samle flere midler - og at denne innledende investeringen vil oppmuntre andre finansiører til å engasjere seg. "Ideen er at hver investering kan bygge på mye arbeid som allerede er gjort," sier Khokhar.