Naukowcy tworzą ogromne zbiory dowodów w celu opracowania skutecznych polityk

Naukowcy tworzą ogromne zbiory dowodów w celu opracowania skutecznych polityk

Inwestorzy inwestują dziesiątki tysięcy milionów dolarów w ambitny plan rozwiązania największego problemu doradztwa naukowego: dostarczania dowodów rządom. Ich celem jest stworzenie systemu, który umożliwi decydentom na całym świecie generowanie szybkich syntez dowodów naukowych, które pomogą im opracować polityki oparte na dowodach krytycznych problemów, takich jak zmiany klimatyczne rozwiązać.

„Ostatecznie moglibyśmy ogromnie zyskać na świecie, w którym kompleksowe syntezy dowodów dotyczące każdego głównego problemu społecznego są dostępne w jednym miejscu i stale aktualizowane” – mówi Will Moy, który kieruje Campbell Collaboration, międzynarodową organizacją non-profit wspierającą oceny nauk społecznych.

Chociaż badacze zajmujący się dziedzinami istotnymi dla polityki prowadzą różnorodne badania, syntezy przedstawiające wagę dowodów na dany temat są w wielu obszarach rzadkością i nie są rutynowo wykorzystywane do wyznaczania kierunków kształtowania polityki. „Istnieje ogromne zapotrzebowanie” ze strony decydentów na takie syntezy, mówi Jen Gold, dyrektor ds. badań w brytyjskiej agencji finansującej Economic and Social Research Council (ESRC). „Ale oferta nie pasuje”.

Synteza dowodów to „wszystko, co świat wie o tym, jak rozwiązać ważny problem, w jednym miejscu” – wyjaśnia Moy. W medycynie lekarze rutynowo korzystają z tysięcy przeglądów systematycznych – dokładne syntezy badań, takich jak randomizowane badania leków – które pokazują, czy leczenie pomaga, czy szkodzi. Jednakże w większości innych dziedzin brakuje tak kompleksowej podstawy (patrz „Brakujące syntezy”). Wydobycie znaczenia z ogromnego zbioru badań może zająć miesiące lub lata, a agencje finansujące w przeszłości wydawały stosunkowo niewiele na syntezę wiedzy w porównaniu z miliardami, które wydawały na nowe badania.

Aby rozwiązać ten problem, ESRC i Wellcome, fundator badań biomedycznych w Londynie, ogłosiły 21 września, że ​​w ciągu pięciu lat zainwestują odpowiednio 9,2 miliona funtów (12,2 miliona dolarów) i około 45 milionów funtów w bazy danych i narzędzia, które mogą pomóc w syntezie badań. Brytyjski minister nauki Patrick Vallance i szef Wellcome, John-Arne Røttingen, ogłosili finansowanie podczas wydarzenia w Nowym Jorku związanego ze Szczytem Narodów Zjednoczonych w sprawie przyszłości – spotkaniem mającym na celu kształtowanie lepszego świata, w tym poprzez naukę.

Naukowcy z radością przyjęli tę wiadomość – uważaną za jedną z największych pojedynczych inwestycji w syntezę dowodów – i twierdzą, że pojawiła się we właściwym czasie, ponieważ postęp w sztucznej inteligencji (AI) przyspiesza proces wyszukiwania i łączenia badań. „To niezwykle ekscytujące” – mówi Isabelle Mercier, badaczka pracująca w Programie Narodów Zjednoczonych ds. Rozwoju Potwierdzone syntezy dowodów w ONZ. „Cztery lata temu było to zbyt duże, aby o tym myśleć, ale teraz zaczynamy widzieć, że naprawdę możemy to urzeczywistnić” – mówi.

Ale sztuczna inteligencja również utrudnia to zadanie, ponieważ chatboty AI, takie jak ChatGPT, mogą generować wiarygodnie brzmiące, ale potencjalnie wprowadzające w błąd podsumowania wyników badań. „Wyzwanie polega na tym, jak oddzielić to, co jest naprawdę niezawodne od tego, co nie jest” – mówi Moy.

Produkcja syntez jest zwykle powolna, trudna i kosztowna. Naukowcy prowadzący przegląd systematyczny muszą przeszukiwać ogólnoświatowe bazy danych opublikowanych i niepublikowanych artykułów, aby znaleźć potencjalnie istotne badania. Następnie redukują długą listę tysięcy badań do najbardziej odpowiednich, oceniają ich wiarygodność, wyodrębniają dane i łączą wyniki, czasami stosując metodę statystyczną zwaną metaanalizą. Nawet po ukończeniu syntezy dowodów często nie docierają do decydentów i szybko stają się nieaktualne w miarę pojawiania się nowych badań. „Kiedy decydent ma pytanie, znalezienie wyników badań nie powinno zająć trzech miesięcy” – mówi James Thomas, specjalista ds. syntezy badań na University College London. „To jest śmieszne.”

Problem pogorszył się podczas pandemii Covid-19, kiedy władze na całym świecie potrzebowały szybkiej syntezy, aby podejmować decyzje dotyczące leków, masek i obostrzeń. Początkowo naukowcy nie byli w stanie zapewnić ich wystarczająco szybko, ale potem je wyprodukowali zbyt wiele podwójnych syntez i kiepskich ocen.

Marzeniem naukowców jest to, aby każdy, gdziekolwiek, mógł za naciśnięciem jednego przycisku stworzyć syntezę dostosowaną do swojego pytania i regionu. W tym celu badacze chcą stworzyć „banki dowodów”: wspólne bazy danych zawierające wstępnie wybrane badania, oznaczone informacjami takimi jak metoda i lokalizacja oraz zawierające dane we wspólnym formacie umożliwiającym ich łączenie. Wyszkolone narzędzia sztucznej inteligencji powinny wykonywać większość żmudnej pracy polegającej na sortowaniu badań i syntezie danych, podczas gdy ludzie sprawdzają jakość – na przykład oceniając możliwe błędy w badaniach podstawowych.

Niektóre bazy danych są już na dobrej drodze. Education Endowment Foundation (EEF), organizacja charytatywna z siedzibą w Londynie, posiada bazę danych zawierającą ponad 3500 badań edukacyjnych. Korzystając z tej bazy danych, organizacja stworzyła serię systematycznych przeglądów, które Wpływ korepetycji, prac domowych i wielkości klas na uczenie się ujawnić. Udostępnia bazę danych i przeglądy wielu krajom, aby uniknąć powtarzania pracy przez inne osoby. Idealnie byłoby, gdyby „zamiast robić sześć oddzielnych przeglądów systematycznych, stworzyłbyś jeden świetny przegląd, z którego moglibyśmy wspólnie korzystać” – mówi Jonathan Kay, który kieruje pracami nad syntezą dowodów w EEF.

Najnowsze inwestycje mogłyby ostatecznie doprowadzić do powstania szeregu baz danych podobnych do EFR, gotowych do syntezy na potrzeby kluczowych obszarów polityki, takich jak ochrona środowiska. Na tej podstawie zwolennicy chcą zbudować „żywe” – lub stale aktualizowane – syntezy dowodów, które pokazują na przykład, że co pomaga ograniczyć zmiany klimatyczne, poprawę zdrowia psychicznego i zmniejszenie bezrobocia wśród młodych osób.

Wellcome zamierza finansować konsorcja tworzące platformy danych i narzędzia pomagające osiągnąć ten cel. To „niezwykłe posunięcie Wellcome” – mówi Tariq Khokhar, szef organizacji charytatywnej ds. danych dotyczących nauki i zdrowia. Organizacja znana jest z finansowania badań w dziedzinie zdrowia, ale pieniądze te mogą pomóc w uczynieniu dowodów z różnych dyscyplin bardziej zrozumiałymi. „To naprawdę fundament, na którym każdy może budować” – mówi.

ESRC planuje sfinansować konsorcjum w celu przyspieszenia syntezy dowodów i opracowania pierwszych wersji syntez na żywo w obszarach takich jak zdrowe starzenie się. Khokhar twierdzi, że te dwa wysiłki byłyby różne, ale mogłyby się pokrywać.

ESRC pragnie także, aby jej konsorcjum opracowało sposoby ułatwiające decydentom korzystanie z syntezy dowodów. Niektórzy brytyjscy urzędnicy zaczynają używać narzędzia sztucznej inteligencji o nazwie Redbox Copilot do analizowania i podsumowywania dokumentów i przemówień rządowych. Naukowcy mogliby opracować narzędzia, które „uwzględniłyby w tym procesie dowody z przeglądu systematycznego” – mówi Gold.

55 milionów funtów nie wystarczy na osiągnięcie płynnej syntezy dowodów, o której marzą zwolennicy. Darczyńcy mają jednak nadzieję zgromadzić więcej funduszy i że ta początkowa inwestycja zachęci innych darczyńców do zaangażowania się. „Zamysł jest taki, że każda inwestycja może opierać się na ogromie pracy, która została już wykonana” – mówi Khokhar.