Wissenschaftler entwickeln riesige Beweisspeicher zur Entwicklung effektiver Politiken

Investoren stecken Zehntausende Millionen Dollar in einen ehrgeizigen Plan, um das größte Problem in der wissenschaftlichen Beratung zu lösen: die Bereitstellung von Evidenz für Regierungen. Ihr Ziel ist es, ein System zu schaffen, das es politischen Entscheidungsträgern weltweit ermöglicht, schnelle Synthesen von wissenschaftlichen Erkenntnissen zu generieren, die ihnen helfen, evidenzbasierte Politiken zu entwickeln, um kritische Probleme wie den Klimawandel zu lösen.

„Wir könnten letztendlich enorm von einer Welt profitieren, in der umfassende Evidenzsynthesen über jedes wichtige soziale Problem an einem Ort verfügbar sind, die kontinuierlich aktualisiert werden“, sagt Will Moy, der die Campbell Collaboration leitet, eine internationale gemeinnützige Organisation, die sozialwissenschaftliche Bewertungen unterstützt.

Obwohl Forscher in politikrelevanten Bereichen eine Vielzahl von Studien erstellen, sind Synthesen, die das Gewicht der Beweise zu einem Thema darstellen, in vielen Bereichen selten und werden nicht routinemäßig zur Leitlinie für die Politikgestaltung genutzt. „Es gibt eine enorme Nachfrage“ von politischen Entscheidungsträgern nach solchen Synthesen, sagt Jen Gold, Direktorin für Forschung beim Economic and Social Research Council (ESRC), einer britischen Förderagentur. „Aber das Angebot deckt sich nicht.“

Evidenzsynthesen sind „alles, was die Welt darüber weiß, wie man ein wichtiges Problem an einem Ort löst“, erklärt Moy. In der Medizin nutzen Ärzte routinemäßig Tausende von systematischen Übersichten – gründliche Synthesen von Studien wie randomisierten Arzneimitteltests –, die zeigen, ob eine Behandlung hilft oder schadet. In den meisten anderen Bereichen fehlt es jedoch an einer solch umfangreichen Grundlage (siehe ‚Fehlende Synthesen‘). Es kann Monate oder Jahre dauern, um aus einem riesigen Forschungskorpus Bedeutung zu extrahieren – und die Fördermittelgeber haben historisch gesehen vergleichsweise wenig für die Synthese von Wissen ausgegeben, im Vergleich zu den Milliarden, die sie für neue Forschung ausgeben.

Um dem entgegenzuwirken, gaben der ESRC und Wellcome, der biomedizinische Forschungsförderer in London, am 21. September bekannt, dass sie über fünf Jahre hinweg 9,2 Millionen GBP (12,2 Millionen USD) beziehungsweise etwa 45 Millionen GBP in Datenbanken und Werkzeuge investieren, die bei der Synthese von Forschung helfen können. Der britische Wissenschaftsminister Patrick Vallance und Wellcome-Chef John-Arne Røttingen kündigten die Finanzierung bei einer Veranstaltung in New York an, die mit dem Gipfel der Vereinten Nationen zur Zukunft verbunden war, einem Treffen, das darauf abzielt, eine bessere Welt zu gestalten, einschließlich durch Wissenschaft.

Forscher haben die Nachricht begrüßt – man geht davon aus, dass dies eine der größten Einzelinvestitionen in die Evidenzsynthese ist – und sagen, dass sie zur richtigen Zeit kommt, da Fortschritte in der künstlichen Intelligenz (KI) den Prozess der Auffindung und Kombination von Studien beschleunigen. „Es ist so aufregend“, sagt Isabelle Mercier, eine Forscherin beim Entwicklungsprogramm der Vereinten Nationen, die Evidenzsynthesen bei den UN unterstützt. „Vor vier Jahren war das zu groß, um darüber nachzudenken, aber jetzt beginnen wir zu sehen, dass wir es tatsächlich umsetzen können“, sagt sie.

Aber KI macht die Aufgabe auch schwieriger, da KI-Chatbots wie ChatGPT glaubwürdig klingende, aber potenziell irreführende Zusammenfassungen von Forschungsergebnissen erzeugen können. „Die Herausforderung besteht darin, wie man das, was wirklich zuverlässig ist, von dem, was es nicht ist, abhebt“, sagt Moy.

Die Herstellung von Synthesen ist in der Regel langsam, schwierig und teuer. Forscher, die eine systematische Übersicht durchführen, müssen weltweit Datenbanken nach veröffentlichten und unveröffentlichten Arbeiten durchsuchen, um potenziell relevante Studien zu finden. Dann reduzieren sie eine lange Liste von Tausenden von Studien auf die relevantesten, bewerten deren Zuverlässigkeit, extrahieren die Daten und kombinieren die Ergebnisse, manchmal unter Verwendung einer statistischen Methode namens Meta-Analyse. Selbst wenn sie abgeschlossen sind, erreichen Evidenzsynthesen oft nicht die politischen Entscheidungsträger und veralten schnell, während neue Forschungsergebnisse eintreffen. „Wenn ein politischer Entscheidungsträger mit einer Frage kommt, sollte es nicht drei Monate dauern, die Forschung zu finden“, sagt James Thomas, ein Spezialist für Forschungssynthese am University College London. „Das ist lächerlich.“

Das Problem verschärfte sich während der COVID-19-Pandemie, als die Behörden überall schnelle Synthesen benötigten, um Entscheidungen über Medikamente, Masken und Lockdowns zu treffen. Zunächst konnten die Wissenschaftler sie nicht schnell genug bereitstellen – aber dann produzierten sie zu viele doppelte Synthesen und mangelhafte Bewertungen.

Der Traum der Wissenschaftler ist, dass jeder, überall, eine Synthese, die auf seine Frage und seine Region zugeschnitten ist, mit einem Knopfdruck zusammenstellen könnte. Dazu möchten die Forscher ‚Evidenzbanken‘ erstellen: gemeinsame Datenbanken mit vorausgewählten Studien, die mit Informationen wie Methode und Standort getaggt sind und Daten im gemeinsamen Format enthalten, damit sie kombiniert werden können. Trainierte KI-Tools sollten den Großteil der mühsamen Aufgabe des Sortierens von Studien und der Synthese von Daten übernehmen, während Menschen die Qualität überprüfen – zum Beispiel, indem sie mögliche Verzerrungen in den zugrunde liegenden Studien bewerten.

Einige Datenbanken sind bereits auf dem richtigen Weg. Die Education Endowment Foundation (EEF), eine Wohltätigkeitsorganisation in London, hat eine Datenbank mit mehr als 3.500 Bildungsstudien. Mithilfe dieser Datenbank hat die Organisation eine Reihe systematischer Übersichten erstellt, die den Einfluss von Nachhilfe, Hausaufgaben und Klassengröße auf das Lernen offenbaren. Sie teilt die Datenbank und die Übersichten mit mehreren Ländern, um zu vermeiden, dass andere die Arbeit wiederholen. Idealerweise, „anstatt sechs separate systematische Übersichten zu erstellen, erstellt man eine großartige Übersicht, die wir gemeinsam nutzen können“, sagt Jonathan Kay, der die Arbeit zur Zusammenfassung von Evidenz bei der EEF leitet.

Die neuesten Investitionen könnten schließlich zu einer Reihe von Datenbanken führen, die der EEF ähnlich sind und bereit sind, für wichtige Politikbereiche wie Umweltschutz synthetisiert zu werden. Von diesen aus möchten Befürworter ‚lebende‘ – oder ständig aktualisierte – Evidenzsynthesen aufbauen, die beispielsweise aufzeigen, was zur Reduzierung des Klimawandels beiträgt, die psychische Gesundheit verbessert und die Jugendarbeitslosigkeit verringert.

Wellcome beabsichtigt, Konsortien zu finanzieren, die Datenplattformen und Werkzeuge entwickeln, die helfen, dieses Ziel zu erreichen. Dies ist „ein ungewöhnlicher Schritt von Wellcome“, sagt Tariq Khokhar, Leiter Daten für Wissenschaft und Gesundheit der Wohltätigkeitsorganisation. Die Organisation ist für die Finanzierung von Gesundheitsforschung bekannt, aber dieses Geld könnte helfen, Evidenz über sämtliche Disziplinen hinweg verständlicher zu machen. „Das ist wirklich eine Grundlage, auf der jeder aufbauen kann“, sagt er.

Der ESRC plant, ein Konsortium zu finanzieren, um die Evidenzsynthese zu beschleunigen und erste Versionen lebender Synthesen in Bereichen wie gesundem Altern zu entwickeln. Die beiden Bemühungen wären unterschiedlich, könnten aber überschneiden, sagt Khokhar.

Der ESRC möchte auch, dass sein Konsortium Wege entwickelt, um es politischen Entscheidungsträgern zu erleichtern, Evidenzsynthesen zu nutzen. Einige britische Beamte beginnen, ein KI-Tool namens Redbox Copilot zu verwenden, um Regierungsdokumente und Reden zu analysieren und zusammenzufassen. Forscher könnten Werkzeuge entwickeln, die „systematische Übersichtsbeweise in diesen Prozess einfließen lassen“, sagt Gold.

Die 55 Millionen GBP werden nicht ausreichen, um die Art der nahtlosen Evidenzsynthese zu erreichen, von der Befürworter träumen. Aber die Geldgeber hoffen, mehr Mittel zu aggregieren – und dass diese erste Investition andere Geldgeber ermutigt, sich einzubringen. „Die Idee ist, dass jede Investition auf einer Vielzahl von bereits geleisteter Arbeit aufbauen kann“, sagt Khokhar.