KI könnte Forschern helfen, zu bestimmen, welche Studien repliziert werden können, zielt darauf ab, die Reproduktionskrise anzugehen

Immer mehr Aufmerksamkeit wird in den letzten Jahren der sogenannten Reproduktions- oder Replikationskrise geschenkt, die von Wissenschaftlern und Forschern diskutiert wird. Viele Studien scheitern einfach daran, bei der Replikation der Studie dieselben signifikanten Ergebnisse zu liefern, und als Folge davon ist die wissenschaftliche Gemeinschaft besorgt, dass die Ergebnisse oft überbetont werden. Das Problem betrifft Bereiche wie Psychologie und künstliche Intelligenz. Im Bereich der künstlichen Intelligenz werden viele nicht peer-reviewte Studien veröffentlicht, die angeblich beeindruckende Ergebnisse liefern, die andere Forscher jedoch nicht replizieren können. Um das Problem anzugehen und die Anzahl der nicht replizierbaren Studien zu reduzieren, haben Forscher ein KI-Modell entwickelt, das darauf abzielt, zu bestimmen, welche Studien repliziert werden können.

Wie von Fortune berichtet, präsentiert ein neues Papier, das von einem Team von Forschern der Kellog School of Management und des Instituts für komplexe Systeme der Northwestern University veröffentlicht wurde, ein Deep-Learning-Modell, das potenziell bestimmen kann, welche Studien wahrscheinlich replizierbar sind und welche nicht. Wenn das KI-System zuverlässig zwischen replizierbaren und nicht replizierbaren Studien unterscheiden kann, könnte es Universitäten, Forschungsinstituten, Unternehmen und anderen Einrichtungen helfen, tausende von Forschungsarbeiten zu filtern, um zu bestimmen, welche Studien am wahrscheinlichsten nützlich und zuverlässig sind.

Das von der Northwestern-Gruppe entwickelte KI-System nutzt nicht die Art von empirischen/statistischen Beweisen, die Forscher typischerweise verwenden, um die Gültigkeit von Studien zu überprüfen. Das Modell verwendet tatsächlich Techniken der natürlichen Sprachverarbeitung, um die Zuverlässigkeit einer Studie zu quantifizieren. Das System extrahiert Muster in der Sprache, die die Autoren einer Studie verwenden, und findet, dass einige Wortmuster eine größere Zuverlässigkeit anzeigen als andere.

Das Forschungsteam griff auf psychologische Forschung zurück, die bis in die 1960er Jahre zurückreicht, die feststellte, dass Menschen oft das Maß an Vertrauen, das sie in ihre Ideen haben, durch die Worte, die sie verwenden, kommunizieren. Mit dieser Idee im Hinterkopf dachten die Forscher, dass Autoren von Studien möglicherweise unbewusst ihre Zuverlässigkeit in ihren Forschungsergebnissen signalisieren, wenn sie ihre Studien schreiben. Die Forscher führten zwei Trainingsrunden durch, bei denen sie unterschiedliche Datensätze verwendeten. Zunächst wurde das Modell auf etwa zwei Millionen Abstracts von wissenschaftlichen Arbeiten trainiert, während es beim zweiten Mal auf vollständige Studien trainiert wurde, die aus einem Projekt stammten, das darauf abzielte, zu bestimmen, welche psychologischen Studien repliziert werden können – das Reproducibility Project: Psychology.

Nach dem Testen setzten die Forscher das Modell auf eine Sammlung von Hunderten von anderen Studien an, die aus verschiedenen Bereichen wie Psychologie und Ökonomie stammten. Die Forscher fanden, dass ihr Modell eine zuverlässigere Vorhersage über die Replizierbarkeit einer Studie lieferte als die statistischen Techniken, die typischerweise verwendet werden, um zu bestimmen, ob die Ergebnisse einer Studie repliziert werden können.

Der Forscher und Professor der Kellog School of Management, Brian Uzzi, erklärte gegenüber Fortune, dass er hofft, dass das KI-Modell eines Tages verwendet werden könnte, um Forschern zu helfen, zu bestimmen, wie wahrscheinlich es ist, dass Ergebnisse repliziert werden, aber das Forschungsteam ist sich der Muster und Details, die ihr Modell gelernt hat, nicht sicher. Die Tatsache, dass Machine-Learning-Modelle oft schwarze Kisten sind, ist ein häufiges Problem in der KI-Forschung, aber diese Tatsache könnte andere Wissenschaftler zögern lassen, das Modell zu verwenden.

Uzzi erklärte, dass das Forschungsteam hofft, dass das Modell möglicherweise verwendet werden kann, um die Coronavirus-Krise zu bekämpfen, indem es Wissenschaftlern hilft, das Virus schneller zu verstehen und zu bestimmen, welche Studienergebnisse vielversprechend sind. Wie Uzzi gegenüber Fortune sagte:

„Wir wollen beginnen, dies auf die COVID-Frage anzuwenden – eine Frage, bei der viele Dinge derzeit lax sind und wir eine sehr starke Grundlage an vorheriger Arbeit benötigen. Es ist unklar, welche vorherige Arbeit repliziert werden kann oder nicht, und wir haben keine Zeit für Replikationen.“

Uzzi und die anderen Forscher hoffen, das Modell durch die Verwendung weiterer Techniken der natürlichen Sprachverarbeitung zu verbessern, einschließlich Techniken, die das Team entwickelt hat, um Gesprächsprotokolle über Unternehmensgewinne zu analysieren. Das Forschungsteam hat bereits eine Datenbank von etwa 30.000 Gesprächsprotokollen aufgebaut, die sie auf Hinweise analysieren werden. Wenn das Team ein erfolgreiches Modell aufbauen kann, könnten sie möglicherweise Analysten und Investoren davon überzeugen, das Tool zu verwenden, was den Weg für andere innovative Anwendungen des Modells und seiner Techniken ebnen könnte.