KI könnte Forschern helfen, zu bestimmen, welche Arbeiten repliziert werden können, zielt darauf ab, die Reproduktionskrise anzugehen

Immer mehr Aufmerksamkeit wird in den letzten Jahren dem genannt, was Gelehrte und Forscher die Replikations-/Reproduzierbarkeitskrise nennen. Viele Studien scheitern einfach daran, die gleichen signifikanten Ergebnisse zu liefern, wenn die Replikation der Studie versucht wird, und als Ergebnis ist die wissenschaftliche Gemeinschaft besorgt, dass die Ergebnisse oft überbetont werden. Das Problem betrifft Bereiche wie Psychologie und künstliche Intelligenz. Wenn es um den Bereich der künstlichen Intelligenz geht, werden viele nicht peer-reviewte Arbeiten veröffentlicht, die beeindruckende Ergebnisse behaupten, die andere Forscher nicht reproduzieren können. Um das Problem anzugehen und die Anzahl der nicht reproduzierbaren Studien zu reduzieren, haben Forscher ein KI-Modell entwickelt, das darauf abzielt, zu bestimmen, welche Arbeiten repliziert werden können.

Wie von Fortune berichtet, präsentiert ein neues Papier, das von einem Team von Forschern der Kellog School of Management und des Instituts für komplexe Systeme an der Northwestern University veröffentlicht wurde, ein Deep-Learning-Modell, das potenziell bestimmen kann, welche Studien wahrscheinlich reproduzierbar sind und welche nicht. Wenn das KI-System zuverlässig zwischen reproduzierbaren und nicht reproduzierbaren Studien unterscheiden kann, könnte es Universitäten, Forschungsinstituten, Unternehmen und anderen Einrichtungen helfen, tausende von Forschungsarbeiten zu filtern, um zu bestimmen, welche Arbeiten am wahrscheinlichsten nützlich und zuverlässig sind.

Das von dem Northwestern-Team entwickelte KI-System nutzt nicht die Art von empirischen/statistischen Beweisen, die Forscher typischerweise verwenden, um die Gültigkeit von Studien zu überprüfen. Das Modell nutzt tatsächlich Techniken der natürlichen Sprachverarbeitung, um die Zuverlässigkeit einer Arbeit zu quantifizieren. Das System extrahiert Muster in der Sprache, die von den Autoren einer Arbeit verwendet wird, und findet, dass einige Wortmuster größere Zuverlässigkeit als andere anzeigen.

Das Forschungsteam griff auf psychologische Forschung zurück, die bis in die 1960er Jahre zurückreicht, die feststellte, dass Menschen oft das Maß an Vertrauen, das sie in ihre Ideen haben, durch die Worte, die sie verwenden, kommunizieren. Mit dieser Idee im Hinterkopf dachten die Forscher, dass Autoren von Arbeiten möglicherweise unbewusst ihr Vertrauen in ihre Forschungsergebnisse signalisieren, wenn sie ihre Arbeiten schreiben. Die Forscher führten zwei Trainingsrunden durch, bei denen sie unterschiedliche Datensätze verwendeten. Zunächst wurde das Modell auf etwa zwei Millionen Abstracts von wissenschaftlichen Arbeiten trainiert, während es das zweite Mal auf vollständige Arbeiten trainiert wurde, die aus einem Projekt stammten, das darauf abzielte, zu bestimmen, welche psychologischen Arbeiten reproduziert werden können – das Reproduzierbarkeitsprojekt: Psychologie.

Nach dem Testen setzten die Forscher das Modell auf eine Sammlung von Hunderten von anderen Arbeiten ein, die aus verschiedenen Bereichen wie Psychologie und Ökonomie stammten. Die Forscher fanden, dass ihr Modell eine zuverlässigere Vorhersage über die Reproduzierbarkeit einer Arbeit lieferte als die statistischen Techniken, die typischerweise verwendet werden, um zu bestimmen, ob die Ergebnisse einer Arbeit repliziert werden können.

Forscher und Professor an der Kellog School of Management, Brian Uzzi, erklärte gegenüber Fortune, dass er hofft, dass das KI-Modell irgendwann verwendet werden kann, um Forschern zu helfen, zu bestimmen, wie wahrscheinlich es ist, dass Ergebnisse reproduziert werden, aber das Forschungsteam ist sich unsicher über die Muster und Details, die ihr Modell gelernt hat. Die Tatsache, dass Machine-Learning-Modelle oft schwarze Kästchen sind, ist ein häufiges Problem innerhalb der KI-Forschung, aber diese Tatsache könnte andere Wissenschaftler zögern lassen, das Modell zu verwenden.

Uzzi erklärte, dass das Forschungsteam hofft, dass das Modell möglicherweise verwendet werden kann, um die Coronavirus-Krise anzugehen, indem es Wissenschaftlern hilft, das Virus schneller zu verstehen und zu bestimmen, welche Studienergebnisse vielversprechend sind. Wie Uzzi gegenüber Fortune sagte:

„Wir wollen beginnen, dies auf die COVID-Frage anzuwenden – eine Frage, bei der viele Dinge gerade lax werden und wir auf einer sehr starken Grundlage vorheriger Arbeiten aufbauen müssen. Es ist unklar, welche vorherigen Arbeiten repliziert werden oder nicht, und wir haben keine Zeit für Replikationen.“

Uzzi und die anderen Forscher hoffen, das Modell zu verbessern, indem sie weitere Techniken der natürlichen Sprachverarbeitung verwenden, einschließlich Techniken, die das Team entwickelt hat, um Gesprächsprotokolle über Unternehmensgewinne zu analysieren. Das Forschungsteam hat bereits eine Datenbank von etwa 30.000 Gesprächsprotokollen aufgebaut, die sie für Hinweise analysieren werden. Wenn das Team ein erfolgreiches Modell aufbauen kann, könnten sie möglicherweise Analysten und Investoren davon überzeugen, das Tool zu verwenden, was den Weg für andere innovative Anwendungen des Modells und seiner Techniken ebnen könnte.