KI könnte Forschern dabei helfen, herauszufinden, welche Papiere repliziert werden können, und zielt darauf ab, die Reproduktionskrise zu bewältigen

In den letzten Jahren wird dem, was Wissenschaftler und Forscher als Replikations-/Reproduzierbarkeitskrise bezeichnen, immer mehr Aufmerksamkeit geschenkt. Viele Studien liefern einfach nicht die gleichen aussagekräftigen Ergebnisse, wenn versucht wird, die Studie zu replizieren, und die wissenschaftliche Gemeinschaft ist daher besorgt, dass die Ergebnisse oft überbewertet werden. Das Problem betrifft so unterschiedliche Bereiche wie Psychologie und künstliche Intelligenz. Wenn es um den KI-Bereich geht, werden viele nicht von Experten begutachtete Arbeiten veröffentlicht, die angeblich beeindruckende Ergebnisse liefern, die andere Forscher nicht reproduzieren können. Um das Problem anzugehen und die Zahl nicht reproduzierbarer Studien zu reduzieren, haben Forscher ein KI-Modell entwickelt, das ermitteln soll, welche Arbeiten replizierbar sind.

Wie von Fortune berichtetEin neuer Krepppapier veröffentlicht von einem Forscherteam der Kellog School of Management und des Institute of Complex Systems der Northwestern University, stellt ein Deep-Learning-Modell vor, das möglicherweise bestimmen kann, welche Studien wahrscheinlich reproduzierbar sind und welche nicht. Wenn das KI-System zuverlässig unterscheiden kann reproduzierbare und nicht reproduzierbare Studien, könnte es Universitäten, Forschungsinstituten, Unternehmen und anderen Einrichtungen dabei helfen, Tausende von Forschungsarbeiten zu filtern, um festzustellen, welche Arbeiten am wahrscheinlichsten nützlich und zuverlässig sind.

Die vom Northwestern-Team entwickelten KI-Systeme nutzen nicht die Art empirischer/statistischer Beweise, die Forscher normalerweise verwenden, um die Gültigkeit von Studien festzustellen. Das Modell verwendet tatsächlich Techniken zur Verarbeitung natürlicher Sprache, um zu versuchen, die Zuverlässigkeit einer Arbeit zu quantifizieren. Das System extrahiert Muster in der von den Autoren einer Arbeit verwendeten Sprache und stellt fest, dass einige Wortmuster auf eine größere Zuverlässigkeit hinweisen als andere.

Das Forschungsteam stützte sich auf psychologische Untersuchungen aus den 1960er Jahren, die herausfanden, dass Menschen das Maß an Vertrauen, das sie in ihre Ideen haben, oft durch die von ihnen verwendeten Worte zum Ausdruck bringen. Die Forscher folgten dieser Idee und gingen davon aus, dass die Autoren der Arbeiten beim Verfassen ihrer Arbeiten unwissentlich ihr Vertrauen in ihre Forschungsergebnisse zum Ausdruck bringen könnten. Die Forscher führten zwei Trainingsrunden durch und verwendeten dabei unterschiedliche Datensätze. Zunächst wurde das Modell anhand von etwa zwei Millionen Abstracts aus wissenschaftlichen Arbeiten trainiert, während das zweite Mal das Modell anhand vollständiger Arbeiten trainiert wurde, um sie einem Projekt zu entnehmen, das ermitteln sollte, welche psychologischen Arbeiten reproduziert werden können – dem Reproducibility Project: Psychology.

Nach den Tests setzten die Forscher das Modell auf eine Sammlung von Hunderten anderer Arbeiten aus verschiedenen Bereichen wie Psychologie und Wirtschaft ein. Die Forscher fanden heraus, dass ihr Modell eine zuverlässigere Vorhersage hinsichtlich der Reproduzierbarkeit einer Arbeit lieferte als die statistischen Techniken, die normalerweise verwendet werden, um festzustellen, ob die Ergebnisse einer Arbeit reproduziert werden können oder nicht.

Der Forscher und Kellog School of Management-Professor Brian Uzzi erklärte gegenüber Fortune, dass er zwar hofft, dass das KI-Modell eines Tages dazu verwendet werden könnte, Forschern dabei zu helfen, festzustellen, wie wahrscheinlich es ist, dass Ergebnisse reproduziert werden, das Forschungsteam sich jedoch über die Muster und Details ihres Modells nicht sicher ist gelernt. Die Tatsache, dass es sich bei Modellen des maschinellen Lernens oft um Black Boxes handelt, ist ein häufiges Problem in der KI-Forschung, könnte aber dazu führen, dass andere Wissenschaftler davor zurückschrecken, das Modell zu nutzen.

Uzzi erklärte, dass das Forschungsteam hofft, dass das Modell möglicherweise zur Bewältigung der Coronavirus-Krise eingesetzt werden könnte, um Wissenschaftlern mehr zu helfen den Virus schnell verstehen und ermitteln Sie, welche Studienergebnisse vielversprechend sind. Wie Uzzi zu Fortune sagte:

„Wir wollen damit beginnen, dies auf das COVID-Problem anzuwenden – ein Thema, bei dem derzeit vieles laxer wird und wir auf einer sehr starken Grundlage früherer Arbeit aufbauen müssen.“ Es ist unklar, welche früheren Arbeiten repliziert werden oder nicht, und wir haben keine Zeit für Replikationen.“

Uzzi und die anderen Forscher hoffen, das Modell durch den Einsatz weiterer Techniken zur Verarbeitung natürlicher Sprache zu verbessern, einschließlich Techniken, die das Team entwickelt hat, um Anrufprotokolle hinsichtlich Unternehmensgewinnen zu analysieren. Das Forschungsteam hat bereits eine Datenbank mit etwa 30,000 Anrufprotokollen aufgebaut, die es auf Hinweise analysieren wird. Wenn es dem Team gelingt, ein erfolgreiches Modell zu entwickeln, kann es möglicherweise Analysten und Investoren davon überzeugen, das Tool zu nutzen, was den Weg für andere innovative Anwendungen des Modells und seiner Techniken ebnen könnte.