Internationale Wissenschaftler fordern mehr Transparenz in der KI-Forschung

Eine Gruppe internationaler Wissenschaftler aus verschiedenen Institutionen, darunter dem Princess Margaret Cancer Centre, der University of Toronto, der Stanford University, Johns Hopkins, der Harvard School of Public Health und dem Massachusetts Institute of Technology, fordern mehr Transparenz in der Forschung im Bereich der künstlichen Intelligenz (KI). Der Hauptgrund für diesen Aufruf besteht darin, wichtige Erkenntnisse freizugeben, die auf der Grundlage der Forschung dazu beitragen könnten, die Krebsbehandlung zu beschleunigen. 

Der Artikel, in dem die Wissenschaftler wissenschaftliche Fachzeitschriften aufforderten, ihre Standards in Bezug auf die Transparenz unter Computerforschern zu erhöhen, wurde in veröffentlicht Natur am 14. Oktober 2020. Die Gruppe plädierte außerdem dafür, dass ihre Kollegen Code, Modelle und Rechenumgebungen in Veröffentlichungen veröffentlichen sollten. 

Das Papier trug den Titel „Transparenz und Reproduzierbarkeit in der künstlichen Intelligenz" 

Veröffentlichung von Details zur KI-Studie

Dr. Benjamin Haibe-Kains ist leitender Wissenschaftler am Princess Margaret Cancer Center und Erstautor der Veröffentlichung. 

„Wissenschaftlicher Fortschritt hängt von der Fähigkeit der Forscher ab, die Ergebnisse einer Studie zu hinterfragen und die wichtigsten Erkenntnisse zu reproduzieren, aus denen sie lernen können“, sagt Dr. Haibe-Kains. „Aber in der Computerforschung ist es noch kein weit verbreitetes Kriterium dafür, dass die Details einer KI-Studie vollständig zugänglich sind. Das schadet unserem Fortschritt.“ 

Die Bedenken entstanden im Anschluss an eine Google Health-Studie, die von McKinney et al. veröffentlicht wurde. in einer großen wissenschaftlichen Zeitschrift aus dem Jahr 2020, in der behauptet wurde, ein KI-System könne menschliche Radiologen in Bezug auf Robustheit und Geschwindigkeit bei der Brustkrebsvorsorge übertreffen. Die Studie erhielt in verschiedenen Top-Publikationen große mediale Aufmerksamkeit. 

Modelle können nicht reproduziert werden

Eines der größten Bedenken, die im Anschluss an die Studie aufkamen, war, dass die verwendeten Methoden sowie der Code und die Modelle nicht ausführlich beschrieben wurden. Dieser Mangel an Transparenz führte dazu, dass Forscher nicht erfahren konnten, wie das Modell funktioniert, was dazu führte, dass das Modell nicht von anderen Institutionen verwendet werden konnte. 

„Auf dem Papier und in der Theorie haben McKinney et al. Studieren ist wunderschön“, sagt Dr. Haibe-Kains. „Aber wenn wir nicht daraus lernen können, hat es kaum oder gar keinen wissenschaftlichen Wert.“

Dr. Haibe-Kains wurde gemeinsam zum außerordentlichen Professor für medizinische Biophysik an der University of Toronto ernannt. Er ist außerdem Mitglied des Vector Institute for Artificial Intelligence. 

„Forscher haben einen größeren Anreiz, ihre Ergebnisse zu veröffentlichen, als Zeit und Ressourcen in die Reproduzierbarkeit ihrer Studie zu investieren“, so Dr. Haibe-Kains weiter. „Zeitschriften sind anfällig für den KI-Hype und senken möglicherweise die Standards für die Annahme von Artikeln, die nicht alle für die Reproduzierbarkeit der Studie erforderlichen Materialien enthalten – oft im Widerspruch zu ihren eigenen Richtlinien.“

Diese Umgebung bedeutet, dass KI-Modelle möglicherweise länger brauchen, um klinische Anwendungen zu erreichen, und dass die Modelle von Forschern nicht repliziert oder daraus gelernt werden können. 

Die Forschergruppe schlug verschiedene Frameworks und Plattformen vor, um dieses Problem zu beheben und die gemeinsame Nutzung der Methoden zu ermöglichen. 

„Wir setzen große Hoffnungen in den Nutzen der KI für unsere Krebspatienten“, sagt Dr. Haibe-Kains. „Unsere Entdeckungen teilen und darauf aufbauen – das ist echte wissenschaftliche Wirkung.“