Internationale Wissenschaftler fordern mehr Transparenz in der KI-Forschung

Eine Gruppe internationaler Wissenschaftler aus verschiedenen Institutionen, darunter das Princess Margaret Cancer Centre, die University of Toronto, die Stanford University, Johns Hopkins, die Harvard School of Public Health und das Massachusetts Institute of Technology, fordern mehr Transparenz in der KI-Forschung. Der Hauptgrund für diese Forderung ist die Freigabe wichtiger Erkenntnisse, die dazu beitragen können, die Krebsbehandlung auf der Grundlage der Forschung zu beschleunigen.

Der Artikel, in dem die Wissenschaftler die wissenschaftlichen Zeitschriften aufforderten, ihre Standards in Bezug auf Transparenz bei computergestützten Forschern zu erhöhen, wurde am 14. Oktober 2020 in der Zeitschrift Nature veröffentlicht. Die Gruppe forderte auch, dass ihre Kollegen Code, Modelle und computergestützte Umgebungen in Veröffentlichungen freigeben sollten.

Der Artikel trug den Titel “Transparenz und Reproduzierbarkeit in der künstlichen Intelligenz“.

Veröffentlichung von KI-Studien-Daten

Dr. Benjamin Haibe-Kains ist Senior Scientist am Princess Margaret Cancer Centre und Erstautor der Veröffentlichung.

“Wissenschaftlicher Fortschritt hängt von der Fähigkeit der Forscher ab, die Ergebnisse einer Studie zu überprüfen und die wichtigsten Ergebnisse zu reproduzieren, um daraus zu lernen”, sagt Dr. Haibe-Kains. “Aber in der computergestützten Forschung ist es noch nicht weit verbreitet, dass die Details einer KI-Studie vollständig zugänglich sind. Dies schadet unserem Fortschritt.”

Die Bedenken entstanden nach einer Studie von Google (GOOGL ) Health, die von McKinney et al. in einer führenden wissenschaftlichen Zeitschrift im Jahr 2020 veröffentlicht wurde, in der behauptet wurde, dass ein KI-System menschliche Radiologen bei der Brustkrebs-Screening in Bezug auf Robustheit und Geschwindigkeit übertrumpfen könne. Die Studie erhielt viel mediale Aufmerksamkeit in verschiedenen Top-Publikationen.

Unfähigkeit, Modelle zu reproduzieren

Eine der Hauptbedenken, die nach der Studie aufkamen, war, dass sie die verwendeten Methoden, den Code und die Modelle nicht ausreichend beschrieb. Diese mangelnde Transparenz bedeutete, dass Forscher nicht lernen konnten, wie das Modell funktioniert, was dazu führte, dass das Modell nicht von anderen Institutionen verwendet werden konnte.

“Auf dem Papier und in der Theorie ist die Studie von McKinney et al. schön”, sagt Dr. Haibe-Kains. “Aber wenn wir nicht daraus lernen können, hat sie wenig oder keinen wissenschaftlichen Wert.”

Dr. Haibe-Kains wurde als Associate Professor für Medizinische Biophysik an der University of Toronto ernannt. Er ist auch ein Affiliate am Vector Institute for Artificial Intelligence.

“Forscher sind eher motiviert, ihre Ergebnisse zu veröffentlichen, als Zeit und Ressourcen aufzuwenden, um sicherzustellen, dass ihre Studie reproduziert werden kann”, fährt Dr. Haibe-Kains fort. “Zeitschriften sind anfällig für die ‘Hype’ um KI und können die Standards für die Annahme von Artikeln senken, die nicht alle erforderlichen Materialien enthalten, um die Studie reproduzierbar zu machen – oft im Widerspruch zu ihren eigenen Richtlinien.”

Diese Umgebung bedeutet, dass KI-Modelle möglicherweise länger brauchen, um in klinische Umgebungen zu gelangen, und die Modelle nicht von Forschern reproduziert oder gelernt werden können.

Die Gruppe der Forscher schlug verschiedene Rahmenbedingungen und Plattformen vor, um dieses Problem zu lösen und die Methoden zu teilen.

“Wir haben große Hoffnungen auf die Nützlichkeit von KI für unsere Krebspatienten”, sagt Dr. Haibe-Kains. “Das Teilen und Aufbauen auf unseren Entdeckungen – das ist echter wissenschaftlicher Einfluss.”