Internationale videnskabsmænd kræver mere gennemsigtighed i AI-forskning

En gruppe af internationale videnskabsmænd fra forskellige institutioner, herunder Princess Margaret Cancer Centre, University of Toronto, Stanford University, Johns Hopkins, Harvard School of Public Health og Massachusetts Institute of Technology, kræver mere gennemsigtighed inden for kunstig intelligens (AI)-forskning. Den største drivkraft bag denne opfordring er at frigøre vigtige resultater, der kan hjælpe med at accelerere kræftbehandling baseret på forskningen.

Artiklen, hvor videnskabsmændene opfordrede videnskabelige tidsskrifter til at hæve deres standarder, når det kommer til gennemsigtighed blandt computationsforskere, blev offentliggjort i Nature den 14. oktober 2020. Gruppen opfordrede også deres kollegaer til at offentliggøre kode, model og computermiljø i publikationer.

Artiklen havde titlen “Gennemsigtighed og reproducerbarhed i kunstig intelligens”.

Offentliggørelse af AI-studie detaljer

Dr. Benjamin Haibe-Kains er seniorforsker ved Princess Margaret Cancer Centre og første forfatter af publikationen.

“Videnskabelig fremgang afhænger af forskernes evne til at undersøge resultaterne af en studie og reproducerer de vigtigste resultater for at lære fra,” siger Dr. Haibe-Kains. “Men i computationsforskning er det endnu ikke et udbredt kriterium for, at detaljerne i en AI-studie er fuldt tilgængelige. Dette er skadeligt for vores fremgang.”

Bekymringen opstod efter en Google (GOOGL ) Health-studie, der blev offentliggjort af McKinney et al. i et større videnskabeligt tidsskrift i 2020, hvor det blev hævdet, at et AI-system kunne overgå menneskelige radiologer i robusthed og hastighed, når det kommer til brystkræftscreening. Studiet fik megen medieopmærksomhed i forskellige top-publikationer.

Uevnen til at reproducerer modeller

En af de største bekymringer, der opstod efter studiet, var, at det ikke omfattende beskrev de metoder, der blev brugt, samt koden og modellerne. Mangel på gennemsigtighed betød, at forskerne ikke kunne lære, hvordan modellen fungerer, hvilket resulterede i, at modellen ikke kunne bruges af andre institutioner.

“På papir og i teori er McKinney et al.-studiet smukt,” siger Dr. Haibe-Kains. “Men hvis vi ikke kan lære fra det, har det lidt eller intet videnskabeligt værdi.”

Dr. Haibe-Kains blev udnævnt til medlem af det medicinske biofysik-institut ved University of Toronto. Han er også tilknyttet Vector Institute for Artificial Intelligence.

“Forskere er mere motiverede til at offentliggøre deres resultater end til at bruge tid og ressourcer på at sikre, at deres studie kan reproduceres,” fortsætter Dr. Haibe-Kains. “Tidsskrifter er sårbare over for ‘hype’ omkring AI og kan sænke standarderne for at acceptere artikler, der ikke indeholder alle de materialer, der kræves for at gøre studiet reproducerbart – ofte i modstrid med deres egne retningslinjer.”

Dette miljø betyder, at AI-modeller kan tage længere tid at nå kliniske omgivelser, og modellerne kan ikke reproduceres eller læres fra af forskere.

Gruppen af forskere foreslog forskellige rammer og platforme for at løse dette problem og tillade, at metoderne kan deles.

“Vi har store forhåbninger om nyttelsen af AI for vores kræftpatienter,” siger Dr. Haibe-Kains. “At dele og bygge videre på vores opdagelser – det er den virkelige videnskabelige indvirkning.”