Internationale videnskabsmænd opfordrer til større gennemsigtighed i AI-forskning

En gruppe internationale videnskabsmænd fra forskellige institutioner, herunder Princess Margaret Cancer Centre, University of Toronto, Stanford University, Johns Hopkins, Harvard School of Public Health og Massachusetts Institute of Technology, opfordrer til større gennemsigtighed inden for kunstig intelligens (AI)-forskning. Den største drivkraft bag denne opfordring er at frigøre vigtige resultater, der kan hjælpe med at accelerere kræftbehandling baseret på forskningen. 

Artiklen, hvor videnskabsmændene opfordrede videnskabelige tidsskrifter til at hæve deres standarder, når det kommer til gennemsigtighed blandt computationsforskere, blev offentliggjort i Nature den 14. oktober 2020. Gruppen opfordrede også deres kollegaer til at offentliggøre kode, model og computermiljø i publikationer. 

Artiklen havde titlen “Gennemsigtighed og reproducerbarhed i kunstig intelligens.” 

Offentliggørelse af AI-studiedetaljer

Dr. Benjamin Haibe-Kains er seniorforsker ved Princess Margaret Cancer Centre og første forfatter af publikationen. 

“Videnskabelig fremgang afhænger af forskernes evne til at undersøge resultaterne af en studie og reproducerer hovedfundet for at lære fra,” siger Dr. Haibe-Kains. “Men i computationsforskning er det endnu ikke et udbredt kriterium for, at detaljerne i en AI-studie er fuldt tilgængelige. Dette er skadeligt for vores fremgang.” 

Bekymringen opstod efter en Google Health-studie, der blev offentliggjort af McKinney et al. i et større videnskabeligt tidsskrift i 2020, hvor det blev hævdet, at et AI-system kunne overgå menneskelige radiologer i robusthed og hastighed, når det kommer til brystkræftscreening. Studiet fik megen medieopmærksomhed i forskellige top-publikationer. 

Uevne til at reproducerer modeller

En af de største bekymringer, der opstod efter studiet, var, at det ikke omfattende beskrev metoderne, der blev brugt, samt koden og modellerne. Mangel på gennemsigtighed betød, at forskerne ikke kunne lære, hvordan modellen fungerer, hvilket resulterede i, at modellen ikke kunne bruges af andre institutioner. 

“På papir og i teori er McKinney et al.-studiet smukt,” siger Dr. Haibe-Kains. “Men hvis vi ikke kan lære fra det, har det lille eller intet videnskabeligt værdi.”

Dr. Haibe-Kains blev udnævnt til medlem af Medical Biophysics på University of Toronto. Han er også tilknyttet Vector Institute for Artificial Intelligence. 

“Forskere er mere motiverede til at offentliggøre deres resultater end til at bruge tid og ressourcer på at sikre, at deres studie kan reproduceres,” fortsætter Dr. Haibe-Kains. “Tidsskrifter er sårbare over for ‘hype’ omkring AI og kan sænke standarderne for at acceptere artikler, der ikke indeholder alle de materialer, der kræves for at gøre studiet reproducerbart – ofte i modstrid med deres egne retningslinjer.”

Dette miljø betyder, at AI-modeller kan tage længere tid at nå kliniske indstillinger, og modellerne kan ikke reproduceres eller læres fra af forskere. 

Gruppen af forskere foreslog forskellige rammer og platforme for at løse dette problem og tillade metoderne at blive delt. 

“Vi har store forventninger til nyttelsen af AI for vores kræftpatienter,” siger Dr. Haibe-Kains. “At dele og bygge videre på vores opdagelser – det er rigtig videnskabelig indvirkning.”