Internasjonale forskere krever mer åpenhet i AI-forskning

En gruppe internasjonale forskere fra institusjoner som Princess Margaret Cancer Centre, University of Toronto, Stanford University, Johns Hopkins, Harvard School of Public Health og Massachusetts Institute of Technology krever mer åpenhet innen artificial intelligence (AI)-forskning. Hovedårsaken til denne oppfordringen er å frigjøre viktige funn som kan hjelpe med å akselerere kreftbehandling basert på forskningen.

Artikkelen hvor forskerne oppfordret vitenskapelige tidsskrifter til å heve standardene når det gjelder åpenhet blant komputasjonelle forskere, ble publisert i Nature den 14. oktober 2020. Gruppen foreslo også at kollegene deres skulle publisere kode, modell og komputasjonelle miljøer i publikasjonene.

Artikkelen hadde tittelen “Åpenhet og reproduserbarhet i kunstig intelligens.”

Publisering av AI-studie detaljer

Dr. Benjamin Haibe-Kains er seniorforsker ved Princess Margaret Cancer Centre og første forfatter av publikasjonen.

“Vitenskapelig fremgang avhenger av forskernes evne til å undersøke resultater fra en studie og reprodusere hovedfunnene for å lære,” sier Dr. Haibe-Kains. “Men i komputasjonell forskning er det ikke ennå et utbredt kriterium for at detaljene i en AI-studie skal være fullstendig tilgjengelige. Dette er skadelig for vår fremgang.”

Bekymringene oppstod etter en studie publisert av Google (GOOGL ) Health av McKinney et al. i et ledende vitenskapelig tidsskrift i 2020, hvor det ble hevdet at et AI-system kunne overgå menneskelige radiologer i robusthet og hastighet når det gjelder brystkreftskriving. Studien fikk mye mediadekning i flere ledende publikasjoner.

Uevne til å reprodusere modeller

En av de største bekymringene som oppstod etter studien var at den ikke fullstendig beskrev metodene som ble brukt, samt koden og modellene. Mangel på åpenhet betydde at forskerne ikke kunne lære hvordan modellen opererte, med resultat at modellen ikke kunne brukes av andre institusjoner.

“På papir og i teori er McKinney et al.-studien vakker,” sier Dr. Haibe-Kains. “Men hvis vi ikke kan lære av den, har den liten eller ingen vitenskapelig verdi.”

Dr. Haibe-Kains ble utnevnt til å være medlem av fakultetet i medisinsk biofysikk ved University of Toronto. Han er også tilknyttet Vector Institute for Artificial Intelligence.

“Forskere er mer motivert til å publisere sine funn enn å bruke tid og ressurser på å sikre at studien kan reproduseres,” fortsetter Dr. Haibe-Kains. “Tidsskrifter er sårbare for ‘hype’ rundt AI og kan senke standardene for å godta artikler som ikke inkluderer alle materialet som trengs for å gjøre studien reproduserbar — ofte i strid med deres egne retningslinjer.”

Dette miljøet betyr at AI-modeller kan ta lenger tid å nå kliniske settinger, og modellene kan ikke reproduseres eller læres av forskerne.

Forskergruppen foreslo ulike rammer og plattformer for å løse dette problemet og tillate metoder å bli delt.

“Vi har høye forventninger til nytten av AI for våre kreftpasienter,” sier Dr. Haibe-Kains. “Deling og bygging på våre oppdagelser — det er virkelig vitenskapelig innvirkning.”