Internasjonale forskere krever mer åpenhet i AI-forskning

En gruppe internasjonale forskere som kommer fra ulike institusjoner, inkludert Princess Margaret Cancer Centre, University of Toronto, Stanford University, Johns Hopkins, Harvard School of Public Health og Massachusetts Institute of Technology, etterlyser mer åpenhet innen forskning på kunstig intelligens (AI). Hovedkraften bak denne oppfordringen er å frigjøre viktige funn som kan bidra til å akselerere kreftbehandling basert på forskningen. 

Artikkelen der forskerne oppfordret vitenskapelige tidsskrifter til å heve sine standarder når det gjelder åpenhet blant beregningsforskere ble publisert i Natur 14. oktober 2020. Gruppen tok også til orde for at kollegene deres skulle utgi kode, modell og beregningsmiljøer i publikasjoner. 

Avisen fikk tittelen "Gjennomsiktighet og reproduserbarhet innen kunstig intelligens». 

Slipper AI-studiedetaljer

Dr. Benjamin Haibe-Kains er seniorforsker ved Princess Margaret Cancer Center og førsteforfatter av publikasjonen. 

"Vitenskapelig fremgang avhenger av forskernes evne til å granske resultatene av en studie og reprodusere hovedfunnet å lære av," sier Dr. Haibe-Kains. "Men i beregningsforskning er det ennå ikke et utbredt kriterium for at detaljene i en AI-studie skal være fullt tilgjengelige. Dette er skadelig for vår fremgang." 

Bekymringene oppsto etter en Google Health-studie som ble publisert av McKinney et al. i et stort vitenskapelig tidsskrift tilbake i 2020, der det ble hevdet at et AI-system kunne utkonkurrere menneskelige radiologer i robusthet og hastighet når det gjelder screening av brystkreft. Studien fikk mye medieoppmerksomhet på tvers av ulike topppublikasjoner. 

Manglende evne til å reprodusere modeller

En av de største bekymringene som oppsto etter studien var at den ikke grundig beskrev metodene som ble brukt, samt koden og modellene. Denne mangelen på åpenhet førte til at forskere ikke kunne lære hvordan modellen fungerer, noe som resulterte i at modellen ikke kunne brukes av andre institusjoner. 

"På papiret og i teorien har McKinney et al. studien er vakker, sier Dr. Haibe-Kains. "Men hvis vi ikke kan lære av det, har det liten eller ingen vitenskapelig verdi."

Dr. Haibe-Kains ble i fellesskap utnevnt til førsteamanuensis i medisinsk biofysikk ved University of Toronto. Han er også tilknyttet Vector Institute for Artificial Intelligence. 

"Forskere er mer motivert til å publisere funnene sine i stedet for å bruke tid og ressurser på å sikre at studien deres kan replikeres," fortsetter Dr. Haibe-Kains. "Tidsskrifter er sårbare for 'hypen' av AI og kan senke standardene for å akseptere artikler som ikke inkluderer alt materialet som kreves for å gjøre studien reproduserbar - ofte i strid med deres egne retningslinjer."

Dette miljøet betyr at AI-modeller kan ta lengre tid å nå kliniske innstillinger, og modellene kan ikke replikeres eller læres av forskere. 

Forskergruppen foreslo ulike rammeverk og plattformer for å avhjelpe dette problemet og gi mulighet for å dele metodene. 

"Vi har store forhåpninger til nytten av AI for våre kreftpasienter," sier Dr. Haibe-Kains. "Å dele og bygge videre på oppdagelsene våre - det er virkelig vitenskapelig innvirkning."