Internationella forskare kräver mer transparens i AI-forskning

En grupp internationella forskare från olika institutioner, inklusive Princess Margaret Cancer Centre, University of Toronto, Stanford University, Johns Hopkins, Harvard School of Public Health och Massachusetts Institute of Technology, kräver mer transparens inom artificiell intelligens (AI)-forskning. Den främsta drivkraften bakom detta krav är att frigöra viktiga upptäckter som kan hjälpa till att påskynda cancerbehandling baserat på forskningen.

Artikeln, i vilken forskarna uppmanade vetenskapliga tidskrifter att höja sina standarder när det gäller transparens bland datavetenskapsforskare, publicerades i Nature den 14 oktober 2020. Gruppen förespråkade också att deras kollegor bör släppa kod, modell och beräkningsmiljöer i publikationer.

Artikeln hade titeln “Transparens och reproducerbarhet i artificiell intelligens“.

Publicering av AI-studiedetaljer

Dr. Benjamin Haibe-Kains är seniorforskare vid Princess Margaret Cancer Centre och första författare till publikationen.

“Vetenskaplig framgång beror på förmågan hos forskare att granska resultaten av en studie och reproducera de viktigaste resultaten för att lära sig”, säger Dr. Haibe-Kains. “Men inom datavetenskapsforskning är det inte ännu ett allmänt kriterium att detaljerna i en AI-studie ska vara fullständigt tillgängliga. Detta är skadligt för vår framgång.”

Oron uppstod efter en studie av Google (GOOGL ) Health som publicerades av McKinney et al. i en stor vetenskaplig tidskrift 2020, där det hävdades att ett AI-system kunde överträffa mänskliga radiologer i robusthet och hastighet när det gäller bröstcancerscreening. Studien fick stor uppmärksamhet i olika toppublikationer.

Oförmåga att reproducera modeller

En av de största oron som uppstod efter studien var att den inte noggrant beskrev de metoder som användes, samt koden och modellerna. Denna brist på transparens gjorde det omöjligt för forskare att lära sig hur modellen fungerar, vilket resulterade i att modellen inte kunde användas av andra institutioner.

“På papper och i teorin är McKinney et al.-studien vacker”, säger Dr. Haibe-Kains. “Men om vi inte kan lära oss av den har den liten eller ingen vetenskaplig värde.”

Dr. Haibe-Kains är också adjungerad professor i medicinsk biofysik vid University of Toronto. Han är också en medarbetare vid Vector Institute for Artificial Intelligence.

“Forskare är mer motiverade att publicera sina resultat än att lägga tid och resurser på att se till att deras studie kan reproduceras”, fortsätter Dr. Haibe-Kains. “Tidskrifter är sårbara för ‘hype’ kring AI och kan sänka standarderna för att acceptera artiklar som inte innehåller allt material som krävs för att göra studien reproducerbar – ofta i strid med sina egna riktlinjer.”

Denna miljö innebär att AI-modeller kan ta längre tid att nå kliniska miljöer, och modellerna kan inte reproduceras eller läras av av forskare.

Forskargruppen föreslog olika ramverk och plattformar för att åtgärda detta problem och möjliggöra att metoderna kan delas.

“Vi har stora förhoppningar om nyttan av AI för våra cancerpatienter”, säger Dr. Haibe-Kains. “Att dela och bygga vidare på våra upptäckter – det är den verkliga vetenskapliga påverkan.”