Internationale wetenschappers pleiten voor meer transparantie in AI-onderzoek

Een groep internationale wetenschappers afkomstig van verschillende instellingen, waaronder het Princess Margaret Cancer Centre, University of Toronto, Stanford University, Johns Hopkins, Harvard School of Public Health en Massachusetts Institute of Technology pleiten voor meer transparantie binnen het onderzoek naar kunstmatige intelligentie (AI). De belangrijkste kracht achter deze oproep is het vrijgeven van belangrijke bevindingen die op basis van het onderzoek de behandeling van kanker kunnen helpen versnellen. 

Het artikel waarin de wetenschappers wetenschappelijke tijdschriften opriepen om de lat hoger te leggen als het gaat om transparantie bij computationele onderzoekers, verscheen in NATUUR op 14 oktober 2020. De groep pleitte er ook voor dat hun collega's code-, model- en rekenomgevingen vrijgeven in publicaties. 

Het blad had de titel "Transparantie en reproduceerbaarheid in kunstmatige intelligentie. ' 

AI-studiegegevens vrijgeven

Dr. Benjamin Haibe-Kains is Senior Scientist bij het Princess Margaret Cancer Center en eerste auteur van de publicatie. 

"Wetenschappelijke vooruitgang hangt af van het vermogen van onderzoekers om de resultaten van een studie nauwkeurig te onderzoeken en de belangrijkste bevinding te reproduceren om van te leren", zegt Dr. Haibe-Kains. “Maar in computationeel onderzoek is het nog geen wijdverbreid criterium dat de details van een AI-onderzoek volledig toegankelijk moeten zijn. Dat staat onze vooruitgang in de weg.” 

De zorgen ontstonden naar aanleiding van een Google Health-onderzoek dat werd gepubliceerd door McKinney et al. in een belangrijk wetenschappelijk tijdschrift in 2020, waarin werd beweerd dat een AI-systeem menselijke radiologen zou kunnen overtreffen in robuustheid en snelheid als het gaat om screening op borstkanker. Het onderzoek kreeg veel media-aandacht in verschillende toppublicaties. 

Onvermogen om modellen te reproduceren

Een van de grootste zorgen die na het onderzoek naar voren kwamen, was dat het de gebruikte methoden, de code en de modellen niet grondig beschreef. Door dit gebrek aan transparantie konden onderzoekers niet leren hoe het model werkt, waardoor het model niet door andere instellingen kon worden gebruikt. 

“Op papier en in theorie, de McKinney et al. studeren is prachtig”, zegt dr. Haibe-Kains. "Maar als we er niet van kunnen leren, heeft het weinig tot geen wetenschappelijke waarde."

Dr. Haibe-Kains werd gezamenlijk aangesteld als universitair hoofddocent medische biofysica aan de Universiteit van Toronto. Hij is ook verbonden aan het Vector Institute for Artificial Intelligence. 

"Onderzoekers worden meer gestimuleerd om hun bevindingen te publiceren in plaats van tijd en middelen te besteden om ervoor te zorgen dat hun studie kan worden gerepliceerd", vervolgt Dr. Haibe-Kains. "Tijdschriften zijn kwetsbaar voor de 'hype' van AI en kunnen de normen verlagen voor het accepteren van papers die niet alle materialen bevatten die nodig zijn om de studie reproduceerbaar te maken - vaak in strijd met hun eigen richtlijnen."

In deze omgeving kan het langer duren voordat AI-modellen klinische instellingen bereiken, en de modellen kunnen niet worden gerepliceerd of geleerd door onderzoekers. 

De groep onderzoekers stelde verschillende kaders en platforms voor om dit probleem op te lossen en om de methoden te delen. 

"We hebben hoge verwachtingen van het nut van AI voor onze kankerpatiënten", zegt Dr. Haibe-Kains. "Onze ontdekkingen delen en voortbouwen - dat is echte wetenschappelijke impact."