Internationale wetenschappers roepen op tot meer transparantie in AI-onderzoek

Een groep internationale wetenschappers van verschillende instellingen, waaronder het Princess Margaret Cancer Centre, de Universiteit van Toronto, Stanford University, Johns Hopkins, de Harvard School of Public Health en het Massachusetts Institute of Technology, roepen op tot meer transparantie binnen het onderzoek naar kunstmatige intelligentie (AI). De belangrijkste reden achter deze oproep is om belangrijke bevindingen vrij te geven die kunnen helpen bij het versnellen van de behandeling van kanker op basis van het onderzoek.

Het artikel waarin de wetenschappers oproepen tot meer transparantie bij computersonderzoek is gepubliceerd in Nature op 14 oktober 2020. De groep pleit ervoor dat hun collega’s code, modellen en computermilieus in publicaties vrijgeven.

Het artikel heette “Transparantie en reproduceerbaarheid in kunstmatige intelligentie.”

Publicatie van AI-onderzoeksgegevens

Dr. Benjamin Haibe-Kains is een senior wetenschapper bij het Princess Margaret Cancer Centre en de eerste auteur van de publicatie.

“Wetenschappelijke vooruitgang hangt af van de mogelijkheid van onderzoekers om de resultaten van een studie te onderzoeken en de belangrijkste bevindingen te reproduceren om te leren,” zegt Dr. Haibe-Kains. “Maar bij computersonderzoek is het nog niet een wijdverbreid criterium dat de details van een AI-studie volledig toegankelijk zijn. Dit is schadelijk voor onze vooruitgang.”

De bezorgdheid ontstond na een onderzoek van Google (GOOGL ) Health dat werd gepubliceerd door McKinney et al. in een belangrijk wetenschappelijk tijdschrift in 2020, waarin werd beweerd dat een AI-systeem humanoïde radiologen kon overtreffen in robuustheid en snelheid bij het screenen van borstkanker. Het onderzoek kreeg veel aandacht in de media.

Onmogelijkheid om modellen te reproduceren

Een van de belangrijkste bezorgdheden die ontstonden na het onderzoek was dat het de methoden die werden gebruikt, evenals de code en modellen, niet grondig beschreef. Deze gebrek aan transparantie betekende dat onderzoekers niet konden leren hoe het model werkt, waardoor het model niet door andere instellingen kon worden gebruikt.

“Op papier en in theorie is het onderzoek van McKinney et al. prachtig,” zegt Dr. Haibe-Kains. “Maar als we er niet van kunnen leren, heeft het weinig tot geen wetenschappelijke waarde.”

Dr. Haibe-Kains is tevens aangesteld als associate professor in de medische biofysica aan de Universiteit van Toronto. Hij is ook aangesloten bij het Vector Institute for Artificial Intelligence.

“Onderzoekers zijn meer gemotiveerd om hun bevindingen te publiceren dan om tijd en middelen te besteden aan het zorgen dat hun onderzoek kan worden gereproduceerd,” gaat Dr. Haibe-Kains verder. “Tijdschriften zijn kwetsbaar voor de ‘hype’ van AI en kunnen de normen voor het accepteren van artikelen die niet alle benodigde materialen bevatten om het onderzoek reproduceerbaar te maken, verlagen – vaak in strijd met hun eigen richtlijnen.”

Deze omgeving betekent dat AI-modellen langer nodig kunnen hebben om klinische instellingen te bereiken, en de modellen kunnen niet worden gereproduceerd of door onderzoekers geleerd.

De groep van onderzoekers stelde verschillende kaders en platforms voor om dit probleem op te lossen en om de methoden te delen.

“We hebben hoge verwachtingen van de bruikbaarheid van AI voor onze kankerpatiënten,” zegt Dr. Haibe-Kains. “Het delen en voortbouwen op onze ontdekkingen – dat is echte wetenschappelijke impact.”