Mezinárodní vědci požadují větší transparentnost ve výzkumu umělé inteligence

Skupina mezinárodních vědců z různých institucí, včetně Princess Margaret Cancer Centre, University of Toronto, Stanford University, Johns Hopkins, Harvard School of Public Health a Massachusetts Institute of Technology, požaduje větší transparentnost ve výzkumu umělé inteligence (AI). Hlavní hnací silou této výzvy je zpřístupnit důležité poznatky, které by mohly urychlit léčbu rakoviny na základě výzkumu.

Článek, ve kterém vědci vyzývají vědecké časopisy, aby zvýšily své standardy, pokud jde o transparentnost mezi počítačovými výzkumníky, byl zveřejněn v Nature 14. října 2020. Skupina také prosazovala, aby jejich kolegové zveřejnili kód, model a počítačové prostředí ve svých publikacích.

Článek se jmenoval “Transparentnost a reprodukovatelnost v umělé inteligenci.”

Zveřejňování detailů studií AI

Dr. Benjamin Haibe-Kains je seniorním vědcem v Princess Margaret Cancer Centre a prvním autorem publikace.

“Vědecký pokrok závisí na schopnosti výzkumníků zkoumat výsledky studie a reprodukovat hlavní zjištění, aby se z nich mohli učit,” říká Dr. Haibe-Kains. “Ale ve výzkumu umělé inteligence ještě není široce přijímaným kritériem, aby byly detaily studie plně přístupné. To brání našemu pokroku.”

Obavy vznikly po studii Google (GOOGL ) Health, která byla zveřejněna McKinney et al. v hlavním vědeckém časopise v roce 2020, ve které se tvrdilo, že systém AI může překonat lidské radiology v robustnosti a rychlosti při screeningu rakoviny prsu. Studie získala velkou pozornost v médiích.

Neschopnost reprodukovat modely

Jedna z hlavních obav, které vznikly po studii, byla, že neobsahovala dostatečné popis metody, kódu a modelů. Tato absence transparentnosti znamenala, že výzkumníci nemohli zjistit, jak model funguje, a proto nemohl být použit jinými institucemi.

“Na papíru a teoreticky je studie McKinney et al. krásná,” říká Dr. Haibe-Kains. “Ale pokud se z ní nemůžeme učit, má malou nebo žádnou vědeckou hodnotu.”

Dr. Haibe-Kains byl jmenován asocičním profesorem lékařské biofyziky na University of Toronto. Je také přidruženým pracovníkem v Vector Institute for Artificial Intelligence.

“Výzkumníci jsou více motivováni k publikování svých zjištění než k tomu, aby strávili čas a zdroje zajištěním, aby jejich studie mohla být reprodukována,” pokračuje Dr. Haibe-Kains. “Časopisy jsou zranitelné vůči ‘hype’ umělé inteligence a mohou snížit standardy pro přijímání článků, které neobsahují všechny materiály potřebné pro reprodukovatelnost studie – často v rozporu se svými vlastními směrnicemi.”

Toto prostředí znamená, že modely AI mohou trvat déle, než se dostanou do klinických prostředí, a modely nemohou být reprodukovány nebo se z nich nelze učit.

Skupina výzkumníků navrhla různé rámce a platformy, aby řešila tento problém a umožnila sdílet metody.

“Máme velké naděje na užitečnost umělé inteligence pro naše pacienty s rakovinou,” říká Dr. Haibe-Kains. “Sdílení a budování našich objevů – to je skutečný vědecký dopad.”