Міжнародні вчені закликають до більшої прозорості в дослідженнях штучного інтелекту

Група міжнародних вчених з різних інститутів, включаючи Princess Margaret Cancer Centre, Університет Торонто, Стенфордський університет, Джонса Хопкінса, Гарвардську школу громадського здоров’я та Массачусетський технологічний інститут, закликають до більшої прозорості у дослідженнях штучного інтелекту (AI). Головний імпульс цієї заклику полягає у звільненні важливих результатів, які могли б прискорити лікування раку на основі досліджень. 

Стаття, в якій вчені закликали наукові журнали підвищити свої стандарти щодо прозорості серед комп’ютерних дослідників, була опублікована в Nature 14 жовтня 2020 року. Група також відстоювала, щоб їхні колеги публікували код, модель та обчислювальне середовище в публікаціях. 

Стаття мала назву “Прозорість та репродуктивність штучного інтелекту.” 

Публікація деталей дослідження AI

Доктор Бенджамін Хайб-Кейнс є старшим науковцем у Princess Margaret Cancer Centre та першим автором публікації. 

“Науковий прогрес залежить від можливості дослідників вивчити результати дослідження та відтворити основні висновки, щоб вивчити з них,” каже доктор Хайб-Кейнс. “Але в комп’ютерних дослідженнях ще не існує поширеної критерії для того, щоб деталі дослідження AI були повністю доступними. Це шкодить нашому прогресу.” 

Стурбованість виникла після дослідження Google Health, опублікованого McKinney et al. у великому науковому журналі у 2020 році, в якому стверджувалося, що система AI може перевершити людських радіологів у стабільності та швидкості при скринінгу раку молочної залози. Дослідження отримало багато уваги засобів масової інформації у різних провідних виданнях. 

Неможливість відтворити моделі

Однією з головних проблем, які виникли після дослідження, було те, що воно не докладно описувало методи, які були використані, а також код і моделі. Ця відсутність прозорості означала, що дослідники не могли вивчити, як працює модель, що призвело до того, що модель не могла бути використана іншими установами. 

“На папері та в теорії дослідження McKinney et al. є красивим,” каже доктор Хайб-Кейнс. “Але якщо ми не можемо вивчити з нього, то воно має мало чи жодної наукової цінності.”

Доктор Хайб-Кейнс був призначений спільно як доцент медичної біофізики в Університеті Торонто. Він також є афілійованим у Vector Institute for Artificial Intelligence. 

“Дослідники більш мотивовані публікувати свої результати, ніж витрачати час і ресурси на забезпечення того, щоб їхнє дослідження можна було відтворити,” продовжує доктор Хайб-Кейнс. “Журнали вразливі до ‘гайпу’ AI і можуть знижувати стандарти для прийняття статей, які не містять усіх матеріалів, необхідних для того, щоб дослідження було репродуктивним – часто у суперечності з власними керівними принципами.”

Ця ситуація означає, що моделі AI можуть довше досягати клінічних умов, а моделі не можуть бути відтворені чи вивчені дослідниками. 

Група дослідників запропонувала різні рамки та платформи для вирішення цієї проблеми та надання методів для обміну. 

“У нас є великі надії на корисність AI для наших пацієнтів з раком,” каже доктор Хайб-Кейнс. “Обмін та побудова наших відкриттів – це справжній науковий вплив.”