Международные ученые призывают к большей прозрачности в исследованиях ИИ

Группа международных ученых из различных учреждений, включая Центр рака принцессы Маргарет, Университет Торонто, Стэнфордский университет, Джонс Хопкинс, Школу общественного здравоохранения Гарварда и Массачусетский технологический институт, призывают к большей прозрачности в исследованиях искусственного интеллекта (ИИ). Основной движущей силой этого призыва является освобождение важных результатов, которые могли бы помочь ускорить лечение рака на основе исследований.

Статья, в которой ученые призвали научные журналы повысить стандарты прозрачности среди вычислительных исследователей, была опубликована в Nature 14 октября 2020 года. Группа также выступила за то, чтобы их коллеги выпускали код, модель и вычислительные среды в публикациях.

Статья была озаглавлена “Прозрачность и воспроизводимость в искусственном интеллекте”.

Публикация деталей исследования ИИ

Доктор Бенджамин Хайб-Кейнс является старшим ученым в Центре рака принцессы Маргарет и первым автором публикации.

“Научный прогресс зависит от способности исследователей проверять результаты исследования и воспроизводить основные результаты, чтобы учиться”, – говорит доктор Хайб-Кейнс. “Но в вычислительных исследованиях еще не существует широко распространенного критерия для полного доступа к деталям исследования ИИ. Это препятствует нашему прогрессу”.

Обеспокоенность возникла после исследования Google (GOOGL ) Health, опубликованного McKinney et al. в одном из ведущих научных журналов в 2020 году, в котором утверждалось, что система ИИ может превзойти человеческих радиологов по надежности и скорости при скрининге рака молочной железы. Исследование получило широкое внимание средств массовой информации в различных ведущих изданиях.

Неспособность воспроизвести модели

Одной из основных проблем, возникших после исследования, было то, что оно не описывало методы, используемые в исследовании, а также код и модели. Этот недостаток прозрачности означал, что исследователи не могли понять, как работает модель, в результате чего модель не могла быть использована другими учреждениями.

“На бумаге и в теории исследование McKinney et al. красиво”, – говорит доктор Хайб-Кейнс. “Но если мы не можем учиться на нем, то оно имеет мало или совсем нет научной ценности”.

Доктор Хайб-Кейнс был назначен профессором медицинской биофизики в Университете Торонто. Он также является аффилированным сотрудником Института векторных исследований искусственного интеллекта.

“Исследователи больше мотивированы публиковать свои результаты, чем тратить время и ресурсы на обеспечение воспроизводимости своего исследования”, – продолжает доктор Хайб-Кейнс. “Журналы уязвимы для ‘гипа’ ИИ и могут снижать стандарты для принятия статей, которые не включают все материалы, необходимые для воспроизведения исследования – часто в противоречии со своими собственными рекомендациями”.

Эта среда означает, что модели ИИ могут дольше поступать в клинические учреждения, и модели не могут быть воспроизведены или изучены исследователями.

Группа исследователей предложила различные рамки и платформы для решения этой проблемы и обмена методами.

“У нас есть высокие надежды на полезность ИИ для наших пациентов с раком”, – говорит доктор Хайб-Кейнс. “Обмен и построение на наших открытиях – это настоящее научное воздействие”.