Международные ученые призывают к большей прозрачности в исследованиях ИИ

Группа международных ученых из различных учреждений, включая Онкологический центр принцессы Маргарет, Университет Торонто, Стэнфордский университет, Университет Джона Хопкинса, Гарвардскую школу общественного здравоохранения и Массачусетский технологический институт, призывают к большей прозрачности в исследованиях искусственного интеллекта (ИИ). Основная сила этого призыва состоит в том, чтобы высвободить важные результаты, которые могут помочь ускорить лечение рака на основе исследования. 

Статья, в которой ученые призвали научные журналы повысить свои стандарты, когда речь идет о прозрачности среди исследователей вычислений, была опубликована в Природа 14 октября 2020 г. Группа также призвала своих коллег публиковать код, модель и вычислительные среды в публикациях. 

Газета называлась «Прозрачность и воспроизводимость в искусственном интеллекте". 

Публикация подробностей исследования ИИ

Доктор Бенджамин Хайбе-Каинс — старший научный сотрудник Онкологического центра принцессы Маргарет и первый автор публикации. 

«Научный прогресс зависит от способности исследователей тщательно изучить результаты исследования и воспроизвести основной вывод, из которого можно извлечь уроки», — говорит доктор Хайбе-Каинс. «Но в вычислительных исследованиях это еще не широко распространенный критерий полной доступности деталей исследования ИИ. Это вредит нашему прогрессу». 

Опасения возникли после исследования Google Health, опубликованного McKinney et al. в крупном научном журнале еще в 2020 году, в котором утверждалось, что система ИИ может превзойти радиологов-людей по надежности и скорости, когда речь идет о скрининге рака молочной железы. Исследование привлекло большое внимание средств массовой информации в различных ведущих изданиях. 

Неспособность воспроизводить модели

Одна из основных проблем, возникших после исследования, заключалась в том, что в нем недостаточно подробно описаны используемые методы, а также код и модели. Это отсутствие прозрачности означало, что исследователи не могли узнать, как работает модель, в результате чего модель не могла использоваться другими учреждениями. 

«На бумаге и в теории McKinney et al. учеба прекрасна», — говорит доктор Хайбе-Каинс. «Но если мы не можем извлечь из этого уроки, то это практически не имеет научной ценности».

Доктор Хайбе-Каинс был совместно назначен адъюнкт-профессором медицинской биофизики в Университете Торонто. Он также является сотрудником Института искусственного интеллекта «Вектор». 

«Исследователи больше заинтересованы в публикации своих результатов, чем в том, чтобы тратить время и ресурсы на обеспечение возможности их воспроизведения», — продолжает доктор Хайбе-Кайнс. «Журналы подвержены „шумихе“ вокруг ИИ и могут снижать стандарты приёма статей, которые не содержат всех материалов, необходимых для воспроизводимости исследования, — часто в противоречии с их собственными рекомендациями».

Эта среда означает, что моделям ИИ может потребоваться больше времени, чтобы достичь клинических условий, и исследователи не могут воспроизвести модели или изучить их. 

Группа исследователей предложила различные фреймворки и платформы для решения этой проблемы и обеспечения совместного использования методов. 

«Мы возлагаем большие надежды на полезность ИИ для наших больных раком, — говорит доктор Хайбе-Каинс. «Обмен и развитие наших открытий — это настоящее научное влияние».