Проблема ответственности в сфере искусственного интеллекта в здравоохранении

В сфере здравоохранения искусственный интеллект сейчас встроен во всё, от клинических решений до кадров и финансов. Однако многие организации всё ещё не имеют необходимой структуры управления рисками, чтобы гарантировать, что инструменты ИИ не причинят вреда. Отсутствие организованного надзора означает, что решения, связанные с ИИ, принимаются без чёткой ответственности, подвергая организации риску этических и регуляторных нарушений.

Когда никто не несёт ответственности за решения и действия ИИ, слепые пятна быстро расширяются. Последствия системы ИИ, принимающей решения без надзора, многочисленны и далеко идущи, особенно когда на кону стоят человеческие жизни.

Сегодняшние пробелы в управлении ИИ похожи на предыдущие точки бифуркации, где кривая технологий росла быстрее, чем способность предприятия управлять ею. Мы прошли через это с облачными вычислениями: команды приняли SaaS, IaaS и “тень IT”, чтобы двигаться быстрее, в то время как управление отставало в таких базовых вещах, как классификация данных, управление идентификацией и доступом, надзор за поставщиками, ведение журналов/мониторинг и ясность совместной ответственности — поэтому ответственность была разбросана по ИТ, безопасности, закупкам и бизнесу. Мы также видели это с быстрой конSUMERизацией ИТ и мобильными/BYOD устройствами, где сотрудники привели новые устройства и приложения в регулируемые среды задолго до того, как организации имели зрелые политики для шифрования, контроля конечных точек, проверки приложений и электронного открытия. В каждом случае принятие было рациональным и часто создавало ценность — но отсутствие чёткой собственности, стандартизированных контролей и надзора за жизненным циклом создавало предсказуемые неудачи. Урок для ИИ прост: управление не может быть после мысли, прикреплённой к инновациям; оно должно быть построено как другая критическая инфраструктура — намеренно, с определёнными правами на принятие решений, постоянным мониторингом и принудительными ограничениями.

Проблема с размытой ответственностью

Быстрое развертывание ИИ обогнало разработку стандартов управления и ответственности, что привело к пробелу в “размытой ответственности”, когда ни одна сущность не берёт на себя ответственность, когда ИИ терпит неудачу.

Ответственность уже является повсеместной проблемой в здравоохранении, и ИИ принёс новые проблемы. Инструменты ИИ не имеют признанной юридической идентичности, что означает, что они не могут быть привлечены к суду или застрахованы, и не могут платить юридическую компенсацию жертвам. В судебных разбирательствах вина должна быть перенесена на человеческого актора или корпорацию, а не на инструмент.

Исследователи в The Lancet, ведущем медицинском исследовательском журнале, недавно утверждали, что “структуры институциональной ответственности должны перераспределить ответственность от клиницистов к организациям, которые проектируют и развертывают [инструменты ИИ]”. Ясно, что такие вопросы об ответственности будут сохраняться далеко в будущем.

Европейский Союз пытается решить эти проблемы на региональном уровне. Блок ввёл два крупных законодательных инструмента: закон об ИИ, который регулирует использование ИИ по степени риска и подчеркивает сохранение человеческого надзора; и директиву об ответственности ИИ, которая устанавливает новые правила, которые делают проще для людей получить компенсацию за вред, причинённый ИИ.

Но регулирование само по себе не решит проблему. Больницы работают в сложной сети поставщиков, клиницистов, администраторов и команд ИТ, поэтому когда система ИИ производит вредный или предвзятый вывод, ответственность передаётся между заинтересованными сторонами: поставщик может указать на неправильное использование, клиницисты могут сказать, что дизайн ошибочен, а руководство может обвинить регуляторную неясность.

Все это означает, что ответственность размыта, оставляя больницы уязвимыми для крупных судебных битв.

Практические шаги для закрытия пробелов в управлении

Хорошая новость заключается в том, что даже без комплексных регуляций организации здравоохранения могут проактивно закрыть пробелы в управлении ИИ. Чтобы начать, лидеры могут начать с отчёта Всемирной организации здравоохранения “Этика и управление искусственным интеллектом для здравоохранения,” который стремится максимизировать обещание ИИ, минимизируя риск.

Шаги, изложенные в этом отчёте, направлены на защиту автономии, содействие благополучию человека и общественной безопасности, обеспечение прозрачности и объяснимости, а также содействие ответственности и подотчётности. Чтобы решить пробелы в управлении, давайте сосредоточимся на последних двух пунктах.

Реализуйте единую подход к управлению ИИ, обеспечивая, что он направлен сверху вниз советом или экспертами. В настоящее время многие организации позволяют отдельным отделам использовать ИИ, где они считают это нужным, оставляя лидеров не в состоянии объяснить, как и где организация использует эти инструменты. Видимость имеет первостепенное значение, поэтому убедитесь, что у вас есть список именно тех инструментов, которые используются, где и для какой цели.

Также важно установить чёткие линии ответственности на протяжении всего жизненного цикла ИИ. Это означает назначение человека или отдела, ответственного за всё, от закупок и проверки до развертывания, мониторинга и реагирования на инциденты. Больницы должны требовать от поставщиков соответствия определённым стандартам прозрачности и аудиторской проверки, а также обеспечивать, чтобы внутренние команды были обучены понимать как возможности, так и ограничения систем ИИ.

Наконец, управление должно быть операционализировано, а не просто задокументировано. Встроите политики в рабочие процессы, интегрируя оценки рисков ИИ в процессы закупок, проводя регулярные аудиты производительности ИИ и создавая механизмы для того, чтобы сотрудники первой линии могли сообщать о проблемах без трения.

На практике закрытие пробела в управлении заключается не в введении новых принципов, а rather в обеспечении дисциплины: стандартизировать, как ИИ входит в организацию, определить, кто владеет им на каждом этапе, и обеспечить, чтобы его производительность постоянно проверялась. Без этой дисциплины инструменты ИИ будут продолжать опережать структуры, предназначенные для их безопасности.

Скрытый риск: качество данных

Даже когда структуры ответственности находятся на месте, существует другой риск, который часто недооценивается: целостность данных, которые питают системы ИИ, и то, как эти системы развиваются со временем. Любая система ИИ так же надёжна, как и данные, на которых она обучена и которые она постоянно учитывает, а среды данных больниц печально известны своей фрагментацией, несоответствием и склонностью к пробелам.

Электронные записи здоровья, системы изображений и административные платформы часто работают в изоляции, создавая несоответствия, которые могут напрямую повлиять на выводы ИИ. Модель, обученная на неполных или предвзятых наборах данных, может производить ошибочные рекомендации, которые могут остаться незамеченными до тех пор, пока вред уже не будет нанесён. Это особенно опасно в клинических условиях, где небольшие отклонения в точности могут перевести в значительные последствия для пациентов.

Усиливает эту проблему “дрейф модели” — тенденция моделей ИИ отклоняться от инструкций и контекста по мере поступления большего количества данных в систему. По мере эволюции популяций пациентов, введения новых протоколов лечения и влияния внешних факторов на операции базовые предположения инструментов ИИ могут измениться. Без постоянного мониторинга и перекалибровки система ИИ, которая когда-то работала надёжно, может начать принимать решения или предлагать решения, которые отклоняются от её обучения.

Чтобы решить проблему дрейфа модели, больницы должны относиться к системам ИИ как к динамическим, высокорисковым активам, а не к статическим инструментам. Это означает реализацию постоянного мониторинга производительности, установление чётких порогов допустимой точности и определение собственности для повторной проверки и подтверждения. Управление данными также должно быть укреплено, с стандартизированными практиками для качества данных, интероперабельности и обнаружения предвзятости.

Без решения рисков, связанных с качеством данных и дрейфом модели, даже лучшие рамки управления ИИ будут неудовлетворительными. Для систем ИИ здравоохранения, которые так же хороши, как и данные, лежащие в их основе, игнорирование этого слоя риска создаёт потенциал для системной неудачи раньше или позже.

Сделайте всё правильно, прежде чем запустить

ИИ имеет потенциал трансформировать здравоохранение, улучшая эффективность, точность и результаты для пациентов. Но без чёткой собственности рисков, которые он выявляет, этот потенциал может быстро стать обязанностью.

Больницы не могут позволить себе относиться к управлению ИИ как к упражнению по соблюдению требований. Оно должно быть рассмотрено как основная операционная задача: определить собственность, структурировать надзор и постоянно оценивать. Потому что в здравоохранении, когда что-то идёт не так, последствия могут быть намного хуже, чем кто виноват.