Проблема ответственности в сфере искусственного интеллекта в здравоохранении

В сфере здравоохранения искусственный интеллект сейчас встроен во всё, от клинических решений до кадров и финансов. Однако многие организации всё ещё не имеют необходимой делегации управления рисками, чтобы гарантировать, что инструменты ИИ не причинят вреда. Отсутствие структурированного надзора означает, что решения, связанные с ИИ, принимаются без чёткой ответственности, подвергая организации риску этических и регуляторных нарушений.

Когда никто не несёт ответственности за решения и действия ИИ, слепые зоны быстро расширяются. Последствия принятия решений ИИ без надзора многочисленны и далеко идущи, особенно когда на кону стоят человеческие жизни.

Сегодняшние пробелы в управлении ИИ похожи на предыдущие точки инфлексии, где технологическая кривая росла быстрее, чем способность предприятия управлять ею. Мы прошли через это с облачными вычислениями: команды приняли SaaS, IaaS и “тень IT”, чтобы двигаться быстрее, в то время как управление отставало в таких основах, как классификация данных, управление идентификацией и доступом, надзор за поставщиками, ведение журналов/мониторинг и ясность совместной ответственности, поэтому ответственность была разбросана по ИТ, безопасности, закупкам и бизнесу. Мы также видели это с быстрой конSUMERизацией ИТ и мобильными/BYOD устройствами, где сотрудники привели новые устройства и приложения в регулируемые среды задолго до того, как организации имели зрелые политики для шифрования, контроля конечных точек, проверки приложений и электронного открытия. В каждом случае принятие было рациональным и часто создавало ценность, но отсутствие чёткой собственности, стандартизированных контролей и надзора на протяжении всего жизненного цикла создавало предсказуемые неудачи. Урок для ИИ прост: управление не может быть после мысли, прикреплённой к инновациям; оно должно быть построено как другая критическая инфраструктура – намеренно, с определёнными правами на принятие решений, непрерывным мониторингом и принудительными ограничениями.

Проблема с размытой ответственностью

Быстрое развертывание ИИ обогнало развитие стандартов управления и ответственности, что привело к пробелу в “размытой ответственности”, где ни одна сущность не берёт на себя ответственность, когда ИИ терпит неудачу.

Ответственность уже является повсеместной проблемой в здравоохранении, и ИИ только принёс новые проблемы. Инструменты ИИ не имеют признанной юридической идентичности, что означает, что они не могут быть привлечены к суду или застрахованы, ни могут они выплатить юридическую компенсацию жертвам. В судебных разбирательствах вина должна быть перенесена на человеческого актора или корпорацию, а не на инструмент.

Исследователи в The Lancet, ведущем медицинском исследовательском журнале, недавно утверждали, что “институциональные структуры ответственности должны перераспределить ответственность от клиницистов к организациям, которые проектируют и развертывают [инструменты ИИ]”. Ясно, что такие вопросы вокруг ответственности будут сохраняться далеко в будущем.

Европейский Союз пытается решить эти проблемы на региональном уровне. Блок ввёл два основных законодательных инструмента: закон об ИИ, который регулирует использование ИИ по степени риска и подчеркивает сохранение человеческого надзора; и директиву об ответственности ИИ, которая устанавливает новые правила, которые делают проще для людей получить компенсацию за вред, причинённый ИИ.

Но регулирование alone не решит проблему. Больницы работают в сложной сети поставщиков, клиницистов, администраторов и команд ИТ, поэтому, когда система ИИ производит вредный или предвзятый вывод, ответственность передаётся как мяч между заинтересованными сторонами: поставщик может указать на неправильное использование, клиницисты могут сказать, что дизайн ошибочен, а руководство может обвинить неясность регулирования.

Все это означает, что ответственность размыта, оставляя больницы уязвимыми для крупных судебных битв.

Практические шаги для закрытия пробелов в управлении

Хорошая новость заключается в том, что даже без комплексных правил организации здравоохранения могут проактивно закрыть пробелы в управлении ИИ. Чтобы начать, лидеры могут начать с отчёта Всемирной организации здравоохранения “Этика и управление искусственным интеллектом для здравоохранения,” который стремится максимизировать обещание ИИ, минимизируя риск.

Шаги, изложенные в этом отчёте, направлены на защиту автономии, содействие благополучию человека и общественной безопасности, обеспечение прозрачности и объяснимости, а также содействие ответственности и подотчётности. Чтобы решить пробелы в управлении, давайте сосредоточимся на последних двух пунктах.

Реализуйте единый подход к управлению ИИ, гарантируя, что он направляется сверху boards или экспертами. В настоящее время многие организации позволяют отдельным отделам использовать ИИ, где они считают это нужным, оставляя лидеров не в состоянии объяснить, как и где организация использует эти инструменты. Видимость имеет первостепенное значение, поэтому убедитесь, что у вас есть список именно тех инструментов, которые используются, где и для какой цели.

Также важно установить чёткие линии ответственности на протяжении всего жизненного цикла ИИ. Это означает назначение человека или отдела, ответственного за всё, от закупок и проверки до развертывания, мониторинга и реагирования на инциденты. Больницы должны требовать от поставщиков соответствия определённым стандартам прозрачности и аудиторской проверки, а также гарантировать, что внутренние команды обучены понимать как возможности, так и ограничения систем ИИ.

Наконец, управление должно быть операционализировано, а не просто задокументировано. Внедрите политики в рабочие процессы, интегрируя оценки рисков ИИ в процессы закупок, проводя регулярные аудиты производительности ИИ и создавая механизмы для сотрудников первого уровня, чтобы сообщать о проблемах без трения.

На практике закрытие пробела в управлении заключается не в введении новых принципов, а rather в обеспечении дисциплины: стандартизировать, как ИИ входит в организацию, определить, кто владеет им на каждом этапе, и гарантировать, что его производительность постоянно проверяется. Без этой дисциплины инструменты ИИ продолжат опережать структуры, предназначенные для их безопасности.

Скрытый риск: качество данных

Даже когда структуры ответственности находятся на месте, существует другой риск, который часто недооценивается: целостность данных, которые питают системы ИИ, и то, как эти системы эволюционируют со временем. Любая система ИИ так же надёжна, как и данные, на которых она обучена и постоянно учится, а среды данных больниц печально известны своей фрагментацией, несоответствием и склонностью к пробелам.

Электронные медицинские записи, системы изображений и административные платформы часто работают в изоляции, создавая несоответствия, которые могут напрямую повлиять на выводы ИИ. Модель, обученная на неполных или предвзятых наборах данных, может производить ошибочные рекомендации, которые могут остаться незамеченными до тех пор, пока вред уже не будет нанесён. Это особенно опасно в клинических условиях, где небольшие отклонения в точности могут перевести в значительные последствия для пациентов.

Усиливает эту проблему “сдвиг модели” – тенденция моделей ИИ отклоняться от инструкций и контекста по мере поступления большего количества данных в систему. По мере эволюции популяций пациентов, введения новых протоколов лечения и влияния внешних факторов на операции, базовые предположения инструментов ИИ могут сместиться. Без непрерывного мониторинга и перекалибровки система ИИ, которая когда-то работала надёжно, может начать принимать решения или предлагать решения, которые отклоняются от её обучения.

Чтобы решить проблему сдвига модели, больницы должны относиться к системам ИИ как к динамическим, высокорисковым активам, а не к статическим инструментам. Это означает реализацию непрерывного мониторинга производительности, установление чётких порогов допустимой точности и определение собственности для повторной проверки и подтверждения. Управление данными также должно быть усилено, с стандартизированными практиками для качества данных, интероперабельности и обнаружения предвзятости.

Без решения рисков, связанных с качеством данных и сдвигом модели, даже лучшие рамки управления ИИ будут неудовлетворительными. Для систем ИИ здравоохранения, которые так же хороши, как и данные, лежащие в их основе, игнорирование этого слоя риска создаёт потенциал для системной неудачи раньше или позже.

Сделайте всё правильно, прежде чем запустить

ИИ имеет потенциал трансформировать здравоохранение, улучшая эффективность, точность и результаты для пациентов. Но без чёткой собственности рисков, которые он выявляет, этот потенциал может быстро стать обязанностью.

Больницы не могут позволить себе относиться к управлению ИИ как к упражнению по соблюдению требований. Оно должно быть behand как основной операционный приоритет: определить собственность, структурировать надзор и оценивать непрерывно. Потому что в здравоохранении, когда что-то идёт не так, последствия могут быть намного хуже, чем кто виноват.