Нерегулируемые модели обработки естественного языка и дилемма соблюдения нормативных требований в здравоохранении

В различных отраслях генеративный ИИ (GenAI) добился быстрого прогресса за относительно короткий период времени. Эти достижения обусловлены фундаментальными моделями, которые, согласно Калифорнийскому отчету о политике передового ИИ, определяются как “класс общих технологий, требующих значительных объемов данных и вычислительных ресурсов для получения возможностей, которые могут обеспечить работу различных приложений ИИ”.

Эти общие модели обработки естественного языка (LLM), такие как Gemini и ChatGPT, демонстрируют растущую способность повторять и превосходить человеческие когнитивные способности в таких областях, как анализ данных, написание и рассуждение. В частности, в здравоохранении внедрение GenAI увеличивается, поскольку клиницисты и другие медицинские работники обращаются к этой технологии для снижения административной нагрузки, ускорения операций и даже поддержки принятия клинических решений.

Однако, хотя технология предлагает большие перспективы, внедрение GenAI в здравоохранении также создает ключевые риски соблюдения нормативных требований, если оно не реализуется или используется ответственно. В частности, использование общих LLM вызывает конкретные проблемы соблюдения нормативных требований, которые медицинские организации должны полностью понять, чтобы предотвратить нарушения конфиденциальности или безопасности данных. Эти модели могут полагаться на непроверенные источники данных, использовать информацию о здоровье пациентов неавторизованным образом или распространять предвзятую и/или неточную информацию.

Чтобы обеспечить конфиденциальность данных пациентов, соблюдать эволюционирующие нормативные требования и минимизировать дорогостоящие риски, лидеры здравоохранения должны принять решительный подход к смягчению “таймера” соблюдения нормативных требований “нерегулируемого” использования LLM.

Текущее состояние использования общих LLM в здравоохранении

В здравоохранении сотрудники все чаще используют LLM для поддержки повседневных задач, от административной работы до коммуникации с пациентами. Мультимодальные LLM также расширяют эти применения благодаря своей способности легко обрабатывать текст, изображения и аудио. Помимо административной поддержки, мы также наблюдаем рост числа поставщиков, которые обращаются к технологии для поддержки не только канцелярской работы, но и клинических задач.

Эти модели уже демонстрируют результаты, которые некоторые могут считать впечатляющими, и несколько исследований показывают, что производительность LLM соответствует или даже превосходит человеческие способности в определенных областях. Например, модель GPT-4 прошла экзамен на получение медицинской лицензии США с общим баллом 86,7%.

Гибридный ИИ – это еще один возникающий подход к использованию GenAI в здравоохранении, который сочетает машинное обучение (ML) и LLM для обработки сложного анализа и перевода результатов в простой язык. Интегрируя обе модели, этот подход стремится преодолеть ограничения LLM, включая галлюцинации, неточности и предвзятость, а также использовать его сильные стороны. Агентный ИИ также набирает популярность благодаря своей способности автоматизировать ключевые задачи без участия человека, такие как ответы на сообщения пациентов или планирование встреч.

Однако потенциал ИИ также подчеркивает необходимость более активного управления. Чем больше эти инструменты интегрируются в операции здравоохранения, тем выше ставки для обеспечения точности, безопасности и соблюдения нормативных требований.

Риски соблюдения нормативных требований общих LLM в здравоохранении

Хотя цифровое внедрение в здравоохранении открыло множество новых возможностей, оно также暴ило ключевые уязвимости. Например, между 1 ноября 2023 года и 31 октября 2024 года сектор здравоохранения пережил 1 710 инцидентов безопасности, из которых 1 542 включали подтвержденные утечки данных.

Эра ИИ углубляет эти трещины, добавляя новый слой сложности к конфиденциальности и безопасности данных. Более конкретно, использование общих LLM в здравоохранении вызывает несколько ключевых рисков соблюдения нормативных требований:

Риск #1: Непрозрачное развитие предотвращает непрерывный мониторинг или проверку

Закрытые модели отсутствуют прозрачность относительно процесса их разработки, такого как какие конкретные данные были использованы для обучения модели или как обновляются. Эта непрозрачность не позволяет разработчикам и исследователям изучить модель, чтобы определить источник рисков безопасности или понять процессы принятия решений. В результате закрытые LLM могут позволить использовать непроверенные медицинские источники данных и позволять уязвимостям безопасности оставаться без проверки.

Риск #2: Утечка данных пациентов

LLM не всегда полагаются на деидентифицированные данные пациентов. Специализированные подсказки или взаимодействия могут случайно раскрыть идентифицируемую информацию о здоровье, создавая потенциальные нарушения HIPAA.

Риск #3: Распространение предвзятости и неточной информации

В одном эксперименте исследователи ввели небольшой процент неправильных фактов в одну категорию знаний биомедицинской модели, сохраняя при этом ее поведение во всех других областях. Исследователи обнаружили, что дезинформация была распространена по всему выводу модели, подчеркивая уязвимость LLM к атакам дезинформации.

Любые дефекты, найденные в фундаментальных моделях, наследуются всеми принятymi моделями и результирующими приложениями от родительской модели. Несоответствия в выводах могут усугубить проблемы неравенства в здравоохранении, такие как неточная консультация для недостаточно представленных групп.

Риск #4: Несоответствие нормативным требованиям

Использование общих LLM может не соответствовать требованиям HIPAA, GDPR или эволюционирующим нормативным актам, особенно если поставщики не могут подтвердить источники данных для обучения. Эти риски усугубляются сотрудниками медицинских организаций, которые используют непроверенные или неподотчетные инструменты ИИ, или “теневой ИИ”. Согласно IBM, 20% опрошенных организаций во всех секторах пострадали от нарушения безопасности из-за инцидентов, связанных с “теневым ИИ”.

В конечном итоге, риски общих LLM в здравоохранении имеют реальные последствия, включая юридические действия, ущерб репутации, потерю доверия пациентов и затраты на судебные разбирательства.

Лучшие практики: Руководство по LLM и соображения

Чтобы ответственно внедрить GenAI, лидеры здравоохранения должны установить четкие правила, которые защищают пациентов и организации. Следующие лучшие практики могут помочь медицинским организациям создать основу для ответственного и соответствующего использования ИИ:

Лучшая практика #1: Выберите технологию ИИ мудро

Требуйте от поставщиков ясности относительно того, как разработана технология ИИ и какие источники данных используются в процессе разработки. Отдавайте приоритет инструментам, которые используют только проверенный медицинский контент, имеют прозрачные процессы принятия решений и избегают обучения моделей на информации о здоровье пациентов.

Лучшая практика #2: Создайте механизмы контроля с участием человека

Обеспечьте, чтобы клиницисты проверяли любые выводы, сгенерированные ИИ, которые могут повлиять на решения о лечении. ИИ может быть мощным инструментом, но в отрасли, которая напрямую влияет на жизнь пациентов, клинический надзор имеет решающее значение для обеспечения ответственного использования и точности любой информации, сгенерированной ИИ.

Лучшая практика #3: Обучение и готовность персонала

Обучайте клиницистов и персонал как о преимуществах, так и о рисках использования ИИ, чтобы снизить внедрение “теневого ИИ”. Медицинский персонал ориентируется в сложной рабочей среде, напряженной из-за нехватки кадров и высоких показателей выгорания. Упрощение процесса обучения ИИ помогает обеспечить соблюдение нормативных требований без дополнительной нагрузки на их рабочую нагрузку.

Лучшая практика #4: Установите культуру управления

Интегрируйте оценки третьих сторон решений ИИ, чтобы проверить безопасность, надежность и соблюдение нормативных требований. Вместе с этим реализуйте четкую, организационную основу для надзора за ИИ, которая определяет одобрение, использование и мониторинг, чтобы еще больше укрепить доверие к технологии и предотвратить использование персоналом неподтвержденных инструментов.

Лучшая практика #5: Согласуйте с руководством вопросы управления ИИ

Сотрудничайте с руководством, чтобы опережать эволюционирующие нормативные требования, а также руководство FDA и ONC. Регуляторные усилия возникают на уровне штата. Например, Калифорния ввела Закон о прозрачности передовых технологий ИИ, который подчеркивает раскрытие рисков, прозрачность и смягчение, особенно в медицинских учреждениях, и также есть Закон Колорадо об искусственном интеллекте (CAIA), который предназначен для предотвращения дискриминации алгоритмов.

Лучшая практика #6: Непрерывный мониторинг и обратная связь

Использование ИИ в медицинской среде никогда не должно подходить с подходом “установить и забыть”. Создание основы для постоянного мониторинга может помочь обеспечить точность инструментов ИИ, укрепить подотчетность и поддерживать соблюдение нормативных требований во времени.

Лучшая практика #7: Сотрудничество для оптимизации надзора и исследований

Медицинские организации должны использовать партнерства с регуляторами и государственным сектором, чтобы максимизировать надзор, внести свой вклад в отраслевую перспективу в стандарты безопасности и объединить экспертные ресурсы.

Строительство доверия через лидерство в соблюдении нормативных требований

Дифференциация решений ИИ в здравоохранении все больше будет зависеть от качества их экспертного контента, целостности процессов оценки и ответственной интеграции в клинические рабочие процессы. Следующая фаза внедрения ИИ будет меньше зависеть от кода и больше от лидерства в соблюдении нормативных требований.

Доверие так же важно, как и соблюдение нормативных требований. Чтобы технология действительно была эффективной, пациенты и поставщики должны верить, что ИИ безопасен и соответствует высококачественной, этической помощи. Лидерство в соблюдении нормативных требований является стратегическим преимуществом, а не только защитной мерой. Организации, которые устанавливают правила早но, до того, как произойдут вредные инциденты, будут отличаться в будущем здравоохранении, основанном на ИИ.