Нерегульовані LLM та конундрум у сфері охорони здоров’я

У різних галузях генеративний штучний інтелект (GenAI) досяг швидких проривів за відносно короткий період часу. Ці досягнення обумовлені моделями基础, які, згідно з Каліфорнійським звітом про політику передових технологій штучного інтелекту, визначаються як “клас загальних технологій, які вимагають великих обсягів даних та обчислювальних ресурсів для отримання можливостей, які можуть забезпечити роботу різноманітних додатків штучного інтелекту”.

Ці загальні великомасштабні моделі мови (LLM), такі як Gemini і ChatGPT, демонструють зростаючу потужність у реплікації та перевищенні когнітивних можливостей людини в таких областях, як аналіз даних, написання та розуміння. У сфері охорони здоров’я зокрема采用 GenAI зростає, оскільки клініцисти та інші фахівці охорони здоров’я розглядають цю технологію як засіб зменшення адміністративного навантаження, прискорення операцій та навіть підтримки клінічних рішень.

Однак, хоча технологія пропонує великі можливості,采用 GenAI у сфері охорони здоров’я також підвищує ключові ризики з дотриманням вимог, якщо не реалізується або використовується відповідально. Особливо, використання загальних LLM супроводжується конкретними ризиками з дотриманням вимог, які організації охорони здоров’я повинні повністю зрозуміти, щоб запобігти порушенням конфіденційності або безпеки даних. Ці моделі можуть спиратися на неверифіковані джерела даних, використовувати інформацію про здоров’я пацієнтів у неавторизованому порядку або поширювати упередженість та/або неточну інформацію.

Для забезпечення конфіденційності даних пацієнтів, дотримання змінюваних регуляцій та мінімізації ризиків організації охорони здоров’я повинні вживати рішучих заходів для нейтралізації “часової бомби” неконтрольованого використання LLM.

Поточний стан використання загальних LLM у сфері охорони здоров’я

У сфері охорони здоров’я працівники все частіше використовують LLM для підтримки повсякденних завдань, від адміністративної роботи до спілкування з пацієнтами. Мультимодальні LLM також розширюють ці застосування завдяки своїй здатності легко обробляти текст, зображення та аудіо. Окрім адміністративної підтримки, ми також спостерігаємо зростання кількості постачальників, які звертаються до технології для підтримки не тільки канцелярської роботи, а й клінічних завдань.

Ці моделі вже демонструють результати, які деякі можуть вважати вражаючими, оскільки кілька досліджень показують, що результати LLM відповідають або навіть перевищують можливості людини в певних областях. Наприклад, модель GPT-4 пройшла екзамен на ліцензію лікаря США з загальним балом 86,7%.

Гібридний штучний інтелект – це ще один новий підхід до використання GenAI у сфері охорони здоров’я, який поєднує машинне навчання (ML) та LLM для обробки складного аналізу та перекладу результатів у просту мову. Інтегруючи обидві моделі, цей підхід спрямований на подолання обмежень LLM, таких як галюцинації, неточності та упередженість, а також на використання їхніх сильних сторін. Агентний штучний інтелект також набирає популярність завдяки своїй здатності автоматизувати ключові завдання без участі людини, такі як відповіді на повідомлення пацієнтів або планування призначень.

Однак потенціал штучного інтелекту також підкреслює необхідність більш активного управління. Чим більше ці інструменти інтегруються в операції охорони здоров’я, тим вищі ставки для забезпечення точності, безпеки та дотримання вимог.

Ризики з дотриманням вимог загальних LLM у сфері охорони здоров’я

Хоча цифровізація у сфері охорони здоров’я відкрила багато нових можливостей, вона також викрила ключові вразливості. Наприклад, між 1 листопада 2023 року та 31 жовтня 2024 року галузь охорони здоров’я пережила 1 710 інцидентів безпеки, з яких 1 542 включали підтверджені порушення даних.

Ера штучного інтелекту поглиблює ці тріщини, додаючи новий рівень складності до захисту даних та безпеки. Зокрема, використання загальних LLM у сфері охорони здоров’я викликає кілька ключових ризиків з дотриманням вимог:

Ризик #1: Непрозорість розробки запобігає безперервному моніторингу або верифікації

Закриті моделі відсутня прозорість щодо процесу розробки, наприклад, які саме дані були використані для навчання моделі або як проводяться оновлення. Ця непрозорість перешкоджає розробникам та дослідникам розібратися в моделі, щоб визначити джерело ризиків безпеки або процесів прийняття рішень. В результаті, закриті LLM можуть дозволити використання неверифікованих джерел медичних даних та дозволити безпечним уразливостям залишатися непоміченими.

Ризик #2: Викриття даних пацієнтів

LLM не завжди спираються на деідентифіковані дані пацієнтів. Спеціалізовані запити або взаємодії могли непередбачувано розкрити ідентифікуючу інформацію про здоров’я, створюючи потенційні порушення законодавства про охорону здоров’я.

Ризик #3: Поширення упередженості та неточної інформації

У одному експерименті дослідники ввели невеликий відсоток неправильних фактів у одну категорію знань біомедичної моделі, зберігаючи при цьому її поведінку в усіх інших областях. Дослідники виявили, що дезінформація поширилася по всьому виходу моделі, підкреслюючи вразливість LLM до атак дезінформації.

Будь-які дефекти, виявлені в моделях-основах, спадковуються усіма прийнятими моделями та результатами застосування від батьківської моделі. Несправедливості у виходах можуть погіршити нерівності у сфері охорони здоров’я, наприклад, неточні поради для недостатньо представлених груп.

Ризик #4: Несумісність з регуляторними вимогами

Використання загальних LLM може не відповідати вимогам законодавства про охорону здоров’я, GDPR або еволюціонуючим регуляторним вимогам, особливо якщо постачальники не можуть підтвердити джерела даних для навчання. Ці ризики посилюються працівниками організацій охорони здоров’я, які використовують не затверджені або не моніторовані інструменти штучного інтелекту, або тіньовий штучний інтелект. За даними IBM, 20% опитаних організацій у всіх галузях пережили порушення безпеки через інциденти, пов’язані з тіньовим штучним інтелектом.

В кінцевому підсумі, загальні ризики LLM у сфері охорони здоров’я мають реальні наслідки, включаючи юридичні дії, шкоду репутації, втрату довіри пацієнтів та судові витрати.

Найкращі практики: рекомендації щодо використання LLM та їх розгляду

Для відповідального прийняття GenAI лідери організацій охорони здоров’я повинні встановити чіткі правила, які захищають пацієнтів та організації. Нижче наведені найкращі практики, які можуть допомогти організаціям охорони здоров’я встановити основу для відповідального використання штучного інтелекту:

Найкраща практика #1: Виберіть технологію штучного інтелекту мудро

Вимагайте ясності від постачальників щодо розробки технології штучного інтелекту та джерел даних, використаних у процесі розробки. Приоритетом повинні бути інструменти, які використовують тільки експертно перевірений медичний контент, мають прозорі процеси прийняття рішень та уникують навчання моделей на даних про здоров’я пацієнтів.

Найкраща практика #2: Будуйте людські засоби безпеки

Забезпечте, щоб клініцисти переглядали будь-які виходи, сгенеровані штучним інтелектом, які можуть вплинути на рішення щодо лікування. Штучний інтелект може бути потужним інструментом, але в галузі, яка має прямий вплив на життя пацієнтів, клінічний нагляд є ключем до забезпечення відповідального використання та точності будь-якої інформації, підтримуваної штучним інтелектом.

Найкраща практика #3: Навчання та готовність працівників

Освітіть клініцистів та працівників щодо переваг та ризиків використання штучного інтелекту, щоб зменшити прийняття тіньового штучного інтелекту. Працівники охорони здоров’я мають справу з складною робочою силою, яку стримують нестача працівників та високі рівні вигорання. Упрощення процесу навчання штучному інтелекту допоможе забезпечити дотримання вимог без додаткового навантаження на їх робоче навантаження.

Найкраща практика #4: Встановіть культуру управління

Інтегруйте оцінки третьої сторони рішень штучного інтелекту, щоб підтвердити безпеку, надійність та дотримання вимог. У тандемі реалізуйте чітку організаційну структуру нагляду за штучним інтелектом, яка визначає затвердження, використання та моніторинг, щоб ще більше посилити довіру до технології та запобігти працівникам звертатися до не затверджених інструментів.

Найкраща практика #5: Синхронізуйте з керівництвом щодо управління штучним інтелектом

Співпрацюйте з керівництвом, щоб залишатися попереду еволюціонуючих регуляцій, а також рекомендацій FDA та ONC. Регуляторні зусилля виникають на рівні штатів. Наприклад, Каліфорнія прийняла Закон про прозорість у сфері передових технологій штучного інтелекту, який підкреслює розкриття ризиків, прозорість та мінімізацію, особливо в умовах охорони здоров’я, і також існує Закон Колорадо про штучний інтелект (CAIA), який призначений для запобігання дискримінації алгоритмів.

Найкраща практика #6: Безперервний моніторинг та зворотній зв’язок

Використання штучного інтелекту в умовах охорони здоров’я ніколи не повинно здійснюватися з підходом “встановити та забути”. Встановлення структури для безперервного моніторингу допоможе забезпечити точність інструментів штучного інтелекту, зміцнити відповідальність та підтримувати дотримання вимог з часом.

Найкраща практика #7: Прагніть до партнерств для оптимізації нагляду та досліджень

Організації охорони здоров’я повинні використовувати партнерства з регуляторами та громадським сектором, щоб максимізувати нагляд, внести свій внесок у стандарти безпеки та об’єднати експертні ресурси.

Будування довіри через лідерство у сфері дотримання вимог

Різниця між рішеннями штучного інтелекту у сфері охорони здоров’я буде все більше залежати від якості експертного контенту, цілісності процесів оцінки та відповідального інтегрування у клінічні робочі процеси. Наступна фаза прийняття штучного інтелекту буде залежати менше від коду та більше від лідерства у сфері дотримання вимог.

Довіра так само важлива, як і дотримання вимог. Для того щоб технологія була真正ньо ефективною, пацієнти та постачальники повинні вірити, що штучний інтелект безпечний та відповідає високоякісній, етичній допомозі. Лідерство у сфері дотримання вимог є стратегічною перевагою, а не тільки оборонною мірою. Організації, які встановлюють правила раніше, до того як трапляються шкідливі інциденти, відрізняються у майбутньому, яке буде пов’язане зі штучним інтелектом.