Неперевірені LLM та загадка дотримання вимог у сфері охорони здоров’я

По всіх галузях генеративний штучний інтелект (GenAI) досяг швидких проривів за відносно короткий період часу. Ці досягнення обумовлені моделями-фундаментальними, які, згідно з Каліфорнійським звітом про політику штучного інтелекту, визначаються як “клас загальних технологій, які ресурсоємні для виробництва, що вимагає значної кількості даних та обчислень для отримання можливостей, які можуть забезпечити різноманітні додатки штучного інтелекту”.

Ці загальні моделі великих мовних моделей (LLM), такі як Gemini та ChatGPT, демонструють зростаючу потужність у реплікації та перевищенні когнітивних можливостей людини в таких областях, як аналіз даних, написання та міркування. У сфері охорони здоров’я зокрема采用 GenAI зростає, оскільки клініцисти та інші спеціалісти охорони здоров’я звертаються до цієї технології для зменшення адміністративного навантаження, прискорення операцій та навіть підтримки клінічного прийняття рішень.

Однак, хоча технологія пропонує великі перспективи,采用 GenAI у сфері охорони здоров’я також викликає ключові ризики дотримання вимог, якщо не впроваджується або використовується відповідально. Особливо, використання загальних моделей LLM супроводжується конкретними проблемами дотримання вимог, яких повинні повністю зрозуміти організації охорони здоров’я, щоб запобігти порушенням приватності або безпеки. Ці моделі можуть спиратися на неверифіковані джерела даних, використовувати інформацію про здоров’я пацієнтів у неавторизованих способах або поширювати упередженість та/або неточну інформацію.

Для забезпечення приватності даних пацієнтів, дотримання еволюційних регуляцій та мінімізації ризиків керівники охорони здоров’я повинні вживати рішучих заходів для нейтралізації “часової бомби” недогляду за використанням LLM.

Поточний стан використання загальних моделей LLM у сфері охорони здоров’я

По всій сфері охорони здоров’я персонал все частіше використовує LLM для підтримки щоденних завдань, від адміністративної роботи до спілкування з пацієнтами. Мультимодальні LLM також розширюють ці застосування завдяки своїй здатності легко обробляти текст, зображення та аудіо. Окрім адміністративної підтримки, ми також спостерігаємо зростання кількості постачальників, які звертаються до цієї технології для підтримки не лише канцелярської роботи, а й клінічних завдань.

Ці моделі вже демонструють, що деякі можуть вважати вражаючими результатами, оскільки кілька досліджень показують, що продуктивність LLM відповідає або навіть перевищує можливості людини в певних областях. Наприклад, модель GPT-4 пройшла Єдиний медичний ліцензійний іспит США з загальним балом 86,7%.

Гібридний штучний інтелект – це ще один новий підхід до використання GenAI у сфері охорони здоров’я, який поєднує машинне навчання (ML) та LLM для обробки складного аналізу та перекладу результатів у зрозумілу мову. Цей підхід спрямований на подолання недоліків LLM, таких як галюцинації, неточності та упередженість, одночасно використовуючи їхні сильні сторони. Агентний штучний інтелект також набуває популярності завдяки своїй здатності автоматизувати ключові завдання без людського втручання, такі як відповіді на повідомлення пацієнтів або призначення призначень.

Однак потенціал штучного інтелекту також підкреслює гостру потребу у більш активному управлінні. Чим більше ці інструменти інтегруються в операції охорони здоров’я, тим вищі ставки для забезпечення точності, безпеки та дотримання вимог.

Ризики дотримання вимог загальних моделей LLM у сфері охорони здоров’я

Хоча цифрові інновації у сфері охорони здоров’я відкрили багато нових можливостей, вони також викрили ключові вразливості. Наприклад, між 1 листопада 2023 року та 31 жовтня 2024 року галузь охорони здоров’я пережила 1 710 інцидентів безпеки, 1 542 з яких включали підтверджені порушення даних.

Ера штучного інтелекту поглиблює ці тріщини, додаючи новий рівень складності до приватності та безпеки даних. Конкретно, використання загальних моделей LLM у сфері охорони здоров’я викликає кілька ключових ризиків дотримання вимог:

Ризик #1: Непрозорість розробки запобігає безперервному моніторингу або верифікації

Закриті моделі відсутня прозорість щодо процесу розробки, наприклад, яких саме даних модель була навчена або як оновлюються. Ця непрозорість перешкоджає розробникам та дослідникам вивчати модель, щоб визначити походження ризиків безпеки або зрозуміти процеси прийняття рішень. В результаті закриті LLM можуть дозволити використання неверифікованих медичних джерел даних та дозволити безпеці втратитися без контролю.

Ризик #2: Викриття даних пацієнтів

LLM не завжди спираються на деідентифіковані дані пацієнтів. Спеціалізовані запити або взаємодії можуть непередбачувано розкрити ідентифікуючу інформацію про здоров’я, створюючи потенційні порушення HIPAA.

Ризик #3: Поширення упередженості та неточної інформації

У одному експерименті дослідники ввели невеликий відсоток неправильних фактів у одну категорію знань біомедичної моделі, зберігаючи її поведінку в усіх інших областях. Дослідники виявили, що дезінформація поширилася по всьому виводу моделі, підкреслюючи вразливість LLM до атак дезінформації.

Будь-які дефекти, виявлені в моделях-фундаментальнах, спадкуються всіма прийнятими моделями та результатами застосунків від батьківської моделі. Нескладності у виводі можуть погіршити нерівності у сфері охорони здоров’я, такі як неточні поради для недостатньо представлених груп.

Ризик #4: Регуляторна невідповідність

Використання загальних моделей LLM може не відповідати вимогам HIPAA, GDPR або еволюційних регуляцій, особливо якщо постачальники не можуть підтвердити дані навчання. Ці ризики посилюються тим, що працівники організації охорони здоров’я використовують не затверджені або не моніторовані інструменти штучного інтелекту, або тіньовий штучний інтелект. За даними IBM, 20% опитаних організацій у всіх галузях пережили порушення через інциденти безпеки, пов’язані з тіньовим штучним інтелектом.

В кінцевому підсумку ризики загальних моделей LLM у сфері охорони здоров’я мають реальні наслідки, включаючи юридичні дії, шкоду репутації, втрату довіри пацієнтів та судові витрати.

Найкращі практики: керівництво щодо LLM та розгляди

Для відповідального впровадження GenAI керівники охорони здоров’я повинні встановити чіткі обмеження, які захищають пацієнтів та організації. Наступні найкращі практики можуть допомогти організаціям охорони здоров’я встановити основу для відповідального та відповідального використання штучного інтелекту:

Найкраща практика #1: Виберіть технологію штучного інтелекту обережно

Вимагайте прозорості від постачальників щодо розробки технології штучного інтелекту та джерел даних, використаних у процесі розробки. Приоритетними повинні бути інструменти, які використовують тільки експертно валідовані медичні контенти, мають прозорі процеси прийняття рішень та уникують навчання моделей на даних про здоров’я пацієнтів.

Найкраща практика #2: Будуйте захист людини у циклі

Забезпечте, щоб клініцисти переглядали будь-які виводи, згенеровані штучним інтелектом, які можуть вплинути на рішення щодо лікування. Штучний інтелект може бути потужним інструментом, але в галузі, яка має прямий вплив на життя пацієнтів, клінічний нагляд є ключем до забезпечення відповідального використання та точності будь-якої інформації, допоміжної штучним інтелектом.

Найкраща практика #3: Навчання та готуваність працівників

Освіть клініцистів та персонал про переваги та ризики використання штучного інтелекту, щоб зменшити采用 тіньового штучного інтелекту. Персонал охорони здоров’я навигує у складній робочій силі, напруженій через нестачу персоналу та високі рівні вихідного стану. Упрощення процесу освіти штучного інтелекту допомагає забезпечити дотримання вимог без додаткового навантаження на їхнє робоче навантаження.

Найкраща практика #4: Створіть культуру управління

Інтегруйте оцінки третіх сторін рішень штучного інтелекту, щоб підтвердити безпеку, надійність та дотримання вимог. У тандемі реалізуйте чітку, організаційну основу для нагляду за штучним інтелектом, яка визначає затвердження, використання та моніторинг, щоб ще більше посилити довіру до технології та запобігти персоналу звертатися до неавторизованих інструментів.

Найкраща практика #5: Схожість з керівництвом щодо опіки штучним інтелектом

Співпрацюйте з керівництвом, щоб бути попереду еволюційних регуляцій, а також керівництва FDA та ONC. Регуляторні зусилля виникають на рівні штатів. Наприклад, Каліфорнія встановила Закон про прозорість у сфері штучного інтелекту, який підкреслює розкриття ризиків, прозорість та мінімізацію, особливо у сфері охорони здоров’я, і також існує Закон штату Колорадо про штучний інтелект (CAIA), який призначений для запобігання алгоритмічній дискримінації.

Найкраща практика #6: Безперервний моніторинг та зворотні зв’язки

Використання штучного інтелекту у сфері охорони здоров’я ніколи не повинно підходити до “встановити та забути” розуміння. Встановлення основи для безперервного моніторингу може допомогти забезпечити точність інструментів штучного інтелекту, посилити відповідальність та підтримувати дотримання вимог з часом.

Найкраща практика #7: Прагнення партнерств для оптимізації нагляду та досліджень

Організації охорони здоров’я повинні використовувати партнерства з регуляторами та громадським сектором, щоб максимізувати нагляд, внести свій внесок у безпеку стандартів та об’єднати експертні ресурси.

Будування довіри через лідерство у дотриманні вимог

Різниця рішень штучного інтелекту у сфері охорони здоров’я буде все більше залежати від якості їхнього експертного контенту, цілісності процесів оцінки та відповідального інтегрування у клінічні робочі процеси. Наступний етап采用 штучного інтелекту буде залежати менше від коду та більше від лідерства у дотриманні вимог.

Довіра так само важлива, як і дотримання вимог. Для того, щоб технологія була справді ефективною, пацієнти та постачальники повинні вірити, що штучний інтелект безпечний та відповідає високоякісній, етичній допомозі. Лідерство у дотриманні вимог – це стратегічна перевага, а не тільки оборонна міра. Організації, які встановлюють обмеження заздалегідь, до того, як трапляються шкідливі інциденти, будуть відрізняться у майбутньому, яке буде сформоване штучним інтелектом у сфері охорони здоров’я.