Генеративний AI в галузі охорони здоров’я потребує дози пояснюваності

Надзвичайна швидкість, з якою текстові інструменти генерації AI можуть виконувати завдання високого рівня письма та спілкування, справила враження на компанії та споживачів. Але процеси, які відбуваються за лаштунками для забезпечення цих вражаючих можливостей, можуть зробити використання генерації AI без особливої обережності ризикованим для чутливих, державно регульованих галузей, таких як страхування, фінанси або охорона здоров’я.

Найбільш ілюстративні приклади цього можна знайти в галузі охорони здоров’я.

Такі питання зазвичай пов’язані з обширними та різноманітними наборами даних, використовуваними для навчання великих мовних моделей (LLM) – моделей, які текстові інструменти генерації AI використовують для виконання завдань високого рівня. Без явного зовнішнього втручання програмістів ці LLM tend до неселективного збору даних з різних джерел у мережі для розширення своєї бази знань.

Цій підході найчастіше відповідають низькоризиковані споживчі випадки використання, у яких кінцевою метою є спрямування клієнтів на бажані пропозиції з точністю. Однак усе частіше великі набори даних та заплутані шляхи, якими моделі AI генерують свої виходи, оскаржують пояснюваність, яку лікарні та медичні працівники потребують для відстеження та запобігання потенційним неточностям.

У цьому контексті пояснюваність означає здатність зрозуміти логічні шляхи будь-якої даної LLM. Медичні працівники, які бажають采用 допоміжні інструменти генерації AI, повинні мати можливість зрозуміти, як їхні моделі дають результати, щоб пацієнти та персонал мали повну прозорість на різних етапах процесів прийняття рішень. Інакше кажучи, у галузі, such як охорона здоров’я, де на кону стоять людські життя, ставки просто занадто високі, щоб професіонали неправильно трактували дані, використані для навчання своїх інструментів AI.

На щастя, існує спосіб обійти проблему пояснюваності генерації AI – це просто потребує трохи більше контролю та уваги.

Таємниця та скептицизм

У генерації AI концепція розуміння того, як LLM переходить від точки А – вхідних даних – до точки Б – виходу – значно складніша, ніж у негенеративних алгоритмів, які працюють за встановленими шаблонами.

Інструменти генерації AI створюють безліч зв’язків під час переходу від вхідних даних до виходу, але для зовнішнього спостерігача залишається таємницею, як і чому вони роблять будь-яку серію зв’язків. Без можливості побачити “процес мислення”, який приймає алгоритм AI, люди-оператори не мають повної можливості розслідування його висновків та відстеження потенційних неточностей.

Крім того, постійно розширювані набори даних, використовувані алгоритмами машинного навчання, ускладнюють пояснюваність ще більше. Чим більший набір даних, тим більш ймовірно, що система навчиться як релевантній, так і нерелевантній інформації та викине “галюцинації AI” – неправдиві твердження, які відхиляються від зовнішніх фактів та контекстної логіки, хоч би як переконливо.

У галузі охорони здоров’я такі помилкові результати можуть спричинити цілу низку проблем, таких як неправильні діагнози та неправильні призначення ліків. Поза етичними, юридичними та фінансовими наслідками такі помилки можуть легко нашкодити репутації медичних працівників та медичних закладів, які вони представляють.

Отже, незважаючи на свій потенціал для покращення медичних втручань, поліпшення спілкування з пацієнтами та зміцнення оперативної ефективності, генерація AI в охороні здоров’я залишається оточена скептицизмом, і справедливо так – 55% клініцистів не вважають, що вона готова до медичного використання, а 58% зовсім їй не довіряють. Однак медичні організації продовжують рух, з 98% інтегруючи або плануючи стратегію розгортання генерації AI у спробі компенсувати вплив тривалої нестачі робочої сили в галузі.

Контролюйте джерело

Галузь охорони здоров’я часто опиняється на задньому фоні в сучасному споживчому кліматі, який цінує ефективність та швидкість над забезпеченнями залізобетонних заходів безпеки. Останні новини про небезпеки майже необмеженого збору даних для навчання LLM, що призводить до позовів за порушення авторських прав, привели ці питання на перший план. Деякі компанії також стикаються з вимогами про те, що особисті дані громадян були використані для навчання цих мовних моделей, потенційно порушуючи закони про конфіденційність.

Розробники AI для високорегульованих галузей повинні здійснювати контроль над джерелами даних, щоб обмежити потенційні помилки. Тобто, надавати пріоритет витягуванню даних з довірених, галузевих джерел, а не неселективному збору зовнішніх веб-сторінок без дозволу. Для галузі охорони здоров’я це означає обмеження вхідних даних до сторінок запитань та відповідей, файлів CSV та медичних баз даних – серед інших внутрішніх джерел.

Якщо це здається трохи обмежувальним, спробуйте знайти послугу на сайті великої системи охорони здоров’я. Американські організації охорони здоров’я публікують сотні, якщо не тисячі інформаційних сторінок на своїх платформах; більшість з них закопані так глибоко, що пацієнти ніколи не зможуть до них дістатися. Рішення генерації AI, засновані на внутрішніх даних, можуть надати цю інформацію пацієнтам зручним та безшовним чином. Це виграш для всіх сторін, оскільки система охорони здоров’я нарешті бачить віддачу від цього контенту, а пацієнти можуть знайти необхідні послуги миттєво та без зусиль.

Що далі для генерації AI у регульованих галузях?

Галузь охорони здоров’я може виграти від генерації AI багатьма способами.

Розгляньте, наприклад, поширений вигорання, яке зараз переживає сектор охорони здоров’я США – близько 50% робочої сили планує покинути свої посади до 2025 року. Чатботи генерації AI можуть допомогти полегшити частину робочого навантаження та зберегти надмірно розтягнуті команди доступу пацієнтів.

На стороні пацієнта генерація AI має потенціал покращити послуги центрів зв’язку медичних працівників. Автоматизація AI має силу вирішувати широкий спектр запитів через різні канали зв’язку, включаючи запитання та відповіді, питання IT, повторні призначення ліків та направлення до лікаря. Окрім розчарування, яке виникає при очікуванні на лінії, лише близько половини пацієнтів США успішно вирішують свої питання під час першого дзвінка, що призводить до високих показників відмов та порушення доступу до медичної допомоги. Результатом є низька задоволеність клієнтів, що створює додатковий тиск на галузь, щоб вирішити цю проблему.

Для того, щоб галузь могла справді виграти від реалізації генерації AI, медичні працівники повинні забезпечити намірену перебудову даних, до яких мають доступ їхні LLM.