Будь-який агент штучного інтелекту може говорити. Дуже мало хто з них можна довіряти

Потрібність агентів штучного інтелекту в сфері охорони здоров’я є терміновою. По всій галузі перевантажені команди зайняті часовитими завданнями, які утримують надання медичної допомоги. Клініцисти розтягнуті тонко, центри прийому дзвінків платників перевантажені, а пацієнти залишаються чекати на відповіді на негайні питання.

Агенти штучного інтелекту можуть допомогти, заповнюючи глибокі прогалини, розширюючи сферу дії та доступність клінічного та адміністративного персоналу, а також зменшуючи вичерпання сил медичного персоналу та пацієнтів. Але перш ніж ми зможемо зробити це, нам потрібно створити міцну основу для будівництва довіри до агентів штучного інтелекту. Ця довіра не прийде від теплого тону голосу чи розмовної витонченості. Вона прийде від інженерії.

Навіть як інтерес до агентів штучного інтелекту стрімко зростає, а заголовки трублять про обіцянку агентського штучного інтелекту, лідери охорони здоров’я – які відповідають перед своїми пацієнтами та громадами – залишаються вагаючись щодо розгортання цієї технології у великому масштабі. Стартапи рекламують агентські можливості, які варіюються від автоматизації повсякденних завдань, таких як планування прийому, до високотouch комунікації з пацієнтами та надання медичної допомоги. Однак більшість із них ще не довели, що ці взаємодії безпечні.

Багато з них цього ніколи не зроблять.

Реальність полягає в тому, що будь-хто може запустити голосового агента, який працює на великій мовній моделі (LLM), надати йому співчутливий тон і написати сценарій розмови, який звучить переконливо. Є багато платформ, подібних до цієї, які рекламують своїх агентів у кожній галузі. Їхні агенти можуть виглядати та звучати по-різному, але всі вони поводяться однаково – схильні до галюцинацій, не можуть перевірити критичні факти та не мають механізмів, які забезпечують підзвітність.

Цей підхід – будівництво часто надто тонкої оболонки навколо фундаментальної LLM – може працювати в галузях, таких як рітейл або гостьовий бізнес, але зазнає невдачі в сфері охорони здоров’я. Фундаментальні моделі – це надзвичайні інструменти, але вони в основному загального призначення; вони не були навчені конкретно на клінічних протоколах, політиці платників чи нормативних стандартах. Навіть найелоквентніші агенти, побудовані на цих моделях, можуть перейти в територію галюцинацій, відповідаючи на питання, на які їм не слід відповідати, вигадуючи факти чи не визнаючи, коли людину потрібно залучити до циклу.

Наслідки цих поведінок не теоретичні. Вони можуть заплутати пацієнтів, втрутитися в надання медичної допомоги та привести до дорогої ручної переробки. Це не проблема інтелекту. Це проблема інфраструктури.

Щоб діяти безпечно, ефективно та надійно в сфері охорони здоров’я, агенти штучного інтелекту повинні бути більш ніж просто автономними голосами на іншому кінці телефону. Вони повинні працювати в системах, спроектованих конкретно для контролю, контексту та підзвітності. З мого досвіду будівництва цих систем, ось як це виглядає на практиці.

Контроль відповіді може зробити галюцинації неіснуючими

Агенти штучного інтелекту в сфері охорони здоров’я не можуть просто генерувати правдоподібні відповіді. їм потрібно доставляти правильні відповіді кожен раз. Це вимагає керованого “простору дії” – механізму, який дозволяє штучному інтелекту зрозуміти та促увати природну розмову, але забезпечує, щоб кожна можлива відповідь була обмежена попередньо затвердженою логікою.

З параметрами контролю відповіді, побудованими в систему, агенти можуть посилатися тільки на перевірені протоколи, попередньо визначені процедури та нормативні стандарти. Креативність моделі використовується для керування взаємодіями, а не для імпровізації фактів. Це саме те, як лідери охорони здоров’я можуть забезпечити, щоб ризик галюцинації був усунений повністю – не шляхом тестування в пілотному проекті чи одній фокус-групі, а шляхом проектування ризику на рівні землі.

Спеціалізовані знання-графи можуть забезпечити довірчі взаємодії

Контекст кожної розмови в сфері охорони здоров’я глибоко особистий. Два людини з цукровим діабетом 2-го типу можуть жити в одному районі та мати однаковий ризиковий профіль. Їхня право на конкретний препарат буде варіюватися залежно від їхньої медичної історії, лікування лікаря, страхового плану та правил формуляра.

Агенти штучного інтелекту не тільки потребують доступу до цього контексту, але й повинні бути能够 розмовляти з ним в реальному часі. Спеціалізований знання-граф забезпечує цю можливість. Це структурований спосіб представлення інформації з декількох довірених джерел, який дозволяє агентам перевірити те, що вони чують, та забезпечити, щоб інформація, яку вони повертають, була точною та персоналізованою. Агенти без цього шару можуть звучати інформованими, але вони просто слідують жорстким робочим процесам та заповнюють пробіли.

Надійні системи перевірки можуть оцінити точність

Пацієнт може повісити трубку з агентом штучного інтелекту та відчувати себе задоволеним, але робота агента ще далека від завершення. Організації охорони здоров’я потребують гарантією, що агент не тільки виробив правильну інформацію, але й зрозумів та задокументував взаємодію. Саме тут вступають в дію автоматизовані системи пост-процесингу.

Надійна система перевірки повинна оцінювати кожну та кожну розмову з тим же рівнем уваги, який би мав людський наглядач з усіма можливими ресурсами. Вона повинна бути能够 визначити, чи була відповідь точною, забезпечити, щоб правильна інформація була захоплена, та визначити, чи потрібно подальша дія. Якщо щось не так, агент повинен бути能够 ескаліувати до людини, але якщо все в порядку, завдання можна позначити як виконане з впевненістю.

Поза цими трьома фундаментальними елементами, необхідними для інженерії довіри, кожна інфраструктура агентського штучного інтелекту потребує надійної системи безпеки та відповідності, яка захищає дані пацієнтів та забезпечує, щоб агенти працювали в межах регульованих обмежень. Ця система повинна включати суворе дотримання загальних галузевих стандартів, таких як SOC 2 та HIPAA, але також повинна мати процеси, побудовані для тестування на упередженість, видалення захищеної інформації про здоров’я пацієнтів та збереження даних.

Ці заходи безпеки не тільки перевіряють коробки відповідності. Вони утворюють основу довірчої системи, яка може забезпечити, щоб кожна взаємодія була керована на рівні, який пацієнти та постачальники очікують.

Галузь охорони здоров’я не потребує більше гіпу штучного інтелекту. Їй потрібно надійна інфраструктура штучного інтелекту. У випадку агентського штучного інтелекту довіра не буде здобута так сильно, як буде спроектована.