Будь-який агент штучного інтелекту може розмовляти. Деякі можуть бути довіреними

Потреба в агентах штучного інтелекту в сфері охорони здоров’я є терміновою. По всій галузі перевантажені команди завалені трудомісткими завданнями, які уповільнюють надання медичної допомоги. Клініцисти розтягнуті тонко, кол-центри платників перевантажені, а пацієнти залишаються в очікуванні відповідей на термінові питання.

Агенти штучного інтелекту можуть допомогти, заповнюючи глибокі прогалини, розширюючи охоплення та доступність клінічного та адміністративного персоналу, а також зменшуючи вичерпання сил медичного персоналу та пацієнтів. Але перш ніж ми зможемо зробити це, нам потрібно створити міцну основу для довіри до агентів штучного інтелекту. Ця довіра не прийде від теплого тону голосу чи розмовної витонченості. Вона прийде від інженерії.

Навіть якщо інтерес до агентів штучного інтелекту стрімко зростає, а заголовки проголошують обіцянку агентського штучного інтелекту, лідери охорони здоров’я – відповідальні перед своїми пацієнтами та спільнотами – залишаються вагаючись щодо розгортання цієї технології у великому масштабі. Стартапи пропагують агентські можливості, які варіюються від автоматизації рутинних завдань, таких як планування прийомів, до високотouch комунікації з пацієнтами та надання медичної допомоги. Однак більшість з них ще не довели, що ці взаємодії є безпечними.

Багато з них ніколи не доведуть.

Реальність така, що будь-хто може запустити голосового агента, який працює на основі великої мовної моделі (LLM), надати йому співчутливий тон і написати сценарій розмови, яка звучить переконливо. Є багато платформ, подібних до цієї, які пропагують своїх агентів у кожній галузі. Їхні агенти можуть виглядати та звучати по-різному, але всі вони поводяться однаково – схильні до галюцинацій, не можуть перевірити критичні факти та не мають механізмів, які забезпечують підзвітність.

Цей підхід – побудова часто надто тонкої оболонки навколо фундаментальної LLM – може працювати в галузях, таких як рітейл або гостьовий бізнес, але зазнає невдачі в сфері охорони здоров’я. Фундаментальні моделі є надзвичайними інструментами, але вони в основному є загальними; вони не були навчені конкретно на клінічних протоколах, політиці платників чи нормативних стандартах. Навіть найелоквентніші агенти, побудовані на цих моделях, можуть перейти в область галюцинацій, відповідаючи на питання, на які вони не повинні відповідати, вигадуючи факти чи не визнаючи, коли потрібно залучити людину.

Наслідки цих поведінок не є теоретичними. Вони можуть заплутати пацієнтів, втрутитися в надання медичної допомоги та привести до дорогої переробки людьми. Це не проблема інтелекту. Це проблема інфраструктури.

Щоб працювати безпечно, ефективно та надійно в сфері охорони здоров’я, агенти штучного інтелекту повинні бути більш ніж просто автономними голосами на іншому кінці телефону. Вони повинні працювати в системах, спеціально розроблених для контролю, контексту та підзвітності. З мого досвіду будівництва цих систем, ось як це виглядає на практиці.

Контроль відповідей може зробити галюцинації недійсними

Агенти штучного інтелекту в сфері охорони здоров’я не можуть просто генерувати правдоподібні відповіді. Вони повинні надавати правильні відповіді кожен раз. Це вимагає контролюваного “простору дії” – механізму, який дозволяє штучному інтелекту зрозуміти та забезпечити природню розмову, але гарантує, що кожна можлива відповідь обмежена попередньо затвердженою логікою.

З параметрами контролю відповідей, побудованими в агентах, вони можуть посилатися лише на перевірені протоколи, попередньо визначені процедури та нормативні стандарти. Креативність моделі використовується для керівництва взаємодіями, а не для імпровізації фактів. Це те, як лідери охорони здоров’я можуть забезпечити, що ризик галюцинації буде ліквідований повністю – не шляхом тестування в пілотному або одному фокус-групі, а шляхом проектування ризику на рівні землі.

Спеціалізовані знанні графи можуть забезпечити довірчі взаємодії

Контекст кожної розмови в сфері охорони здоров’я є глибоко особистим. Дві людини з цукровим діабетом 2 типу можуть жити в одному районі та мати однаковий ризиковий профіль. Їхня право на певний препарат буде відрізнятися залежно від їхньої медичної історії, напрямків лікування лікаря, страхового плану та правил формуляру.

Агенти штучного інтелекту не тільки потребують доступу до цього контексту, але також повинні бути здатні розмовляти з ним в реальному часі. Спеціалізований знаний граф забезпечує цю можливість. Це структурований спосіб представлення інформації з 여러 довірених джерел, який дозволяє агентам перевірити те, що вони чують, та забезпечити, що інформація, яку вони надають, є точною та персоналізованою. Агенти без цього шару можуть звучати інформованими, але вони просто слідують жорстким робочим процесам та заповнюють пробіли.

Надійні системи перевірки можуть оцінити точність

Пацієнт може повісити трубку з агентом штучного інтелекту та відчувати себе задоволеним, але робота агента ще далека від завершення. Організації охорони здоров’я потребують гарантію, що агент не тільки виробив правильну інформацію, але також зрозумів та задокументував взаємодію. Саме тут вступають в дію автоматизовані системи постпроцесингу.

Надійна система перевірки повинна оцінити кожну розмову з тим же рівнем уважності, який би мав людський наглядач з усіма можливими часом. Вона повинна бути здатна визначити, чи була відповідь точною, забезпечити правильну реєстрацію інформації та визначити, чи потрібно подальше втручання. Якщо щось не так, агент повинен бути здатний ескалувати до людини, але якщо все в порядку, завдання можна позначити як виконане з впевненістю.

Поза цими трьома фундаментальними елементами, необхідними для інженерії довіри, кожна інфраструктура агентського штучного інтелекту потребує надійної безпеки та системи відповідності, яка захищає дані пацієнтів та забезпечує роботу агентів у межах нормативних рамок. Ця система повинна включати суворе дотримання загальних галузевих стандартів, таких як SOC 2 та HIPAA, але також повинна мати процеси, побудовані для тестування на упередженість, редагування захищеної інформації про здоров’я пацієнтів та збереження даних.

Ці заходи безпеки не просто відзначають пункти відповідності. Вони утворюють основу системи, якій можна довіряти, яка може забезпечити, що кожна взаємодія керується на рівні, який очікують пацієнти та постачальники.

Галузь охорони здоров’я не потребує більше гіпу щодо штучного інтелекту. Їй потрібно надійна інфраструктура штучного інтелекту. У випадку агентського штучного інтелекту довіра не буде здобута так сильно, як буде інженерна.