Любой агент ИИ может говорить. Немногие заслуживают доверия

Необходимость агентов ИИ в здравоохранении очень высока. По всей отрасли перегруженные команды заняты временем, требующим внимания к задачам, которые задерживают уход за пациентами. Клиницисты растянуты тонко, колл-центры страховщиков перегружены, а пациенты остаются в ожидании ответов на срочные вопросы.

Агенты ИИ могут помочь, заполняя значительные пробелы, расширяя сферу деятельности и доступность клинического и административного персонала, а также снижая выгорание сотрудников здравоохранения и пациентов. Но прежде чем мы сможем сделать это, нам нужно создать прочную основу для доверия к агентам ИИ. Это доверие не будет основано на теплом тоне голоса или разговорной плавности. Оно будет основано на инженерии.

Даже когда интерес к агентам ИИ взлетает, и заголовки трубят об обещании агентского ИИ, лидеры здравоохранения – ответственные перед своими пациентами и сообществами – остаются неуверенными в развертывании этой технологии в крупном масштабе. Стартапы рекламируют агентские возможности, которые варьируются от автоматизации скучных задач, таких как планирование встреч, до высокотouch коммуникации с пациентами и ухода. Однако большинство из них еще не доказали, что эти взаимодействия безопасны.

Многие из них никогда не смогут это сделать.

Реальность такова, что любой может создать голосового агента, работающего на основе большой языковой модели (LLM), дать ему сострадательный тон и составить разговор, который звучит убедительно. Есть много платформ, подобных этому, которые предлагают своих агентов в каждой отрасли. Их агенты могут выглядеть и звучать по-разному, но все они ведут себя одинаково – склонны к галлюцинациям, не способны проверять критические факты и лишены механизмов, обеспечивающих подотчетность.

Такой подход – построение часто слишком тонкой оболочки вокруг фундаментальной LLM – может сработать в отраслях, таких как розничная торговля или гостиничный бизнес, но потерпит неудачу в здравоохранении. Основные модели – это замечательные инструменты, но они в основном общего назначения; они не были обучены специально на клинических протоколах, политиках страховщиков или нормативных стандартах. Даже самые эloquent агенты, построенные на этих моделях, могут уйти в область галлюцинаций, отвечая на вопросы, которые они не должны, изобретая факты или не признавая, когда необходимо подключить человека.

Последствия такого поведения не являются теоретическими. Они могут запутать пациентов, вмешаться в уход и привести к дорогостоящей переработке человека. Это не проблема интеллекта. Это проблема инфраструктуры.

Чтобы работать безопасно, эффективно и надежно в здравоохранении, агенты ИИ должны быть чем-то большим, чем просто автономными голосами на другом конце телефона. Они должны работать в системах, разработанных специально для управления, контекста и подотчетности. Из моего опыта построения этих систем я могу сказать, как это выглядит на практике.

Контроль ответа может сделать галлюцинации несуществующими

Агенты ИИ в здравоохранении не могут просто генерировать правдоподобные ответы. Они должны предоставлять правильные ответы каждый раз. Для этого требуется контролируемое “пространство действий” – механизм, который позволяет ИИ понимать и облегчать естественный разговор, но гарантирует, что каждый возможный ответ ограничен предопределенной, одобренной логикой.

С параметрами контроля ответа, встроенными в систему, агенты могут ссылаться только на проверенные протоколы, предопределенные процедуры и нормативные стандарты. Креативность модели используется для руководства взаимодействиями, а не для импровизации фактов. Это то, как лидеры здравоохранения могут гарантировать, что риск галлюцинации полностью исключен – не путем тестирования в пилотном проекте или единой фокус-группе, а путем исключения риска на этапе разработки.

Специализированные знание-графы могут обеспечить доверенные обмены

Контекст каждого разговора в здравоохранении глубоко личный. Два человека с диабетом 2-го типа могут жить в одном районе и соответствовать одному и тому же рисковому профилю. Их право на конкретное лекарство будет варьироваться в зависимости от их медицинской истории, руководства врача, плана страхования и правил формуляра.

Агенты ИИ не только должны иметь доступ к этому контексту, но и должны быть способны рассуждать с ним в реальном времени. Специализированный знание-граф обеспечивает эту возможность. Это структурированный способ представления информации из нескольких доверенных источников, который позволяет агентам проверять то, что они слышат, и гарантирует, что информация, которую они предоставляют, точна и персонализирована. Агенты без этого слоя могут звучать информированно, но на самом деле они просто следуют жестким рабочим процессам и заполняют пробелы.

Надежные системы обзора могут оценить точность

Пациент может повесить трубку с агентом ИИ и чувствовать себя удовлетворенным, но работа агента далеко не закончена. Организации здравоохранения нуждаются в гарантии, что агент не только предоставил правильную информацию, но и понял и задокументировал взаимодействие. Вот где вступают в силу автоматизированные системы постобработки.

Надежная система обзора должна оценивать каждый и каждый разговор с тем же уровнем тщательности, который человеческий руководитель с достаточным количеством времени мог бы проявить. Она должна быть способна определить, был ли ответ точным, гарантировать, что была захвачена правильная информация, и определить, требуется ли последующее действие. Если что-то не так, агент должен быть способен эскалировать к человеку, но если все в порядке, задачу можно с уверенностью отметить как выполненную.

Помимо этих трех фундаментальных элементов, необходимых для инженерии доверия, каждая инфраструктура агентского ИИ требует надежной структуры безопасности и соответствия, которая защищает данные пациентов и гарантирует, что агенты работают в рамках регулируемых границ. Эта структура должна включать строгое соблюдение общих отраслевых стандартов, таких как SOC 2 и HIPAA, но также должна иметь процессы, встроенные для тестирования на предвзятость, редактирования защищенной информации о здоровье и хранения данных.

Эти меры безопасности не просто проверяют коробки соответствия. Они образуют основу системы, которую можно доверять, гарантируя, что каждое взаимодействие управляется на уровне, который пациенты и поставщики ожидают.

Отрасль здравоохранения не нуждается в большем ажиотаже вокруг ИИ. Ей нужна надежная инфраструктура ИИ. В случае агентского ИИ доверие не будет заслужено так же, как будет сконструировано.