Jakýkoli agent AI může mluvit. Jen málo z nich lze důvěřovat

Potřeba agentů AI ve zdravotnictví je naléhavá. V celé branži jsou přetížené týmy zahlceny časově náročnými úkoly, které brzdí péči o pacienty. Kliničtí pracovníci jsou přetíženi, call centra plátců jsou zahlcena a pacienti čekají na odpovědi na své okamžité obavy.

Agenti AI mohou pomoci tím, že vyplní hluboké mezery, rozšíří dosah a dostupnost klinického a administrativního personálu a sníží vyhoření zdravotnického personálu a pacientů. Ale předtím, než to můžeme udělat, potřebujeme silný základ pro budování důvěry v agenty AI. Tato důvěra nebude pocházet z teplého tónu hlasu nebo konverzační plynulosti. Částí je inženýrství.

I když zájem o agenty AI raketově roste a titulky hlásají slib agentic AI, lídři zdravotnictví – kteří jsou zodpovědní svým pacientům a komunitám – zůstávají váhaví nasadit tuto technologii ve velkém měřítku. Startupy chválí agentic schopnosti, které sahají od automatizace nudných úkolů, jako je plánování schůzek, až po komunikaci s pacienty a péči o ně. Avšak většina z nich dosud neprokázala, že tyto interakce jsou bezpečné.

Mnohé z nich nikdy neprokáží.

Realita je taková, že kdokoli může spustit hlasového agenta poháněného velkým jazykovým modelem (LLM), dát mu soucitný tón a napsat konverzaci, která zní přesvědčivě. Existuje spousta platforem, které nabízejí své agenty ve všech odvětvích. Jejich agenti mohou vypadat a znít jinak, ale všichni se chovají stejně – jsou náchylní k halucinacím, nejsou schopni ověřit kritické skutečnosti a postrádají mechanismy, které zajišťují odpovědnost.

Tento přístup – budování často příliš tenké vrstvy kolem základního LLM – může fungovat v odvětvích, jako je maloobchod nebo cestovní ruch, ale selže ve zdravotnictví. Základové modely jsou výjimečnými nástroji, ale jsou většinou obecně účelové; nebyly speciálně vyškoleny na klinických protokolech, plátcovských politikách nebo regulačních standardech. I ti nejeloquentnější agenti postavení na těchto modelech mohou bloudit do halucinační oblasti, odpovídat na otázky, které by neměli, vynalézat skutečnosti nebo selhat při rozpoznání, kdy je třeba zapojit člověka.

Důsledky tohoto chování nejsou teoretické. Mohou zmást pacienty, zasáhnout do péče a vést k nákladné lidské reworkaci. To není problém inteligence. Je to problém infrastruktury.

Abyste mohli bezpečně, účinně a spolehlivě fungovat ve zdravotnictví, agenti AI musí být více než jen autonomní hlasy na druhém konci telefonu. Musí být provozováni systémy, které jsou navrženy speciálně pro kontrolu, kontext a odpovědnost. Z mé zkušenosti s budováním těchto systémů vypadá to v praxi takto.

Kontrola odpovědi může učinit halucinace neexistujícími

Agenti AI ve zdravotnictví nemohou jen generovat pravděpodobné odpovědi. Musí dodávat správné odpovědi, každý čas. To vyžaduje ovladatelný „akční prostor“ – mechanismus, který umožňuje AI pochopit a usnadnit přirozenou konverzaci, ale zajišťuje, že každá možná odpověď je omezena předem schválenou logikou.

S parametry kontroly odpovědi vestavěnými do nich mohou agenti odkazovat pouze na ověřené protokoly, předem definované provozní postupy a regulační standardy. Kreativita modelu je využita k usměrňování interakcí spíše než ke vynalézání skutečností. To je způsob, jakým lídři zdravotnictví mohou zajistit, že riziko halucinace je zcela eliminováno – ne testováním v pilotním projektu nebo jediné focus skupině, ale navrhnout riziko ven ze země.

Specializované znalostní grafy mohou zajistit důvěryhodné výměny

Kontext každé zdravotnické konverzace je hluboce osobní. Dvě osoby s diabetem 2. typu mohou žít ve stejné čtvrti a odpovídat stejnému riziku. Jejich způsobilost pro konkrétní lék se bude lišit na základě jejich zdravotní historie, léčebného postupu jejich lékaře, jejich pojistného plánu a pravidel formuláře.

Agenti AI nejen potřebují přístup k tomuto kontextu, ale potřebují být schopni s ním v reálném čase uvažovat. Specializovaný znalostní graf poskytuje tuto schopnost. Je to strukturovaný způsob reprezentace informací z více důvěryhodných zdrojů, který umožňuje agentům ověřit, co slyší, a zajistit, že informace, které poskytují, jsou jak přesné, tak personalizované. Agenti bez této vrstvy mohou znít informovaně, ale ve skutečnosti pouze následují rigidní pracovní postupy a vyplňují mezery.

Robustní systémy pro kontrolu mohou vyhodnotit přesnost

Pacient může zavěsit s agentem AI a cítit se spokojeně, ale práce agenta je daleko od konce. Zdravotnické organizace potřebují jistotu, že agent nejen produkoval správné informace, ale pochopil a zdokumentoval interakci. To je místo, kde vstupují automatizované systémy pro kontrolu po zpracování.

Robustní systém pro kontrolu by měl vyhodnotit každou a každou konverzaci se stejnou úrovní kontroly, jakou by měl lidský dohledatel s veškerým časem na světě. Měl by být schopen určit, zda odpověď byla přesná, zajistit, že byly zachyceny správné informace, a určit, zda je vyžadováno následné zpracování. Pokud něco není v pořádku, agent by měl být schopen eskalovat na člověka, ale pokud vše vypadá dobře, úloha může být označena jako hotová s jistotou.

Mimo tyto tři základní prvky, které jsou nezbytné pro inženýrství důvěry, každá infrastruktura agentic AI potřebuje robustní rámec zabezpečení a dodržování předpisů, který chrání údaje pacientů a zajišťuje, že agenti fungují v rámci regulovaných hranic. Tento rámec by měl zahrnovat přísné dodržování běžných odvětvových standardů, jako je SOC 2 a HIPAA, ale měl by mít také procesy vestavěné pro testování předpojatosti, redakci chráněných zdravotních informací a uchovávání údajů.

Tyto bezpečnostní záruky neonly kontrolují dodržování předpisů. Formují páteř důvěryhodného systému, který může zajistit, že každá interakce je řízena na úrovni, kterou pacienti a poskytovatelé očekávají.

Průmysl zdravotnictví nepotřebuje více AI hype. Potřebuje spolehlivou AI infrastrukturu. V případě agentic AI důvěra nebude získána tak, že bude vynucena, ale bude inženýrstvím.