Varje AI-agent kan prata. Få kan lita på

Behovet av AI-agenter inom hälso- och sjukvården är brådskande. Inom hela branschen är överarbetade team överbelastade med tidskrävande uppgifter som fördröjer patientvården. Kliniker är utsträckta, försäkringsbolags kundtjänst är överbelastad och patienter lämnas att vänta på svar på omedelbara frågor.

AI-agenter kan hjälpa till genom att fylla stora luckor, utöka räckvidden och tillgängligheten för klinisk och administrativ personal och minska utbrändhet hos både personal och patienter. Men innan vi kan göra det behöver vi en stark grund för att bygga förtroende för AI-agenter. Det förtroendet kommer inte från en varm ton i rösten eller konversationsfläck. Det kommer från ingenjörskonst.

Även om intresset för AI-agenter skjuter i höjden och rubriker förkunnar löftet om agenter med AI, förblir hälso- och sjukvårdsledare – som är ansvariga inför sina patienter och samhällen – tveksamma till att distribuera denna teknik i stor skala. Startups hyllar agenter med förmågor som sträcker sig från automatisering av triviala uppgifter som tidsbokning till högkvalitativ patientkommunikation och vård. Men de flesta har ännu inte bevisat att dessa engagemang är säkra.

Många av dem kommer aldrig att göra det.

Verkligheten är att vem som helst kan starta en röstagent som drivs av en stor språkmodell (LLM), ge den en medkännande ton och skriva en konversation som låter övertygande. Det finns gott om plattformar som säljer sina agenter i alla branscher. Dessa agenter kan se och låta annorlunda ut, men alla beter sig på samma sätt – benägna att hallucinera, oförmögna att verifiera kritiska fakta och saknar mekanismer som säkerställer ansvar.

Denna metod – att bygga ett ofta alltför tunt skal runt en grundläggande LLM – kan fungera i branscher som detaljhandel eller gästfrihet, men kommer att misslyckas inom hälso- och sjukvården. Grundmodellerna är extraordinära verktyg, men de är i huvudsak allmänna; de tränades inte specifikt på kliniska protokoll, försäkringsbolagspolicyer eller regulatoriska standarder. Även de mest vältaliga agenterna byggda på dessa modeller kan glida in i hallucinatoriskt territorium, svara på frågor de inte borde, uppfinna fakta eller misslyckas med att känna igen när en människa behöver kopplas in.

Konsekvenserna av dessa beteenden är inte teoretiska. De kan förvirra patienter, störa vården och resultera i dyra mänskliga omgörningar. Detta är inte ett intelligensproblem. Det är ett infrastrukturproblem.

För att kunna fungera säkert, effektivt och tillförlitligt inom hälso- och sjukvården behöver AI-agenter vara mer än bara autonoma röster i andra änden av telefonen. De måste drivas av system som är konstruerade specifikt för kontroll, sammanhang och ansvar. Utifrån min erfarenhet av att bygga dessa system ser det ut så här i praktiken.

Svarsstyrning kan göra hallucinationer obefintliga

AI-agenter inom hälso- och sjukvården kan inte bara generera trovärdiga svar. De måste leverera de rätta svaren, varje gång. Det kräver ett kontrollerbart “handlingsutrymme” – en mekanism som tillåter AI att förstå och underlätta naturlig konversation, men säkerställer att varje möjligt svar är begränsat av fördefinierad, godkänd logik.

Med svarsstyrningsparametrar inbyggda kan agenter endast hänvisa till verifierade protokoll, fördefinierade driftsförfaranden och regulatoriska standarder. Modellens kreativitet utnyttjas för att vägleda interaktioner snarare än improvisera fakta. Detta är hur hälso- och sjukvårdsledare kan säkerställa att risken för hallucination elimineras helt – inte genom att testa i en pilot eller en enstaka fokusgrupp, utan genom att konstruera risken på golvet.

Specialiserade kunskapsgrafer kan säkerställa betrodda utbyten

Sammanhanget för varje hälso- och sjukvårdsrelaterad konversation är djupt personligt. Två personer med typ 2-diabetes kan bo i samma område och passa samma riskprofil. Deras behörighet till ett specifikt läkemedel kommer att variera beroende på deras medicinska historia, läkarens behandlingsriktlinjer, deras försäkringsplan och formulariebestämmelser.

AI-agenter behöver inte bara tillgång till detta sammanhang, utan de måste också kunna resonera med det i realtid. En specialiserad kunskapsgraf tillhandahåller den funktionen. Det är ett strukturerat sätt att representera information från flera betrodda källor som tillåter agenter att validera vad de hör och säkerställa att den information de ger tillbaka är både korrekt och personlig. Agenter utan denna lager kan låta informerade, men de följer i själva verket bara rigida arbetsflöden och fyller i luckorna.

Robusta granskningsystem kan utvärdera noggrannhet

En patient kan lägga på med en AI-agent och känna sig nöjd, men arbetet för agenten är långt ifrån över. Hälso- och sjukvårdsorganisationer behöver garantier för att agenten inte bara producerade korrekt information, utan också förstod och dokumenterade interaktionen. Där kommer automatiserade efterbearbetningssystem in.

Ett robustt granskningsystem bör utvärdera varje och en konversation med samma noga granskning som en mänsklig handledare med all tid i världen skulle bringa. Det bör kunna identifiera om svaret var korrekt, säkerställa att rätt information samlades in och avgöra om uppföljning krävs. Om något inte är rätt bör agenten kunna eskalera till en människa, men om allt ser bra ut kan uppgiften bockas av med tillförsikt.

Utöver dessa tre grundläggande element som krävs för att konstruera förtroende behöver varje agenter med AI-infrastruktur ett robustt säkerhets- och regelefterlevnadsramverk som skyddar patientdata och säkerställer att agenter fungerar inom reglerade gränser. Det ramverket bör omfatta strikt efterlevnad av gemensamma branschstandarder som SOC 2 och HIPAA, men bör också ha processer inbyggda för partestestning, skyddad hälsoinformation och datalagring.

Dessa säkerhetsskydd är inte bara regelefterlevnadsboxar. De utgör ryggraden i ett betrott system som kan säkerställa att varje interaktion hanteras på en nivå som patienter och vårdgivare förväntar sig.

Hälso- och sjukvårdsbranschen behöver inte mer AI-hype. Den behöver tillförlitlig AI-infrastruktur. I fallet med agenter med AI kommer förtroende inte att tjänas in så mycket som det kommer att konstrueras.