Vilken AI-agent som helst kan prata. Få kan litas på.

Behovet av AI-agenter inom sjukvården är akut. Över hela branschen översvämmas överarbetade team av tidskrävande uppgifter som försenar patientvården. Läkare har svårt att hantera sina behov, callcenter för betalare är överbelastade och patienter lämnas kvar och väntar på svar på omedelbara problem.

AI-medel kan hjälpa till genom att fylla djupa luckor, utöka räckvidden och tillgängligheten för klinisk och administrativ personal och minska utbrändhet hos både vårdpersonal och patienter. Men innan vi kan göra det behöver vi en stark grund för att bygga förtroende för AI-agenter. Det förtroendet kommer inte från en varm ton eller flyt i samtalet. Det kommer från ingenjörskonst.

Även om intresset för AI-agenter skjuter i höjden och rubrikerna basunerar ut löftet om agentisk AI, är vårdledare – ansvariga inför sina patienter och samhällen – fortfarande tveksamma till att implementera denna teknik i stor skala. Startups marknadsför agentiska funktioner som sträcker sig från att automatisera vardagliga uppgifter som tidsbokning till avancerad patientkommunikation och vård. Ändå har de flesta ännu inte bevisat att dessa engagemang är säkra.

Många av dem kommer aldrig att göra det.

Verkligheten är den att vem som helst kan skapa en röstagent drivs av en stor språkmodell (LLM), ge den en medkännande ton och skapa ett samtal som låter övertygande. Det finns gott om plattformar som denna som säljer sina agenter i alla branscher. Deras agenter kan se och låta olika ut, men alla beter sig likadant – benägna att hallucinera, oförmögna att verifiera viktiga fakta och saknar mekanismer som säkerställer ansvarsskyldighet.

Denna metod – att bygga ett ofta alltför tunt omslag runt en grundläggande juridikexamen – kan fungera inom branscher som detaljhandel eller hotell- och restaurangbranschen, men kommer att misslyckas inom sjukvården. Grundläggande modeller är extraordinära verktyg, men de är till stor del allmänt användbara; de har inte utbildats specifikt i kliniska protokoll, betalarpolicyer eller regelverk. Även de mest vältaliga agenterna som bygger på dessa modeller kan glida in i hallucinatoriskt territorium, besvara frågor de inte borde, hitta på fakta eller misslyckas med att inse när en människa behöver informeras.

Konsekvenserna av dessa beteenden är inte teoretiska. De kan förvirra patienter, störa vården och resultera i kostsamma mänskliga omarbetningar. Detta är inte ett intelligensproblem. Det är ett infrastrukturproblem.

För att kunna arbeta säkert, effektivt och tillförlitligt inom sjukvården måste AI-agenter vara mer än bara autonoma röster i andra änden av telefonen. De måste styras av system som är specifikt konstruerade för kontroll, sammanhang och ansvarsskyldighet. Utifrån min erfarenhet av att bygga dessa system ser det ut så här i praktiken.

Responskontroll kan göra hallucinationer obefintliga

AI-agenter inom sjukvården kan inte bara generera rimliga svar. De måste leverera de korrekta svaren, varje gång. Detta kräver ett kontrollerbart "handlingsutrymme" – en mekanism som gör det möjligt för AI:n att förstå och underlätta naturliga samtal, men som säkerställer att varje möjligt svar begränsas av fördefinierad, godkänd logik.

Med inbyggda parametrar för responskontroll kan agenter bara referera till verifierade protokoll, fördefinierade operativa procedurer och regelstandarder. Modellens kreativitet utnyttjas för att vägleda interaktioner snarare än att improvisera fakta. Så här kan vårdledare säkerställa risken för hallucinationer elimineras helt – inte genom att testa i ett pilotprojekt eller en enskild fokusgrupp, utan genom att utforma risken på markplan.

Specialiserade kunskapsgrafer kan säkerställa pålitliga utbyten

Kontexten för varje vårdsamtal är djupt personlig. Två personer med typ 2-diabetes kan bo i samma område och ha samma riskprofil. Deras behörighet för ett specifikt läkemedel varierar beroende på deras sjukdomshistoria, läkarens behandlingsriktlinjer, deras försäkringsplan och läkemedelsregler.

AI-agenter behöver inte bara tillgång till detta sammanhang, utan de behöver också kunna resonera kring det i realtid. En specialiserad kunskapsgraf ger den möjligheten. Det är ett strukturerat sätt att representera information från flera betrodda källor som gör det möjligt för agenter att validera vad de hör och säkerställa att informationen de ger tillbaka är både korrekt och personlig. Agenter utan detta lager kanske låter informerade, men de följer egentligen bara strikta arbetsflöden och fyller i luckorna.

Robusta granskningssystem kan utvärdera noggrannhet

En patient kanske lägger på med en AI-agent och känner sig nöjd, men agentens arbete är långt ifrån över. Hälso- och sjukvårdsorganisationer behöver försäkran om att agenten inte bara producerade korrekt information, utan också förstod och dokumenterade interaktionen. Det är där automatiserade efterbehandlingssystem kommer in i bilden.

Ett robust granskningssystem bör utvärdera varje enskild konversation med samma noggrannhet som en mänsklig handledare med all tid i världen skulle ge. Det bör kunna identifiera om svaret var korrekt, säkerställa att rätt information samlades in och avgöra om uppföljning krävs eller inte. Om något inte står rätt till bör handläggaren kunna eskalera till en människa, men om allt stämmer kan uppgiften bockas av från att-göra-listan med tillförsikt.

Utöver dessa tre grundläggande element som krävs för att skapa förtroende, behöver varje agentbaserad AI-infrastruktur ett robust säkerhets- och regelverk som skyddar patientdata och säkerställer att agenter arbetar inom reglerade gränser. Det ramverket bör inkludera strikt efterlevnad av vanliga branschstandarder som SOC 2 och HIPAA, men bör också ha inbyggda processer för partiskhetstestning, redigering av skyddad hälsoinformation och datalagring.

Dessa säkerhetsåtgärder avgör inte bara om kraven uppfylls. De utgör grunden för ett pålitligt system som kan säkerställa att varje interaktion hanteras på en nivå som patienter och vårdgivare förväntar sig.

Hälso- och sjukvårdsbranschen behöver inte mer AI-hype. Den behöver en pålitlig AI-infrastruktur. När det gäller agentbaserad AI kommer förtroende inte att förtjänas lika mycket som det kommer att konstrueras.