Enhver AI-agent kan snakke. Få kan være pålitelige

Behovet for AI-agenter i helsevesenet er急. Over hele industrien er overarbeidete teamer overveldet av tidkrevende oppgaver som holder tilbake pasientbehandling. Kliniske team er strekt til det ytterste, betaleres kontorsentrale er overveldet, og pasienter blir latt vente på svar til umiddelbare bekymringer.

AI-agenter kan hjelpe ved å fylle store hull, utvide rekkevidden og tilgjengeligheten til kliniske og administrative stab og redusere utbrenthet blant helsepersonell og pasienter. Men før vi kan gjøre det, trenger vi en solid basis for å bygge tillit til AI-agenter. Den tilliten kommer ikke fra en varm tone eller konversasjonsflyt. Den kommer fra ingeniørarbeid.

Selv om interessen for AI-agenter skyter i været og overskrifter trommer hjem løftene med agensisk AI, er helseledere – som er ansvarlige overfor pasienter og samfunn – fortsatt nølende med å deployere denne teknologien i stor skala. Startups priser agensiske evner som kan gå fra å automatisere rutineoppgaver som timebestilling til høyt berøringsgrad pasientkommunikasjon og -behandling. Likevel har de fleste ennå ikke bevist at disse engasjementene er trygge.

Mange av dem kommer aldri til å gjøre det.

Realiteten er at hvem som helst kan sette i gang en taleagent drevet av et stort språkmodell (LLM), gi det en medfølende tone og skrive en konversasjon som lyder overbevisende. Det finnes mange plattformer som dette som selger agenter i alle industrier. Deres agenter kan se og høre forskjellige ut, men alle oppfører seg på samme måte – utsatt for hallucinasjoner, uviktige til å verifisere kritiske fakta og mangler mekanismer som sikrer ansvar.

Dette tilretteleggingen – bygging en ofte for tynn wrapper rundt et grunnleggende LLM – kan fungere i industrier som detaljhandel eller hotell, men vil feile i helsevesenet. Grunnmodellene er ekstraordinære verktøy, men de er i stor grad generelle; de ble ikke trent spesifikt på kliniske protokoller, betalernes politikker eller reguleringer. Selv de mest flytende agentene bygget på disse modellene kan glide inn i hallucinatorisk territorium, svare på spørsmål de ikke burde, finne på fakta eller ikke gjenkjenne når en menneskelig trenger å bli bragt inn i løkken.

Konsekvensene av disse atferdene er ikke teoretiske. De kan forvirre pasienter, interferere med behandling og føre til dyrekjøpt menneskelig omgang. Dette er ikke et intelligensproblem. Det er et infrastrukturproblem.

For å fungere trygt, effektivt og pålitelig i helsevesenet, trenger AI-agenter å være mer enn bare autonome stemmer i den andre enden av telefonen. De må opereres av systemer som er designet spesifikt for kontroll, kontekst og ansvar. Fra min erfaring med å bygge disse systemene, ser det slik ut i praksis.

Svar kontroll kan gjøre hallucinasjoner ikke-eksisterende

AI-agenter i helsevesenet kan ikke bare generere troverdige svar. De må levere de riktige, hver gang. Dette krever et kontrollerbart “handlingsrom” – en mekanisme som tillater AI å forstå og fasilitere naturlig konversasjon, men sikrer at hver mulig respons er begrenset av forhåndsdefinert, godkjent logikk.

Med svar kontrollparametere bygget inn, kan agenter bare henvisningen til verifiserte protokoller, forhåndsdefinerte driftsprosedyrer og reguleringer. Modellens kreativitet utnyttes til å guide interaksjoner i stedet for å improvisere fakta. Dette er hvordan helseledere kan sikre at risikoen for hallucinasjon er eliminert fullstendig – ikke ved å teste i en pilot eller en enkelt fokusgruppe, men ved å designe risikoen ut på bakkeplan.

Spesialiserte kunnskapsgrafer kan sikre pålitelige utvekslinger

Konteksten for hver helsekonversasjon er dyp personlig. To personer med type 2 diabetes kan bo i samme nabolag og passe inn i samme risikoprofil. Deres berettigelse til en bestemt medikament vil variere basert på deres medisinske historie, deres leges behandlingsrettledning, deres forsikringsplan og formularregler.

AI-agenter trenger ikke bare tilgang til denne konteksten, men de må også være i stand til å resonnere med den i sanntid. En spesialisert kunnskapsgraf gir denne evnen. Det er en strukturert måte å representere informasjon fra multiple pålitelige kilder som tillater agenter å verifisere hva de hører og sikre at informasjonen de gir tilbake er både nøyaktig og personlig. Agenter uten denne laget kan høres informert ut, men de følger bare rigide arbeidsflyter og fyller inn hullene.

Robuste gjennomgangssystemer kan vurdere nøyaktighet

En pasient kan legge på med en AI-agent og føle seg tilfreds, men arbeidet for agenten er langt ifra ferdig. Helseorganisasjoner trenger sikkerhet på at agenten ikke bare produserte korrekt informasjon, men også forsto og dokumenterte interaksjonen. Det er der automatisk post-prosesseringssystemer kommer inn.

Et robustt gjennomgangssystem bør vurdere hver og hver konversasjon med samme finmasket nivå av skarpsyn som en menneskelig tilsynshaver med all tid i verden ville bringe. Det bør være i stand til å identifisere om svaret var nøyaktig, sikre at riktig informasjon ble fanget, og bestemme om oppfølging er nødvendig. Hvis noe ikke er riktig, bør agenten kunne eskalere til et menneske, men hvis alt ser ut til å være i orden, kan oppgaven være avmerket med tillit.

Utenfor disse tre grunnleggende elementene som kreves for å bygge tillit, trenger hver agensisk AI-infrastruktur en robust sikkerhets- og samværsramme som beskytter pasientdata og sikrer at agenter opererer innen regulerte grenser. Den rammen bør inkludere streng overholdelse av vanlige bransjestandarder som SOC 2 og HIPAA, men bør også ha prosesser bygget inn for bias-testing, beskyttelse av helsesensitive opplysninger og dataoppbevaring.

Disse sikkerhetssikringene ikke bare sjekker samværsbokser. De danner ryggraden i et pålitelig system som kan sikre at hver interaksjon håndteres på et nivå pasienter og leverandører forventer.

Helseindustrien trenger ikke mer AI-hype. Den trenger pålitelig AI-infrastruktur. I tilfelle agensisk AI, vil tillit ikke bli tjent like mye som den vil bli konstruert.