Enhver AI-agent kan snakke. Få kan stoles på.

Behovet for AI-agenter i helsevesenet er presserende. Over hele bransjen blir overarbeidede team oversvømt av tidkrevende oppgaver som forsinker pasientbehandlingen. Klinikere er overbelastet, betalende kundesentre er overbelastet, og pasienter blir sittende igjen og venter på svar på umiddelbare bekymringer.

AI-agenter kan bidra ved å fylle store hull, utvide rekkevidden og tilgjengeligheten til klinisk og administrativt personale og redusere utbrenthet blant både helsepersonell og pasienter. Men før vi kan gjøre det, trenger vi et sterkt grunnlag for å bygge tillit til AI-agenter. Den tilliten kommer ikke fra en varm tone eller flyt i samtaler. Den kommer fra ingeniørfag.

Selv om interessen for AI-agenter skyter i været og overskrifter basunerer ut løftet om agentisk AI, er ledere innen helsevesenet – ansvarlige overfor sine pasienter og lokalsamfunn – fortsatt nølende med å distribuere denne teknologien i stor skala. Oppstartsbedrifter skryter av agentiske muligheter som spenner fra å automatisere trivielle oppgaver som timeplanlegging til omfattende pasientkommunikasjon og -behandling. Likevel har de fleste ennå ikke bevist at disse engasjementene er trygge.

Mange av dem vil aldri gjøre det.

Realiteten er at hvem som helst kan spinne opp en stemmeagent drevet av en stor språkmodell (LLM), gi den en medfølende tone, og skriv en samtale som høres overbevisende ut. Det finnes mange plattformer som denne som selger agentene sine i alle bransjer. Agentene deres kan se og høres forskjellige ut, men alle oppfører seg likt – utsatt for hallusinasjoner, ute av stand til å bekrefte kritiske fakta og mangler mekanismer som sikrer ansvarlighet.

Denne tilnærmingen – å bygge en ofte for tynn innpakning rundt en grunnleggende LLM – kan fungere i bransjer som detaljhandel eller hotell- og restaurantbransjen, men vil mislykkes i helsevesenet. Grunnleggende modeller er ekstraordinære verktøy, men de er i stor grad generelle; de ​​ble ikke spesifikt trent i kliniske protokoller, betalerpolicyer eller regulatoriske standarder. Selv de mest veltalende aktørene som er bygget på disse modellene, kan drive inn i hallusinatorisk territorium, svare på spørsmål de ikke burde, finne opp fakta eller ikke gjenkjenne når et menneske må bringes inn i loopen.

Konsekvensene av disse atferdene er ikke teoretiske. De kan forvirre pasienter, forstyrre behandlingen og føre til kostbart menneskelig omarbeid. Dette er ikke et intelligensproblem. Det er et infrastrukturproblem.

For å kunne operere trygt, effektivt og pålitelig i helsevesenet, må AI-agenter være mer enn bare autonome stemmer i den andre enden av telefonen. De må betjenes av systemer som er spesielt utviklet for kontroll, kontekst og ansvarlighet. Fra min erfaring med å bygge disse systemene, ser det slik ut i praksis.

Responskontroll kan gjøre hallusinasjoner ikke-eksisterende

AI-agenter i helsevesenet kan ikke bare generere troverdige svar. De må levere de riktige svarene hver gang. Dette krever et kontrollerbart «handlingsrom» – en mekanisme som lar AI-en forstå og legge til rette for naturlig samtale, men som sikrer at alle mulige svar er begrenset av forhåndsdefinert, godkjent logikk.

Med innebygde responskontrollparametere kan agenter bare referere til verifiserte protokoller, forhåndsdefinerte driftsprosedyrer og regulatoriske standarder. Modellens kreativitet utnyttes til å veilede interaksjoner i stedet for å improvisere fakta. Slik kan ledere innen helsevesenet sikre risikoen for hallusinasjon elimineres fullstendig – ikke ved å teste i et pilotprosjekt eller en enkelt fokusgruppe, men ved å designe risikoen ute i første etasje.

Spesialiserte kunnskapsgrafer kan sikre pålitelige utvekslinger

Konteksten for enhver samtale om helsetjenester er svært personlig. To personer med type 2-diabetes kan bo i samme nabolag og ha samme risikoprofil. Hvorvidt de er kvalifisert for en spesifikk medisin vil variere basert på deres sykehistorie, legens behandlingsretningslinjer, deres forsikringsplan og formularregler.

AI-agenter trenger ikke bare tilgang til denne konteksten, men de må også kunne resonnere med den i sanntid. En spesialisert kunnskapsgraf gir den muligheten. Det er en strukturert måte å representere informasjon fra flere pålitelige kilder som lar agenter validere det de hører og sikre at informasjonen de gir tilbake er både nøyaktig og personlig tilpasset. Agenter uten dette laget kan høres informerte ut, men de følger egentlig bare rigide arbeidsflyter og fyller inn hullene.

Robuste vurderingssystemer kan evaluere nøyaktighet

En pasient kan legge på med en AI-agent og føle seg fornøyd, men arbeidet for agenten er langt fra over. Helseorganisasjoner trenger forsikring om at agenten ikke bare produserte korrekt informasjon, men forsto og dokumenterte samhandlingen. Det er her automatiserte etterbehandlingssystemer kommer inn i bildet.

Et robust evalueringssystem bør evaluere hver eneste samtale med samme finkjemmede nivå av gransking som en menneskelig veileder med all verdens tid ville ha. Det bør kunne identifisere om svaret var nøyaktig, sikre at riktig informasjon ble samlet inn, og avgjøre om oppfølging er nødvendig eller ikke. Hvis noe ikke er riktig, bør agenten kunne eskalere til et menneske, men hvis alt stemmer, kan oppgaven krysses av på gjøremålslisten med trygghet.

Utover disse tre grunnleggende elementene som kreves for å skape tillit, trenger enhver agentbasert AI-infrastruktur et robust sikkerhets- og samsvarsrammeverk som beskytter pasientdata og sikrer at agenter opererer innenfor regulerte grenser. Dette rammeverket bør omfatte streng overholdelse av vanlige bransjestandarder som SOC 2 og HIPAA, men bør også ha innebygde prosesser for skjevhetstesting, redigering av beskyttet helseinformasjon og datalagring.

Disse sikkerhetstiltakene avgjør ikke bare samsvarskravene. De danner ryggraden i et pålitelig system som kan sikre at hver interaksjon håndteres på et nivå som pasienter og helsepersonell forventer.

Helsevesenet trenger ikke mer AI-hype. Det trenger pålitelig AI-infrastruktur. Når det gjelder agentisk AI, vil ikke tillit bli opparbeidet i like stor grad som den vil bli konstruert.