Enhver AI-agent kan tale. Få kan være betroet

Behovet for AI-agenter i sundhedssektoren er presserende. På tværs af industrien er overarbejdede teams overvældet af tidskrævende opgaver, der forsinker patientpleje. Klinikere er spændt til bristepunktet, betalingscenter er overbelastede, og patienter bliver efterladt i venteposition omkring øjeblikkelige bekymringer.

AI-agenter kan hjælpe med at udfylde dybe huller, udvide rækkevidden og tilgængeligheden af kliniske og administrative personale og reducere udbrændthed hos både sundhedspersonale og patienter. Men før vi kan gøre det, har vi brug for en solid basis for at opbygge tillid til AI-agenter. Den tillid kommer ikke fra en varm tone i stemmen eller konversationsfluen. Den kommer fra ingeniørarbejde.

Selv om interessen for AI-agenter skyder i vejret og overskrifterne trommer promise om agentic AI, er sundhedsledere – som er ansvarlige over for deres patienter og samfund – stadig tilbageholdende med at implementere denne teknologi i stor skala. Startups præsenterer agentic kapaciteter, der strækker sig fra automatisering af rutineopgaver som tidsbestilling til højtspecialiseret patientkommunikation og -pleje. Dog har de fleste endnu ikke bevist, at disse engagementer er sikre.

Mange af dem vil aldrig gøre det.

Sandheden er, at enhver kan oprette en stemmeagent drevet af et stort sprogmodel (LLM), give det en medfølende tone og skrive en konversation, der lyder overbevisende. Der er masser af platforme som denne, der tilbyder deres agenter i enhver branche. Deres agenter kan se og lyde forskellige, men alle opfører sig på samme måde – tilbøjelige til hallucinationer, ude af stand til at verificere kritiske fakta og mangler mekanismer, der sikrer ansvarlighed.

Denne tilgang – at bygge en ofte for tynd indpakning omkring et grundlæggende LLM – kan fungere i brancher som detailhandel eller hospitality, men vil fejle i sundhedssektoren. Grundlæggende modeller er ekstraordinære værktøjer, men de er i hovedsagen generelle formål; de blev ikke trænet specifikt på kliniske protokoller, betalingspolitikker eller regulative standarder. Selv de mest flydende agenter bygget på disse modeller kan glide ind i hallucinatorisk territorium, besvare spørgsmål, de ikke burde, opfinde fakta eller ikke erkende, når et menneske skal inddrages i kredsløbet.

Konsekvenserne af disse adfærdsmønstre er ikke teoretiske. De kan forvirre patienter, forstyrre pleje og føre til dyrekøbte menneskelige omgørelser. Dette er ikke et intelligensproblem. Det er et infrastrukturproblem.

For at fungere sikkert, effektivt og pålideligt i sundhedssektoren har AI-agenter brug for at være mere end bare autonome stemmer i den anden ende af telefonen. De skal opereres af systemer, der er designet specifikt til kontrol, kontekst og ansvarlighed. Fra min erfaring med at bygge disse systemer, ser det sådan ud i praksis.

Responskontrol kan gøre hallucinationer ikke-eksisterende

AI-agenter i sundhedssektoren kan ikke bare generere plausibler svar. De skal levere de korrekte, hver gang. Dette kræver et kontrollerbart “handlingsrum” – en mekanisme, der tillader AI at forstå og faciliterer naturlig konversation, men sikrer, at hver mulig respons er afgrænset af foruddefineret, godkendt logik.

Med responskontrolparametre indbygget kan agenter kun henviser til verificerede protokoller, foruddefinerede driftsprocedurer og regulative standarder. Modellens kreativitet udnyttes til at guide interaktioner i stedet for at improvisere fakta. Dette er, hvordan sundhedsledere kan sikre, at risikoen for hallucination elimineres fuldstændigt – ikke ved at teste i en pilot eller en enkelt fokusgruppe, men ved at designe risikoen ud på grundlaget.

Specialiserede videnstrukturer kan sikre tillidsfulde udvekslinger

Konteksten for hver sundhedsrelateret konversation er dybt personlig. To personer med type 2-diabetes kan bo i samme nabolag og have samme risikoprofil. Deres berettigelse til en bestemt medicin vil variere afhængigt af deres medicinske historie, deres læges behandlingsvejledning, deres forsikringsplan og formularregler.

AI-agenter har ikke kun brug for adgang til denne kontekst, men de skal også være i stand til at resonere med den i realtid. En specialiseret vidensstruktur giver denne kapacitet. Det er en struktureret måde at repræsentere information fra multiple tillidsfulde kilder, der tillader agenter at validere, hvad de hører, og sikre, at den information, de giver tilbage, er både præcis og personlig. Agenter uden denne lag kan lyde informerede, men de følger i virkeligheden bare rigidt arbejdsgange og udfylder huller.

Robuste gennemgangssystemer kan evaluere nøjagtighed

En patient kan lægge røret på efter en konversation med en AI-agent og føle sig tilfreds, men arbejdet for agenten er langt fra overstået. Sundhedsorganisationer har brug for sikkerhed for, at agenten ikke kun producerer korrekte oplysninger, men også forstår og dokumenterer interaktionen. Det er, hvor automatiserede efterbehandlings-systemer kommer ind.

Et robustt gennemgangssystem skal evaluere hver enkelt konversation med samme detaljeret niveau af gennemgang, som en menneskelig supervisor med alle tids ressourcer ville bringe. Det skal være i stand til at identificere, om svaret var korrekt, sikre, at den rigtige information blev fanget, og bestemme, om efterfølgende er nødvendigt. Hvis noget ikke er i orden, skal agenten være i stand til at eskalere til et menneske, men hvis alt er i orden, kan opgaven afkrydses med tillid.

Ud over disse tre grundlæggende elementer, der kræves for at ingeniøre tillid, har hver enkelt agentic AI-infrastruktur brug for et robustt sikkerheds- og overholdelsesramme, der beskytter patientdata og sikrer, at agenter opererer inden for regulerede rammer. Det ramme skal inkludere streng overholdelse af fælles industristandarder som SOC 2 og HIPAA, men skal også have processer bygget ind for bias-test, beskyttelse af sundhedsinformation, redigering og dataopbevaring.

Disse sikkerhedssikringer danner ikke kun overholdelsesbokse. De danner rygmarven af et tillidsfuldt system, der kan sikre, at hver enkelt interaktion håndteres på et niveau, patienter og sundhedsudbydere forventer.

Sundhedssektoren har ikke brug for mere AI-hype. Den har brug for pålidelig AI-infrastruktur. I tilfælde af agentic AI vil tillid ikke blive tjent så meget, som den vil blive ingeniøret.