Enhver AI-agent kan tale. Få kan tillides

Behovet for AI-agenter i sundhedssektoren er presserende. På tværs af branchen er overarbejdede teams overvældet af tidskrævende opgaver, der forsinker patientpleje. Klinikere er udstrakt tyndt, betalingscentraler er overbelastet, og patienter er efterladt til at vente på svar til øjeblikkelige bekymringer.

AI-agenter kan hjælpe med at udfylde dybe huller, udvide rækkevidden og tilgængeligheden af kliniske og administrative personale og reducere udbrændthed hos både sundhedspersonale og patienter. Men før vi kan gøre det, har vi brug for en solid basis for at opbygge tillid til AI-agenter. Denne tillid kommer ikke fra en varm tone eller konversationel flydende. Den kommer fra ingeniørarbejde.

Selv om interessen for AI-agenter stiger voldsomt, og overskrifterne trompeterer løftet om agens AI, er sundhedsledere – ansvarlige over for deres patienter og samfund – stadig tilbageholdende med at implementere denne teknologi i stor skala. Startups præsenterer agens-kapaciteter, der strækker sig fra automatisering af mundane opgaver som tidsbestilling til højtilgængelig patientkommunikation og -pleje. Dog har de fleste endnu ikke bevist, at disse engagementer er sikre.

Mange af dem vil aldrig gøre det.

Realiteten er, at enhver kan starte en voice-agent drevet af et stort sprogmodel (LLM), give det en medfølende tone og skrive en konversation, der lyder overbevisende. Der er masser af platforme som denne, der præsenterer deres agenter i enhver branche. Deres agenter kan se og lyde forskellige, men alle opfører sig på samme måde – tilbøjelige til hallucinationer, ude af stand til at verificere kritiske faktorer og mangler mekanismer, der sikrer ansvarlighed.

Dette tilgang – bygning af et ofte for tyndt wrapper omkring et grundlæggende LLM – kan fungere i brancher som detailhandel eller hospitality, men vil fejle i sundhedssektoren. Grundlæggende modeller er ekstraordinære værktøjer, men de er i hovedsagen generelle formål; de blev ikke trænet specifikt på kliniske protokoller, betalingspolitik eller reguleringsstandarder. Selv de mest eloquente agenter bygget på disse modeller kan glide ind i hallucinatorisk territorium, besvare spørgsmål, de ikke burde, opfinde faktorer eller ikke erkende, når et menneske skal inddrages i kredsløbet.

Konsekvenserne af disse adfærdsmønstre er ikke teoretiske. De kan forvirre patienter, forstyrre pleje og føre til dyrt menneskeligt omgangsarbejde. Dette er ikke et intelligensproblem. Det er et infrastrukturproblem.

For at operere sikkert, effektivt og pålideligt i sundhedssektoren har AI-agenter brug for at være mere end bare autonome stemmer i den anden ende af telefonen. De skal opereres af systemer, der er designet specifikt til kontrol, kontekst og ansvarlighed. Fra min erfaring med at bygge disse systemer, ser det således ud i praksis.

Responskontrol kan gøre hallucinationer ikke-eksisterende

AI-agenter i sundhedssektoren kan ikke bare generere plausibele svar. De skal levere de korrekte, hver gang. Dette kræver en kontrollerbar “handlingsspace” – en mekanisme, der tillader AI at forstå og facilitere naturlig konversation, men sikrer, at hvert muligt svar er afgrænset af foruddefineret, godkendt logik.

Med responskontrolparametre bygget ind, kan agenterne kun reference verificerede protokoller, foruddefinerede driftsprocedurer og reguleringsstandarder. Modellens kreativitet udnyttes til at guide interaktioner i stedet for at improvisere faktorer. Dette er, hvordan sundhedsledere kan sikre, at risikoen for hallucination elimineres helt – ikke ved at teste i en pilot eller en enkelt fokusgruppe, men ved at designe risikoen ud på gulvet.

Specialiserede videnstrukturer kan sikre tillidsfulde udvekslinger

Konteksten af hver sundhedsdiskussion er dybt personlig. To personer med type 2-diabetes kan bo i samme kvarter og have samme risikoprofil. Deres berettigelse til en bestemt medicin vil variere afhængigt af deres medicinske historie, deres læges behandlingsretning, deres forsikringsplan og formularregler.

AI-agenter har ikke kun brug for adgang til denne kontekst, men de har brug for at kunne resonere med den i realtid. En specialiseret videnstruktur giver denne kapacitet. Det er en struktureret måde at repræsentere information fra multiple tillidsfulde kilder, der tillader agenter at validere, hvad de hører, og sikre, at den information, de giver tilbage, er både præcis og personlig. Agenter uden denne lag kan lyde informerede, men de følger i virkeligheden bare faste arbejdsgange og udfylder huller.

Robust gennemgangssystemer kan evaluere nøjagtighed

En patient kan lægge på med en AI-agent og føle sig tilfreds, men arbejdet for agenten er langt fra overstået. Sundhedsorganisationer har brug for sikkerhed for, at agenten ikke kun producerede korrekte oplysninger, men forstod og dokumenterede interaktionen. Det er, hvor automatiserede efterbehandlings-systemer kommer ind.

Et robust gennemgangssystem skal evaluere hver enkelt konversation med samme fine-tooth-comb niveau af skarphed, en menneskelig supervisor med alle tiden i verden ville bringe. Det skal kunne identificere, om svaret var nøjagtigt, sikre, at den rigtige information blev fanget, og bestemme, om opfølgningsarbejde er nødvendigt. Hvis noget ikke er i orden, skal agenten kunne eskalere til et menneske, men hvis alt er i orden, kan opgaven afkrydses med tillid.

Ud over disse tre grundlæggende elementer, der kræves for at ingeniøre tillid, har hver agens AI-infrastruktur brug for en robust sikkerheds- og overholdelsesramme, der beskytter patientdata og sikrer, at agenter opererer inden for regulerede grænser. Denne ramme skal inkludere streng overholdelse af fælles branchestandarder som SOC 2 og HIPAA, men skal også have processer bygget ind for bias-test, beskyttelse af sundhedsinformation, redaktion og dataretention.

Disse sikkerhedssafegarder danner ikke kun overholdelsesbokse. De danner ryggraden af et tillidsfuldt system, der kan sikre, at hver interaktion håndteres på et niveau, patienter og udbydere forventer.

Sundhedssektoren har ikke brug for mere AI-hype. Den har brug for pålidelig AI-infrastruktur. I tilfældet af agens AI, vil tillid ikke blive tjent så meget, som den vil blive ingeniøret.