Elke AI-agent kan praten. Weinigen zijn te vertrouwen

De behoefte aan AI-agents in de gezondheidszorg is dringend. In de hele industrie worden overwerkte teams geconfronteerd met tijdrovende taken die de patiëntenzorg vertragen. Clinici zijn dun gespreid, payer-callcenters zijn overbelast en patiënten worden achtergelaten met vragen over onmiddellijke zorgen.

AI-agents kunnen helpen door grote lacunes te vullen, de bereikbaarheid en beschikbaarheid van klinisch en administratief personeel uit te breiden en de burn-out van zorgpersoneel en patiënten te verminderen. Maar voordat we dat kunnen doen, hebben we een solide basis nodig om vertrouwen in AI-agents op te bouwen. Dat vertrouwen komt niet van een warme toon of conversatievaardigheid. Het komt van engineering.

Zelfs als de interesse in AI-agents de lucht in schiet en headlines de belofte van agentic AI aankondigen, blijven gezondheidsleiders – verantwoordelijk tegenover hun patiënten en gemeenschappen – aarzelen om deze technologie op grote schaal in te zetten. Startups prijzen agentic-capaciteiten aan die variëren van het automatiseren van saaie taken zoals afspraken plannen tot hoogwaardige patiëntcommunicatie en -zorg. Toch hebben de meesten nog niet bewezen dat deze interacties veilig zijn.

Veel van hen zullen dat nooit doen.

De realiteit is dat iedereen een voice-agent kan opstarten die wordt aangedreven door een groot taalmodel (LLM), hem een medelevende toon geeft en een conversatie script die overtuigend klinkt. Er zijn genoeg platforms die hun agents in elke industrie aanprijzen. Hun agents zien er misschien anders uit en klinken anders, maar ze gedragen zich allemaal hetzelfde – vatbaar voor hallucinaties, onvermogen om kritieke feiten te verifiëren en ontbreken van mechanismen die verantwoordelijkheid waarborgen.

Deze aanpak – het bouwen van een vaak te dunne wrapper rond een fundamenteel LLM – kan werken in industrieën zoals detailhandel of hospitality, maar zal falen in de gezondheidszorg. Fundamentele modellen zijn buitengewone instrumenten, maar ze zijn grotendeels algemeen; ze zijn niet specifiek getraind op klinische protocollen, payer-beleid of regelgevende normen. Zelfs de meest eloquente agents die op deze modellen zijn gebouwd, kunnen afdwalen naar hallucinatoire gebieden, vragen beantwoorden die ze niet zouden moeten beantwoorden, feiten verzinnen of niet herkennen wanneer een mens in de lus moet worden gebracht.

De gevolgen van dit gedrag zijn niet theoretisch. Ze kunnen patiënten in de war brengen, de zorg verstoren en leiden tot kostbare herwerking door mensen. Dit is geen intelligentieprobleem. Het is een infrastructuurprobleem.

Om veilig, effectief en betrouwbaar te functioneren in de gezondheidszorg, moeten AI-agents meer zijn dan alleen autonome stemmen aan de andere kant van de telefoon. Ze moeten worden geopereerd door systemen die specifiek zijn ontworpen voor controle, context en verantwoordelijkheid. Uit mijn ervaring met het bouwen van deze systemen, zie ik er zo uit in de praktijk.

Responscontrole kan hallucinaties onbestaand maken

AI-agents in de gezondheidszorg kunnen niet alleen plausibele antwoorden genereren. Ze moeten de juiste antwoorden leveren, elke keer. Dit vereist een controleerbaar “actiegebied” – een mechanisme dat de AI in staat stelt om natuurlijke conversatie te begrijpen en te faciliteren, maar ervoor zorgt dat elke mogelijke reactie wordt begrensd door vooraf gedefinieerde, goedgekeurde logica.

Met responscontroleparameters ingebouwd, kunnen agents alleen verwijzen naar geverifieerde protocollen, vooraf gedefinieerde bedrijfsprocedures en regelgevende normen. De creativiteit van het model wordt ingezet om interacties te leiden in plaats van feiten te improviseren. Dit is hoe gezondheidsleiders kunnen waarborgen dat het risico van hallucinatie volledig wordt geëlimineerd – niet door te testen in een proef of een enkele focusgroep, maar door het risico uit te schakelen op de ondergrond.

Gespecialiseerde kennisgrafieken kunnen vertrouwde uitwisselingen waarborgen

De context van elk gezondheidsconversatie is diep persoonlijk. Twee mensen met diabetes type 2 kunnen in dezelfde buurt wonen en hetzelfde risicoprofiel hebben. Hun recht op een specifiek medicijn zal variëren op basis van hun medische geschiedenis, de behandelrichtlijn van hun arts, hun verzekering en formulariumregels.

AI-agents hebben niet alleen toegang nodig tot deze context, maar ze moeten ook in staat zijn om er in real-time mee te redeneren. Een gespecialiseerde kennisgraaf biedt die mogelijkheid. Het is een gestructureerde manier om informatie van meerdere vertrouwde bronnen weer te geven, waardoor agents kunnen valideren wat ze horen en ervoor kunnen zorgen dat de informatie die ze teruggeven zowel accuraat als gepersonaliseerd is. Agents zonder deze laag kunnen geïnformeerd klinken, maar ze volgen eigenlijk alleen rigide workflows en vullen de blanco’s in.

Robuuste beoordelingssystemen kunnen nauwkeurigheid evalueren

Een patiënt kan ophangen met een AI-agent en tevreden zijn, maar het werk voor de agent is verre van voorbij. Gezondheidsorganisaties hebben garanties nodig dat de agent niet alleen correcte informatie produceerde, maar ook de interactie begreep en documenteerde. Daar komt een geautomatiseerd post-processing systeem om de hoek kijken.

Een robuust beoordelingssysteem moet elke conversatie evalueren met hetzelfde niveau van scrupuleuze aandacht als een menselijke supervisor met alle tijd in de wereld. Het moet in staat zijn om te bepalen of de reactie accuraat was, ervoor te zorgen dat de juiste informatie werd vastgelegd en te bepalen of follow-up nodig is. Als iets niet in orde is, moet de agent in staat zijn om door te verwijzen naar een mens, maar als alles in orde is, kan de taak met vertrouwen worden afgevinkt.

Verder dan deze drie fundamentele elementen die nodig zijn om vertrouwen te engineeren, heeft elke agentic AI-infrastructuur een robuust beveiligings- en compliance-kader nodig dat patiëntgegevens beschermt en waarborgt dat agents binnen de regelgevende grenzen opereren. Dat kader moet strikte naleving van gemeenschappelijke industrienormen zoals SOC 2 en HIPAA omvatten, maar moet ook processen hebben voor bias-testing, protected health information-redactie en gegevensretentie.

Deze beveiligingsmaatregelen voldoen niet alleen aan de compliance-doosjes. Ze vormen de ruggengraat van een betrouwbaar systeem dat kan waarborgen dat elke interactie wordt beheerd op een niveau dat patiënten en zorgverleners verwachten.

De gezondheidszorg heeft geen meer AI-hype nodig. Het heeft betrouwbare AI-infrastructuur nodig. In het geval van agentic AI, zal vertrouwen niet worden verdiend, maar zal het worden geëngineerd.