Elke AI-agent kan praten. Weinigen kunnen vertrouwd worden

De behoefte aan AI-agents in de gezondheidszorg is dringend. In de hele industrie worden overbelaste teams overspoeld met tijdrovende taken die de patiëntenzorg vertragen. Clinici zijn overwerkt, de callcenters van verzekeraars zijn overbelast en patiënten moeten wachten op antwoorden op dringende vragen.

AI-agents kunnen helpen door grote hiaten te dichten, de bereikbaarheid en beschikbaarheid van klinisch en administratief personeel uit te breiden en de burn-out van zowel het gezondheidspersoneel als de patiënten te verminderen. Maar voordat we dat kunnen doen, hebben we een solide basis nodig om vertrouwen in AI-agents op te bouwen. Dat vertrouwen komt niet van een warme toon of conversatievaardigheid. Het komt van engineering.

Zelfs als de interesse in AI-agents de pan uit rijst en de krantenkoppen de belofte van agente AI aankondigen, blijven gezondheidsleiders – verantwoordelijk tegenover hun patiënten en gemeenschappen – aarzelen om deze technologie op grote schaal in te zetten. Startups prijzen agente capaciteiten aan die variëren van het automatiseren van saaie taken zoals het plannen van afspraken tot high-touch patiëntcommunicatie en -zorg. Toch hebben de meesten nog niet bewezen dat deze interacties veilig zijn.

Veel van hen zullen dat nooit doen.

De realiteit is dat iedereen een voice agent kan activeren die wordt aangedreven door een groot taalmodel (LLM), het een compassievolle toon geeft en een conversatie script die overtuigend klinkt. Er zijn genoeg platforms die hun agents in elke industrie aanprijzen. Hun agents zien er misschien anders uit en klinken anders, maar allemaal gedragen ze zich hetzelfde – geneigd tot hallucinaties, niet in staat om kritische feiten te verifiëren en zonder mechanismen die verantwoordelijkheid waarborgen.

Deze aanpak – het bouwen van een vaak te dunne wrapper rond een fundamenteel LLM – kan werken in industrieën zoals detailhandel of hospitality, maar zal falen in de gezondheidszorg. Fundamentele modellen zijn buitengewone instrumenten, maar ze zijn grotendeels algemeen; ze zijn niet specifiek getraind op klinische protocollen, beleid van verzekeraars of regelgevende normen. Zelfs de meest eloquente agents die op deze modellen zijn gebouwd, kunnen afdwalen naar hallucinatoire gebieden, vragen beantwoorden die ze niet zouden moeten, feiten verzinnen of niet herkennen wanneer een mens in de lus moet worden gebracht.

De gevolgen van dit gedrag zijn niet theoretisch. Ze kunnen patiënten in de war brengen, de zorg verstoren en leiden tot kostbare herwerking door mensen. Dit is geen intelligentieprobleem. Het is een infrastructuurprobleem.

Om veilig, effectief en betrouwbaar te opereren in de gezondheidszorg, moeten AI-agents meer zijn dan alleen autonome stemmen aan de andere kant van de telefoon. Ze moeten worden geopereerd door systemen die specifiek zijn ontworpen voor controle, context en verantwoordelijkheid. Uit mijn ervaring bij het bouwen van deze systemen, ziet dat er in de praktijk zo uit.

Reactiecontrole kan hallucinaties onbestaande maken

AI-agents in de gezondheidszorg kunnen niet alleen plausibele antwoorden genereren. Ze moeten de juiste antwoorden leveren, elke keer. Dit vereist een controleerbaar “actiegebied” – een mechanisme dat de AI in staat stelt om natuurlijke conversatie te begrijpen en te faciliteren, maar ervoor zorgt dat elke mogelijke reactie wordt begrensd door vooraf gedefinieerde, goedgekeurde logica.

Met reactiecontroleparameters ingebouwd, kunnen agents alleen verwijzen naar geverifieerde protocollen, vooraf gedefinieerde bedrijfsprocedures en regelgevende normen. De creativiteit van het model wordt gebruikt om interacties te leiden in plaats van feiten te improviseren. Dit is hoe gezondheidsleiders ervoor kunnen zorgen dat het risico van hallucinatie volledig wordt geëlimineerd – niet door te testen in een proef of een enkele focusgroep, maar door het risico van tevoren uit te sluiten.

Gespecialiseerde kennisgrafieken kunnen vertrouwde uitwisselingen waarborgen

De context van elk gezondheids gesprek is diep persoonlijk. Twee mensen met type 2 diabetes kunnen in dezelfde buurt wonen en hetzelfde risicoprofiel hebben. Hun geschiktheid voor een specifiek medicijn zal variëren op basis van hun medische geschiedenis, de behandelrichtlijn van hun arts, hun verzekering en formulariumregels.

AI-agents hebben niet alleen toegang nodig tot deze context, maar ze moeten ook in staat zijn om er in real-time mee te redeneren. Een gespecialiseerde kennisgrafiek biedt die mogelijkheid. Het is een gestructureerde manier om informatie van meerdere betrouwbare bronnen te representeren, waardoor agents kunnen valideren wat ze horen en ervoor zorgen dat de informatie die ze teruggeven zowel accuraat als gepersonaliseerd is. Agents zonder deze laag kunnen geïnformeerd klinken, maar ze volgen eigenlijk alleen maar rigide workflows en vullen de blanco’s in.

Robuuste beoordelingssystemen kunnen nauwkeurigheid evalueren

Een patiënt kan ophangen met een AI-agent en tevreden zijn, maar het werk voor de agent is verre van voorbij. Gezondheidsorganisaties hebben garanties nodig dat de agent niet alleen correcte informatie produceerde, maar ook de interactie begreep en documenteerde. Daar komen geautomatiseerde post-processing systemen om de hoek kijken.

Een robuust beoordelingssysteem moet elke conversatie evalueren met hetzelfde niveau van scrupuleuze aandacht als een menselijke supervisor met alle tijd in de wereld zou hebben. Het moet in staat zijn om te bepalen of de reactie accuraat was, ervoor zorgen dat de juiste informatie werd vastgelegd en bepalen of follow-up vereist is. Als iets niet goed is, moet de agent in staat zijn om door te schakelen naar een mens, maar als alles in orde is, kan de taak met vertrouwen van de to-do-lijst worden afgestreept.

Naast deze drie fundamentele elementen die nodig zijn om vertrouwen te engineeren, heeft elke agente AI-infrastructuur een robuust beveiligings- en compliance-kader nodig dat patiëntgegevens beschermt en ervoor zorgt dat agents binnen de grenzen van de regelgeving opereren. Dat kader moet strikte naleving van algemene industrienormen zoals SOC 2 en HIPAA omvatten, maar moet ook processen hebben voor biastesten, redactie van beschermd gezondheidsinformatie en gegevensretentie.

Deze beveiligingsmaatregelen voldoen niet alleen aan de compliance-dozen. Ze vormen de ruggengraat van een betrouwbaar systeem dat elke interactie op het niveau kan beheren dat patiënten en zorgverleners verwachten.

De gezondheidszorg heeft geen meer AI-hype nodig. Het heeft betrouwbare AI-infrastructuur nodig. In het geval van agente AI, zal vertrouwen niet zozeer worden verdiend als wel geëngineerd.