Wanneer de adviseur een bot is. Conversational AI zonder mensen te breken.

Wat kan AI niet doen? We vragen het ons geld wijs te besteden, het vertelt ons over beschikbare belastingefficiënte voertuigen. We vragen het over relaties, en het biedt empathie gevormd door patroonherkenning. Vraag het wat je moet doen met je leven om 2 uur ‘s nachts, en het zal je een antwoord geven… omdat dat is waarvoor het is gebouwd.

Het opkomende probleem is niet het falen van deze tools, maar hun vloeiendheid. Ze zijn zo geruststellend zeker dat wat is ontworpen om ons te ondersteunen, met genoeg zekerheid en herhaling, kan beginnen met het verdraaien van hoe we denken, voelen en handelen op manieren die we nooit hadden gepland.

Koppen flitsen rood. OpenAI onthulde onlangs dat in een doorsnee week, honderdduizenden ChatGPT-gebruikers tekenen van ernstige emotionele nood kunnen vertonen, waaronder suïcidale ideatie. Ondertussen waarschuwen mentale gezondheidsprofessionals voor “een fenomeen waarbij gebruikers door langdurige, emotioneel geladen chatbot-conversaties dwalingen of afhankelijkheid ontwikkelen. Staten in de VS beperken al hoe bots in therapie kunnen worden gebruikt als gevolg.

Deze verhalen verontrusten ons omdat ze de kernaanname uitdagen dat AI alleen maar een instrument is. Wanneer de adviseur een vertrouweling of een vriend wordt, wat gebeurt er dan met echte menselijke verbinding?

Ontwikkelaars creëren niet langer alleen maar leuke functies; ze vormen interacties die invloed kunnen hebben op hoe mensen zich voelen en denken. Daarom is het essentieel om conversational AI te ontwerpen die waarde levert zonder de mentale welzijn van gebruikers te ondermijnen.

1.   De intentie verfijnen

Een recente studie van Harvard waarschuwt dat conversational bots de neiging hebben om het eens te zijn, zelfs als gebruikers ongelijk hebben, omdat die soort bevestiging gebruikers betrokken houdt. Echter, het opent ook deuren naar “sycophantische” bevestiging. Als een chatbot niet bedoeld is als therapeut of intieme vriend, moet je weerstand bieden tegen het ontwerpen ervan om die mate van emotionele bevestiging te geven.

De eerste stap is intentioneel: om exact te definiëren wat uw bot moet doen en wat het moet vermijden. Is het een klantenservice-assistent, een productiviteitsgids, een carrièrecoach, een financieel hulpmiddel, een conversational companion, een receptenmaker? Duidelijkheid in deze fase trekt de grenzen die het systeem ervan weerhouden ongewenste gebieden te betreden.

Gesprekstypen, zoals open-ended, persoonlijk en niet-persoonlijk, en modaliteiten zoals spraak of tekst, beïnvloeden emotionele en problematische gebruik. De studie bewijst dat hoog dagelijks gebruik correleert met grotere eenzaamheid en AI-afhankelijkheid.

Ontwikkelaars moeten zichzelf afvragen: hoe houd je gesprekken open genoeg om nuttig te zijn, maar gesloten genoeg om emotionele verstrengeling te vermijden? Bijvoorbeeld, een klantenservicebot kan open-endede verklaringen van het probleem van de gebruiker toelaten, maar emotioneel valideerde uitdrukkingen zoals “Dat klinkt echt moeilijk, ik ben hier voor je…” vermijden.

Wanneer het doel te breed is, groeit het risico van onbedoelde emotionele binding of schadelijke overschrijding. Door de intentie te verfijnen, minimaliseer je de kans dat mensen de bot als therapeut of zielsverwant beginnen te behandelen.

2.   De kennisbasis verifiëren

Volgens een hallucinatieverslag uit 2025 hallucineren sommige LLM’s nog steeds tot 30% van de antwoorden. Zelfs topmodellen elimineren het risico niet geheel. De laagste hallucinatiesnelheden onder getrackte AI-modellen waren nog steeds rond de 3-5%.

Als je eenmaal je doel hebt vastgesteld, zorg er dan voor dat de kennisbasis van de bot is gebaseerd op betrouwbare, door experts geverifieerde bronnen. Als je iets bouwt met doelen op het gebied van mentale gezondheid of emotionele ondersteuning, betrek dan clinici, psychologen of onderwerpspecialisten bij het cureren van de inhoud.

Onze medische adviseur, Dr. Miguel Villagra, vertelde QuickBlox dat “als we te veel van ons beslissingsproces en emotionele verwerking uitbesteden aan AI, verliezen we de mentale spiermassa die ons helpt om realiteit te testen en onszelf te corrigeren.” Onlangs suggereren grote modellen zoals OpenAI dat chatbots intentionele “pauzes” of kleine conversatiepauzes introduceren die gebruikers terugleiden naar hun eigen oordeel in plaats van het systeem de emotionele last te laten dragen.

Toch zijn pauzes afhankelijk van de bot die weet wanneer hij moet stoppen en wanneer hij moet omleiden. Dat oordeel hangt af van een solide, geverifieerde kennisbasis om het te verankeren in feiten in plaats van vleierij. Gaten of onnauwkeurigheden in de database zijn de makkelijkste en meest vermijdbare poorten naar hallucinaties, waar de AI gebruikers misleidende of gevaarlijke adviezen geeft met vertrouwen.

Wanneer de onderliggende informatie strak is gecureerd, regelmatig bijgewerkt en gestructureerd rondom geverifieerde bronnen, is het model veel minder geneigd om antwoorden uit te vinden of emotioneel te echoën wat het hoort. In plaats daarvan wordt het gedwongen om te putten uit gefundeerde materiaal, om te redirecten wanneer iets buiten dat domein valt, en om aannamen uit te dagen.

3.   Veiligheidscontroles integreren

Slechts 48 uur nadat hun AI-companions live gingen, klom Grok naar de nummer één app in Japan. Gebruikers kunnen met deze characters praten via spraak, terwijl levendige avatars uitdrukkingen en gebaren spiegelen. Het is een niveau van immersie dat indrukwekkend is, maar ook eng vertrouwd.

Veiligheidscontroles zijn uw beschermingsmiddelen. Ze moeten de volgende onderdelen bevatten:

• Realiteitsherinneringen: prompts die gebruikers herinneren dat ze met een AI praten, niet met een mens.
• Crisisdetectie: mechanismen om taal te identificeren die ernstige nood, suïcidale gedachten of dwanggedachten signaleert.
• Escalatieprotocollen: wanneer risico wordt gedetecteerd, moet de bot gebruikers zachtjes naar menselijke hulp leiden, zoals professionele bronnen, hulplijnen of adviseren om contact op te nemen met vertrouwde vrienden.

Zonder deze controles riskeren ontwikkelaars het faciliteren van echo-kamers die schadelijk denken versterken. Deskundigen hebben expliciet gewaarschuwd dat de instemming van AI ongezonde denkpatronen kan valideren.

4.   Rode teamdialogen

Na het testen van belangrijke bots, vond een studie onder leiding van onderzoekers van de Stanford University dat GPT-4o stigma in 38% van de antwoorden vertoonde, en Meta’s Llama 3.1-405b deed dit 75% van de tijd. Als topmodellen van wereldklasse labs nog steeds meetbare stigma vertonen, dan zijn kleinere teams die domeinspecifieke bots bouwen bijna gegarandeerd verborgen veiligheidsfouten.

Voordat je lanceert, voer een tegenwerkende test uit. Neem een rood team, het kan intern of extern zijn, met de specifieke taak om de bot te testen met riskante, emotioneel geladen conversaties. Hun enige doel is om de bot te testen tegen de moeilijkste, rommeligste menselijke scenario’s, om echte potentieel kwaad voor gebruikers te voorkomen zodra het product live is.

Rode teams kunnen de bot vragen om randgevallen te rollen. Voor klantenservice zou dit iemand in crisis zijn, voor companion-bots iemand die eenzaam is, of iemand met verwrongen overtuigingen. Beoordeel hoe de bot reageert. Blijft het geaard? Moedigt het realisme aan in plaats van dwaling? Deze fase helpt bij het ontdekken van blind spots die uw veiligheidscontroles of kennisbasis alleen niet kunnen detecteren.

5.   Initiëren van een kanarie-lancering

Het 2025 International AI Safety Rapport, gepubliceerd door een panel van 96 wereldwijde experts, roept op tot monitoring en interventie als kritieke factoren voor risicobeperking bij AI-implementaties. Het rapport identificeert systemische risico’s, zoals verlies van controle, betrouwbaarheidsfouten of vooroordelen, die moeilijk te detecteren zijn in gecontroleerde omgevingen maar alleen kunnen verschijnen wanneer modellen met echte gebruikers interageren.

Door uw bot eerst te implementeren voor een kleine, gecontroleerde groep, ook wel een “kanarie”-publiek genoemd, kunnen ontwikkelaars controleren hoe echte gebruikers interageren. Deskundigen zullen de interacties beoordelen om te zien of gebruikers emotioneel overgehecht raken.

Het is belangrijk om op dit moment relevante adviseurs, waaronder psychologen, te betrekken, omdat ze dieper kunnen begrijpen welke triggerwoorden en -zinnen gebruikers op een riskant pad kunnen leiden.

Ontwikkelaars moeten zowel kwalitatieve als kwantitatieve feedback verzamelen van de controlegroep, zoals gesprekslengte, sentimentverschuivingen, grens-testprompts, herhaalde emotionele onthullingen, door de gebruiker gerapporteerde comfortniveaus en alle patronen die psychologen aanwijzen als tekenen van overmatige afhankelijkheid of nood. Deze initiële rollout is om aannamen te valideren en de veiligheidsarchitectuur te verfijnen in een strak omlijnd lanceren, in plaats van in een volledige release.

6.   Voortdurende monitoring en iteratie

In 2024 kwamen experts uit negen landen en de Europese Unie bijeen om internationale samenwerking op het gebied van AI-veiligheidswetenschap te bespreken. Het samenvattingsrapport benadrukte de noodzaak van schaalbare, iteratieve AI-governance. De leiders pleitten voor frameworks voor real-world testing, derdepartijbeoordeling en voortdurende garantie voorafgaand aan pre-implementatiecontroles.

Volgend op de aanbevelingen in het rapport, moeten ontwikkelaars waakzaam zijn om voortdurend gebruikersinteracties te monitoren en veiligheidsmetrieken zoals crisistriggers of herhaalde hoge-risicodialogen bij te houden. Deze kunnen onder meer omvatten zinnen of gedragingen die zelfbeschadiging, hopeloosheid, suïcidale intentie, extreme eenzaamheid of dwanggedachten suggereren.

In deze gevallen moeten ontwikkelaars de kennisbasis bijwerken door weigeringsregels toe te voegen en crisisscenario’s te verfijnen, en eventuele feitelijke leemtes die de bot verkeerd heeft afgehandeld, te corrigeren. Ze moeten ook overwegen om nieuwe richtlijnen van psychologen of domeinexperts op te nemen om het systeem te helpen gesprekken veilig te sturen de volgende keer dat deze triggers verschijnen. Als patronen ontstaan, zoals gebruikers die steeds vaker de bot gebruiken voor emotionele ondersteuning, kan het nodig zijn om beperkingen aan te scherpen of het ontwerpfilosofie opnieuw te evalueren.

Conversational AI heeft transformatief potentieel. Als het verstandig wordt gebruikt, kan het toegang uitbreiden, empathie schalen en wrijving in coaching of basisondersteuning verminderen. Als iemand die diep in deze ruimte is geïnvesteerd, is mijn weddenschap niet op het vervangen van mensen, maar op het versterken ervan; mensen meer tools geven, niet minder, en dit verantwoord doen.