Als uw AI hallucineert, geef de AI dan niet de schuld

AI-“hallucinaties” – die overtuigende, maar valse antwoorden – trekken veel media-aandacht, zoals in het recente artikel van The New York Times, AI Is Getting More Powerful, But Its Hallucinations Are Getting Worse. Hallucinaties zijn een echt gevaar wanneer u te maken heeft met een consumentenchatbot. In de context van bedrijfsapplicaties van AI is het een nog ernstiger probleem. Gelukkig heb ik als leider in bedrijfs technologie meer controle over het probleem. Ik kan ervoor zorgen dat de agent de juiste gegevens heeft om een zinvol antwoord te produceren.

Omdat dat het echte probleem is. In het bedrijfsleven is er geen excuus voor AI-hallucinaties. Stop met het beschuldigen van AI. Beschuldig uzelf ervan dat u AI niet op de juiste manier gebruikt.

Wanneer generatieve AI-tools hallucineren, doen ze wat ze zijn ontworpen om te doen – het beste antwoord geven dat ze kunnen op basis van de beschikbare gegevens. Wanneer ze dingen verzinnen en een antwoord produceren dat niet op realiteit is gebaseerd, is het omdat ze de relevante gegevens missen, deze niet kunnen vinden of de vraag niet begrijpen. Ja, nieuwe modellen zoals OpenAI’s o3 en o4-mini hallucineren meer, zijn nog “creatiever” wanneer ze geen goed antwoord hebben op de vraag die aan hen is gesteld. Ja, krachtigere tools kunnen meer hallucineren – maar ze kunnen ook krachtigere en waardevollere resultaten produceren als we ze opzetten voor succes.

Als u niet wilt dat uw AI hallucineert, onthoud het dan niet van gegevens. Voed de AI met de beste, meest relevante gegevens voor het probleem dat u wilt oplossen, en het zal niet in de verleiding komen om af te wijken.

Zelfs dan, wanneer u met een AI-tool werkt, raad ik u aan uw kritische denkvaardigheden intact te houden. De resultaten die AI-agents leveren, kunnen productief en leuk zijn, maar het punt is niet om uw hersenen uit te schakelen en de software alle denkwerk voor u te laten doen. Blijf vragen stellen. Wanneer een AI-agent u een antwoord geeft, stel dan vragen over dat antwoord om ervoor te zorgen dat het zin heeft en door gegevens wordt ondersteund. Als dat zo is, moet dat een bemoedigend teken zijn dat het de moeite waard is om follow-upvragen te stellen.

Hoe meer u vraagt, hoe beter de inzichten zullen zijn.

Waarom hallucinaties gebeuren

Het is geen mysterie. De AI probeert niet te liegen tegen u. Elke grote taalmodel (LLM) AI voorspelt in wezen het volgende woord of nummer op basis van waarschijnlijkheid.

Op een hoog niveau gebeurt hier het volgende: LLM’s zetten zinnen en alinea’s samen, woord voor woord, door het volgende woord te voorspellen dat in de zin zou moeten voorkomen op basis van miljarden andere voorbeelden in de trainingsgegevens. De voorlopers van LLM’s (behalve Clippy) waren autocomplete-prompt voor tekstberichten en computercodes, geautomatiseerde menselijke taalvertalingstools en andere probabilistische linguïstische systemen. Met verhoogde brute force rekenkracht, plus training op internet-schaal volumes van gegevens, werden deze systemen “slim” genoeg dat ze een volledig gesprek via chat konden voeren, zoals de wereld leerde met de introductie van ChatGPT.

AI-sceptici wijzen er graag op dat dit niet hetzelfde is als echte “intelligentie”, maar alleen software die menselijke intelligentie kan destilleren en regurgiteren die erin is gevoerd. Vraag het om gegevens in een geschreven rapport samen te vatten, en het imiteert de manier waarop andere schrijvers soortgelijke gegevens hebben samengevat.

Dat lijkt me een academische discussie zolang de gegevens correct zijn en de analyse nuttig is.

Wat gebeurt er als de AI geen gegevens heeft? Het vult de leegtes in. Soms is het grappig. Soms is het een totale chaos.

Wanneer u AI-agents bouwt, is dit 10 keer het risico. Agents moeten actiegerichte inzichten bieden, maar ze nemen meer beslissingen onderweg. Ze voeren multi-stap taken uit, waarbij het resultaat van stap 1 de stappen 2, 3, 4, 5, … 10 … 20 informeert. Als de resultaten van stap 1 onjuist zijn, wordt de fout versterkt, waardoor de uitvoer bij stap 20 nog erger wordt. Vooral omdat agents beslissingen kunnen nemen en stappen kunnen overslaan.

Als het goed wordt gedaan, bereiken agents meer voor het bedrijf dat ze inzet. Toch moeten wij als AI-productmanagers het grotere risico erkennen dat samenhangt met de grotere beloning.

Dat is wat ons team heeft gedaan. We zagen het risico en hebben het aangepakt. We hebben geen fancy robot gebouwd; we hebben ervoor gezorgd dat het op de juiste gegevens draait. Hier is wat ik denk dat we goed hebben gedaan:

• Bouw de agent om de juiste vragen te stellen en verifieer of deze de juiste gegevens heeft. Zorg ervoor dat het initiële gegevensinvoerproces van de agent daadwerkelijk meer deterministisch is, minder “creatief”. U wilt dat de agent zegt wanneer deze geen juiste gegevens heeft en niet doorgaat naar de volgende stap, in plaats van gegevens te verzinnen.
• Structuur een playbook voor uw agent – zorg ervoor dat deze geen nieuw plan verzint elke keer, maar een semi-gestructureerde aanpak heeft. Structuur en context zijn extreem belangrijk bij het verzamelen en analyseren van gegevens. U kunt de agent losser laten en “creatiever” laten handelen wanneer deze de feiten heeft en klaar is om de samenvatting te schrijven, maar eerst zorg ervoor dat de feiten kloppen.
• Bouw een hoge kwaliteit tool om de gegevens te extraheren. Dit moet meer zijn dan alleen een API-aanroep. Neem de tijd om de code te schrijven (mensen doen dat nog steeds) die de juiste hoeveelheid en variëteit aan gegevens verzamelt die zal worden verzameld, met kwaliteitscontroles in het proces.
• Laat de agent zijn werk laten zien. De agent moet zijn bronnen citeren en linken naar waar de gebruiker de gegevens kan verifiëren, van de oorspronkelijke bron, en deze verder kan onderzoeken. Geen trucjes toegestaan!
• Guardrails: denk na over wat er mis kan gaan en bouw beschermingen tegen de fouten die u absoluut niet kunt toestaan. In ons geval betekent dat, wanneer de agent die is belast met het analyseren van een markt geen gegevens heeft – waarbij ik onze Similarweb-gegevens bedoel, niet zomaar een willekeurige gegevensbron van het web – ervoor zorgen dat deze niets verzint, is een essentiële guardrail. Het is beter voor de agent om geen antwoord te geven dan een vals of misleidend antwoord te geven.

We hebben deze principes geïntegreerd in onze recente release van onze drie nieuwe agents, met meer te volgen. Bijvoorbeeld, onze AI Meeting Prep Agent voor salespeople vraagt niet alleen de naam van het doelbedrijf, maar ook details over het doel van de vergadering en met wie het is, waardoor het een beter antwoord kan geven. Het hoeft niet te raden omdat het een schat aan bedrijfsgegevens, digitale gegevens en uitvoerdersprofielen gebruikt om zijn aanbevelingen te informeren.

Zijn onze agents perfect? Nee. Niemand creëert perfecte AI yet, niet eens de grootste bedrijven ter wereld. Maar het probleem aanpakken is een stuk beter dan het negeren.

Wilt u minder hallucinaties? Geef uw AI een mooie chunk hoge kwaliteit gegevens.

Als het hallucineert, is het misschien niet de AI die moet worden gefixed. Misschien is het uw aanpak om gebruik te maken van deze krachtige nieuwe mogelijkheden zonder de tijd en moeite te nemen om ze goed te doen.