Als uw AI hallucinaties heeft, geef de AI dan niet de schuld

AI-“hallucinaties” – die overtuigende maar valse antwoorden – trekken veel media-aandacht, zoals in het recente artikel van The New York Times, AI Is Getting More Powerful, But Its Hallucinations Are Getting Worse. Hallucinaties zijn een echt gevaar wanneer u te maken heeft met een consumentenchatbot. In de context van bedrijfsapplicaties van AI is het een nog ernstiger probleem. Gelukkig heb ik als leider in bedrijfstechnologie meer controle over het probleem. Ik kan ervoor zorgen dat de agent de juiste gegevens heeft om een zinvol antwoord te geven.

Omdat dat het echte probleem is. In het bedrijfsleven is er geen excuus voor AI-hallucinaties. Houd op met het beschuldigen van AI. Beschuldig uzelf omdat u AI niet op de juiste manier gebruikt.

Wanneer generatieve AI-tools hallucineren, doen ze wat ze zijn ontworpen om te doen – het beste antwoord geven dat ze kunnen op basis van de beschikbare gegevens. Wanneer ze dingen verzinnen, produceren ze een antwoord dat niet op feiten is gebaseerd, het is omdat ze de relevante gegevens missen, ze niet kunnen vinden of de vraag niet begrijpen. Ja, nieuwe modellen zoals OpenAI’s o3 en o4-mini hallucineren vaker, zijn nog “creatiever” wanneer ze geen goed antwoord hebben op de vraag die aan hen is gesteld. Ja, krachtigere tools kunnen vaker hallucineren – maar ze kunnen ook krachtigere en waardevollere resultaten produceren als we ze goed instellen.

Als u niet wilt dat uw AI hallucineert, onthoud het dan niet van gegevens. Voer de AI de beste, meest relevante gegevens voor het probleem dat u wilt oplossen, en het zal niet geneigd zijn om af te wijken.

Selfs dan, wanneer u met een AI-tool werkt, raad ik u aan uw kritische denkvaardigheden intact te houden. De resultaten die AI-agents leveren, kunnen productief en leuk zijn, maar het punt is niet om uw hersenen uit te schakelen en de software alle denkwerk te laten doen. Blijf vragen stellen. Wanneer een AI-agent u een antwoord geeft, vraag dat antwoord om zeker te zijn dat het zin heeft en door gegevens wordt ondersteund. Als dat zo is, moet dat een bemoedigend teken zijn dat het de moeite waard is om follow-upvragen te stellen.

Hoe meer u vraagt, hoe beter de inzichten zullen zijn.

Waarom hallucinaties gebeuren

Het is geen mysterie. De AI probeert niet te liegen tegen u. Elke grote taalmodel (LLM) AI voorspelt in wezen het volgende woord of nummer op basis van waarschijnlijkheid.

Op een hoog niveau gebeurt hier dat LLM’s zinnen en alinea’s samenstellen, woord voor woord, door het volgende woord te voorspellen dat in de zin zou moeten voorkomen op basis van miljarden andere voorbeelden in de trainingsgegevens. De voorlopers van LLM’s (behalve Clippy) waren autocomplete-prompt voor tekstberichten en computercodes, geautomatiseerde menselijke taalvertalingstools en andere probabilistische linguïstische systemen. Met toenemende brute force-rekenkracht, plus training op internet-schaal volumes van gegevens, werden deze systemen “slim” genoeg dat ze een volledig gesprek via chat konden voeren, zoals de wereld leerde met de introductie van ChatGPT.

AI-sceptici wijzen er graag op dat dit niet hetzelfde is als echte “intelligentie”, maar alleen software die de menselijke intelligentie die erin is gestopt, kan distilleren en herhalen. Vraag het om gegevens samen te vatten in een geschreven rapport, en het imiteert de manier waarop andere schrijvers soortgelijke gegevens hebben samengevat.

Dat lijkt me een academische discussie zolang de gegevens correct zijn en de analyse nuttig is.

Wat gebeurt er als de AI geen gegevens heeft? Het vult de lege plekken in. Soms is het grappig. Soms is het een totale chaos.

Wanneer AI-agents worden gebouwd, is dit 10 keer het risico. Agents moeten actiegerichte inzichten bieden, maar ze nemen meer beslissingen onderweg. Ze voeren multi-stap taken uit, waarbij het resultaat van stap 1 de stappen 2, 3, 4, 5, … 10 … 20 beïnvloedt. Als de resultaten van stap 1 onjuist zijn, wordt de fout verergerd, waardoor de uitvoer bij stap 20 nog erger wordt. Vooral omdat agents beslissingen kunnen nemen en stappen kunnen overslaan.

Als het goed wordt gedaan, bereiken agents meer voor het bedrijf dat ze inzet. Toch moeten wij als AI-productmanagers het grotere risico erkennen dat samenhangt met de grotere beloning.

Dat is wat ons team heeft gedaan. We zagen het risico en pakten het aan. We hebben geen fancy robot gebouwd; we hebben ervoor gezorgd dat het op de juiste gegevens draait. Hier is wat ik denk dat we goed hebben gedaan:

• De agent bouwen om de juiste vragen te stellen en te verifiëren of hij de juiste gegevens heeft. Zorg ervoor dat het initiële gegevensinvoerproces van de agent eigenlijk meer deterministisch is, minder “creatiever”. U wilt dat de agent zegt wanneer hij de juiste gegevens niet heeft en niet doorgaat naar de volgende stap, in plaats van gegevens te verzinnen.
• Een playbook structureren voor uw agent – zorg ervoor dat hij geen nieuw plan verzint elke keer, maar een semi-gestructureerde aanpak heeft. Structuur en context zijn extreem belangrijk bij het verzamelen en analyseren van gegevens. U kunt de agent laten ontspannen en “creatiever” worden wanneer hij de feiten heeft en klaar is om de samenvatting te schrijven, maar eerst moet u de feiten goed krijgen.
• Een hoge kwaliteit tool bouwen om de gegevens te extraheren. Dit moet meer zijn dan alleen een API-aanroep. Neem de tijd om de code te schrijven (mensen doen dat nog steeds) die de juiste hoeveelheid en variëteit aan gegevens verzamelt die worden verzameld, met kwaliteitscontroles in het proces.
• De agent laten zien wat hij doet. De agent moet zijn bronnen citeren en linken naar waar de gebruiker de gegevens kan verifiëren, van de oorspronkelijke bron, en verder kan onderzoeken. Geen trucjes toegestaan!
• Guardrails: denk na over wat er mis kan gaan en bouw bescherming tegen de fouten die u absoluut niet kunt toelaten. In ons geval betekent dat dat wanneer de agent die is belast met het analyseren van een markt geen gegevens heeft – waar ik mee bedoel onze Similarweb-gegevens, niet een willekeurige gegevensbron die van het web is gehaald – ervoor zorgen dat hij niets verzint, een essentiële guardrail is. Het is beter voor de agent om geen antwoord te kunnen geven dan een vals of misleidend antwoord te geven.

We hebben deze principes opgenomen in onze recente release van onze drie nieuwe agents, met meer te volgen. Bijvoorbeeld, onze AI Meeting Prep Agent voor verkopers vraagt niet alleen de naam van het doelbedrijf, maar ook details over het doel van de vergadering en met wie het is, om een beter antwoord te kunnen geven. Het hoeft niet te raden omdat het een schat aan bedrijfsgegevens, digitale gegevens en executive-profielen gebruikt om zijn aanbevelingen te informeren.

Zijn onze agents perfect? Nee. Niemand maakt nog perfecte AI, niet eens de grootste bedrijven ter wereld. Maar het probleem aanpakken is een hel van een lot beter dan het negeren.

Wilt u minder hallucinaties? Geef uw AI een leuke chunk van hoge kwaliteit gegevens.

Als het hallucineert, is het misschien niet de AI die moet worden gefixt. Misschien is het uw aanpak om deze krachtige nieuwe mogelijkheden te gebruiken zonder de tijd en moeite te nemen om ze goed te doen.