Als uw AI hallucineert, geef dan niet de AI de schuld

AI-‘hallucinaties’ – die overtuigend klinkende maar valse antwoorden – trekken veel media-aandacht, zoals het recente artikel in de New York Times, AI wordt steeds krachtiger, maar de hallucinaties worden ergerHallucinaties vormen een reëel gevaar wanneer je te maken hebt met een consumentenchatbot. In de context van zakelijke toepassingen van AI is het een nog ernstiger probleem. Gelukkig heb ik er als leider in zakelijke technologie ook meer controle over. Ik kan ervoor zorgen dat de agent over de juiste gegevens beschikt om een ​​zinvol antwoord te geven.

Want dat is het echte probleem. In het bedrijfsleven is er geen excuus voor AI-hallucinatiesStop met het geven van de schuld aan AI. Geef jezelf de schuld dat je AI niet goed gebruikt.

. generatieve AI Instrumenten hallucineren, ze doen waarvoor ze ontworpen zijn: het beste antwoord geven op basis van de beschikbare gegevens. Wanneer ze dingen verzinnen en een antwoord produceren dat niet op de werkelijkheid is gebaseerd, het komt omdat ze de relevante gegevens missen, ze niet kunnen vinden of de vraag niet begrijpenJa, nieuwe modellen zoals OpenAI's o3 en o4-mini hallucineren meer en gedragen zich nog "creatiever" wanneer ze geen goed antwoord hebben op de vraag die hen gesteld wordt. Ja, krachtigere tools kunnen meer hallucineren – maar ze kunnen ook krachtigere en waardevollere resultaten opleveren als we ze klaarstomen voor succes.

Als je niet wilt dat je AI hallucineert, laat hem dan niet hongeren naar data. Geef de AI de beste, meest relevante data voor het probleem dat je wilt oplossen, en hij zal niet in de verleiding komen om af te dwalen.

Zelfs dan raad ik aan om je kritisch denkvermogen intact te houden wanneer je met een AI-tool werkt. De resultaten die AI-agents leveren, kunnen productief en plezierig zijn, maar het is niet de bedoeling om je hersenen uit te schakelen en de software al het denkwerk te laten doen. Blijf vragen stellen. Wanneer een AI-agent je een antwoord geeft, bevraag dat antwoord dan om er zeker van te zijn dat het logisch is en door data wordt ondersteund. Zo ja, dan zou dat een bemoedigend teken moeten zijn dat het de moeite waard is om vervolgvragen te stellen.

Hoe meer vragen u stelt, hoe beter het inzicht zal zijn dat u krijgt.

Waarom hallucinaties voorkomen

Het is geen mysterie. De AI probeert je niet voor de gek te houden. Elke AI van een groot taalmodel (LLM) voorspelt in wezen het volgende woord of getal op basis van waarschijnlijkheid.

Wat hier op een hoog niveau gebeurt, is dat LLM's zinnen en alinea's woord voor woord aan elkaar rijgen en het volgende woord in de zin voorspellen op basis van miljarden andere voorbeelden in hun trainingsdata. De voorlopers van LLM's (afgezien van Clippy) waren autocomplete prompts voor tekstberichten en computercode, geautomatiseerde vertaaltools voor menselijke taal en andere probabilistische linguïstische systemen. Met toegenomen brute rekenkracht, plus training met datavolumes op internetschaal, werden deze systemen 'slim' genoeg om een ​​volledig gesprek via chat te kunnen voeren, zoals de wereld leerde met de introductie van ChatGPT.

AI-tegenstanders wijzen er graag op dat dit niet hetzelfde is als echte "intelligentie", maar alleen software die de menselijke intelligentie die erin is gestopt, kan distilleren en weer opdreunen. Vraag het om gegevens samen te vatten in een schriftelijk rapport, en het imiteert de manier waarop andere schrijvers soortgelijke gegevens hebben samengevat.

Dat lijkt mij een academisch argument, zolang de gegevens kloppen en de analyse nuttig is.

Wat gebeurt er als de AI de data niet heeft? Ze vult de gaten in. Soms is het grappig. Soms is het een totale chaos.

bij het bouwen AI-agentenDit is 10x zo riskant. Agenten worden geacht bruikbare inzichten te bieden, maar nemen onderweg meer beslissingen. Ze voerden taken met meerdere stappen uit, waarbij het resultaat van stap 1 de stappen 2, 3, 4, 5, … 10 … 20 beïnvloedt. Als de resultaten van stap 1 onjuist zijn, wordt de fout versterkt, waardoor de uitkomst van stap 20 nog veel slechter wordt. Vooral omdat agenten beslissingen kunnen nemen en stappen kunnen overslaan.

Als ze goed worden ingezet, bereiken agents meer voor het bedrijf dat ze inzet. Als AI-productmanagers moeten we echter erkennen dat er een groter risico aan verbonden is, wat ook een grotere beloning met zich meebrengt.

Dat is precies wat ons team deed. We zagen het risico en pakten het aan. We bouwden niet zomaar een mooie robot; we zorgden ervoor dat hij op de juiste data draaide. Dit is wat we volgens mij goed hebben gedaan:

• Stel de agent in om de juiste vragen te stellen en te controleren of hij over de juiste data beschikt. Zorg ervoor dat het initiële data-invoerproces van de agent meer deterministisch is, minder "creatief". Je wilt dat de agent aangeeft wanneer hij niet over de juiste data beschikt en niet doorgaat naar de volgende stap, in plaats van de data zelf te verzinnen.
• Structureer een draaiboek voor je agent – ​​zorg ervoor dat hij niet telkens een nieuw plan bedenkt, maar een semi-gestructureerde aanpak hanteert. Structuur en context zijn uiterst belangrijk in de fase van dataverzameling en -analyse. Je kunt de agent de ruimte geven om zich te ontspannen en creatiever te handelen wanneer hij de feiten kent en klaar is om de samenvatting te schrijven, maar zorg er eerst voor dat de feiten kloppen.
• Bouw een hoogwaardige tool om de data te extraheren. Dit moet meer zijn dan alleen een API-aanroep. Neem de tijd om de code te schrijven (dat doen mensen nog steeds) die de juiste hoeveelheid en variëteit aan data genereert die verzameld zal worden, en bouw kwaliteitscontroles in het proces in.
• Laat de agent zijn werk tonen. De agent moet zijn bronnen vermelden en linken naar een plek waar de gebruiker de gegevens kan verifiëren, uit de originele bron, en deze verder kan onderzoeken. Geen goocheltruc toegestaan!
• Beschermingsmaatregelen: Denk na over wat er mis kan gaan en bouw bescherming in tegen de fouten die je absoluut niet kunt toestaan. In ons geval betekent dit dat wanneer de agent die belast is met het analyseren van een markt niet over de data beschikt – en daarmee bedoel ik onze Similarweb-data, niet een willekeurige databron die van het web is geplukt – het essentieel is om ervoor te zorgen dat er niets verzonnen wordt. Het is beter voor de agent om geen antwoord te kunnen geven dan een onjuist of misleidend antwoord te geven.

We hebben deze principes verwerkt in onze recente release van onze drie nieuwe agents, en er volgen er nog meer. Zo vraagt ​​onze AI Meeting Prep Agent voor verkopers niet alleen naar de naam van het doelbedrijf, maar ook naar details over het doel van de meeting en met wie deze plaatsvindt. Zo wordt de agent voorbereid om een ​​beter antwoord te geven. Hij hoeft niet te gokken, want hij gebruikt een schat aan bedrijfsgegevens, digitale data en profielen van leidinggevenden om zijn aanbevelingen te onderbouwen.

Zijn onze agenten perfect? ​​Nee. Niemand ontwikkelt nog perfecte AI, zelfs de grootste bedrijven ter wereld niet. Maar het probleem onder ogen zien is een stuk beter dan het negeren.

Wil je minder hallucinaties? Geef je AI een flinke dosis gegevens van hoge kwaliteit.

Als het hallucineert, is het misschien niet de AI die gerepareerd moet worden. Misschien is het jouw aanpak om te profiteren van deze krachtige nieuwe mogelijkheden zonder er tijd en moeite in te steken om ze goed te krijgen.