Hvis din AI hallucinerer, skyld ikke AI’et

AI “hallucinationer” – de overbevisende, men falske svar – får meget medieopmærksomhed, som i den nyeste New York Times artikel, AI bliver mere kraftfuld, men dens hallucinationer bliver værre. Hallucinationer er en reel fare, når man har med en forbrugerchatbot at gøre. I sammenhæng med virksomhedsanvendelser af AI er det endnu mere alvorligt. Heldigvis har jeg som virksomhedsteknologileder mere kontrol over det, og jeg kan sikre, at agenten har de rigtige data til at producere et meningsfuldt svar.

Fordi det er det virkelige problem. I virksomheder er der ingen undskyldning for AI hallucinationer. Stop med at skyde skylden på AI. Skyld dig selv for ikke at bruge AI korrekt.

Når generative AI-værktøjer hallucinerer, gør de, hvad de er designet til at gøre – give det bedste svar, de kan, baseret på de data, de har til rådighed. Når de finder på noget, producerer de et svar, der ikke er baseret på virkeligheden, fordi de mangler de relevante data, kan ikke finde dem, eller ikke forstår spørgsmålet. Ja, nye modeller som OpenAI’s o3 og o4-mini hallucinerer mere, og opfører sig endnu mere “kreativt”, når de ikke har et godt svar på det spørgsmål, der er stillet til dem. Ja, mere kraftfulde værktøjer kan hallucinere mere – men de kan også producere mere kraftfulde og værdifulde resultater, hvis vi sætter dem op til succes.

Hvis du ikke vil have, at din AI hallucinerer, så giv den ikke for lidt data. Fodr AI’et med de bedste, mest relevante data for det problem, du vil have, det skal løse, og det vil ikke være fristet til at gå på afveje.

Endda, når du arbejder med ethvert AI-værktøj, anbefaler jeg, at du holder dine kritiske tænkeevner intakt. Resultaterne, som AI-agenterne leverer, kan være produktive og dejlige, men pointen er ikke at frakoble din hjerne og lade softwaren gøre al tænkningen for dig. Hold spørgsmål. Når en AI-agent giver dig et svar, stil spørgsmål til svaret for at sikre, at det giver mening og er bakket op af data. Hvis det er tilfældet, bør det være et opmuntrende tegn på, at det er værd at stille følgespørgsmål.

Jo mere du stiller spørgsmål, desto bedre indsigt får du.

Hvorfor hallucinationer sker

Det er ikke noget mysterium. AI’et prøver ikke at lyve for dig. Hvert stort sprogmodel (LLM) AI er essentielt med til at forudsige det næste ord eller tal baseret på sandsynlighed.

På et højt niveau sker der følgende: LLM’er sætter sammen sætninger og afsnit ét ord ad gangen, og forudsiger det næste ord, der bør optræde i sætningen, baseret på milliarder af andre eksempler i deres træningsdata. LLM’ernes forfædre (bortset fra Clippy) var autocomplete-prompter til tekstbeskeder og computerkode, automatiserede sprogøversættelsesværktøjer og andre sandsynlighedsbaserede sprogsystemer. Med øget beregningskraft og træning på internettets størrelsesorden af data blev disse systemer “smart” nok til, at de kunne føre en fuld konversation over chat, som verden lærte med introduktionen af ChatGPT.

AI-modstandere kan pege på, at dette ikke er det samme som rigtig “intelligens”, men kun software, der kan destillere og genudsende den menneskelige intelligens, der er blevet født ind i den. Spørg det om at sammenfatte data i en skrevet rapport, og det imiterer, hvordan andre forfattere har sammenfattet lignende data.

Det synes mig at være et akademisk argument, så længe data er korrekt, og analysen er nyttig.

Hvad sker der, hvis AI’et ikke har data? Det udfylder hullerne. Nogle gange er det sjovt. Nogle gange er det en total rod.

Når vi bygger AI-agenter, er dette 10 gange større risiko. Agenter skal give handlingsorienteret indsigt, men de tager mere beslutninger undervejs. De udfører multi-trinsopgaver, hvor resultatet af trin 1 informerer trin 2, 3, 4, 5, … 10 … 20. Hvis resultaterne af trin 1 er forkerte, vil fejlen blive forstærket, og outputtet på trin 20 vil blive endnu værre. Især kan agenter tage beslutninger og springe trin over.

Når det er gjort rigtigt, opnår agenter mere for virksomheden, der implementerer dem. Men som AI-produktchefer må vi erkende den større risiko, der følger med den større belønning.

Hvilket er, hvad vores team har gjort. Vi så risikoen og tog fat på den. Vi byggede ikke bare en fancy robot; vi sikrede, at den kører på de rigtige data. Her er, hvad jeg mener, vi gjorde rigtigt:

• Byg agenten til at stille de rigtige spørgsmål og verificere, at den har de rigtige data. Sørg for, at den initielle dataindputprocessen for agenten er mere deterministisk, mindre “kreativ”. Du vil have, at agenten siger, når den ikke har de rigtige data, og ikke fortsætter til næste trin, men i stedet finder på noget.
• Struktur en playbook for din agent – sørg for, at den ikke opfinder en ny plan hver gang, men har en semi-struktureret tilgang. Struktur og kontekst er ekstremt vigtige på datagenererings- og analysestadiet. Du kan lade agenten løsne op og opføre sig mere “kreativt”, når den har fakta og er klar til at skrive sammenfattningen, men først få faktaene rigtige.
• Byg et højkvalitetsværktøj til at trække data ud. Dette bør være mere end bare en API-kald. Tag dig tid til at skrive koden (mennesker gør stadig det) til at trække den rigtige mængde og variation af data, der skal trækkes, og bygge kvalitetskontroller ind i processen.
• Gør agenten til at vise sit arbejde. Agenten skal citerer sine kilder og linke til, hvor brugeren kan verificere dataene fra den oprindelige kilde og udforske dem yderligere. Ingen fingernemmelser tilladt!
• Guardrails: Tænk over, hvad der kan gå galt, og byg beskyttelse mod fejl, som du absolut ikke kan tillade. I vores tilfælde betyder det, at når agenten, der er tildelt til at analysere en markedsføring, ikke har data – hvilket betyder vores Similarweb-data, ikke nogen tilfældig datakilde trukket fra webben – sikrer, at den ikke finder på noget, er en afgørende guardrail. Bedre for agenten at ikke kunne svare end at levere et forkert eller misvisende svar.

Vi har inkorporeret disse principper i vores seneste udgave af vores tre nye agenter, med flere til at følge. For eksempel kræver vores AI-mødeforberedelsesagent for salgsfolk ikke bare navnet på målselskabet, men også detaljer om mødets formål og hvem det er med, hvilket gør det i stand til at give et bedre svar. Det behøver ikke at gætte, fordi det bruger en masse selskabsdata, digitale data og direktørprofiler til at informere sine anbefalinger.

Er vores agenter perfekte? Nej. Ingen skaber perfekt AI endnu, ikke engang de største virksomheder i verden. Men at konfrontere problemet er en hel del bedre end at ignorere det.

Ønsker du færre hallucinationer? Giv din AI en stor mængde højkvalitetsdata.

Hvis det hallucinerer, måske er det ikke AI’et, der skal fikses. Måske er det din tilgang til at udnytte disse kraftfulde nye muligheder uden at tage dig tid og indsats til at få dem rigtigt.