Hvis din AI hallucinerer, skyld ikke AI-en

AI “hallusinasjoner” – de overbevisende og falske svarene – får mye oppmerksomhet i media, som i den nylige New York Times-artikkelen, AI Is Getting More Powerful, But Its Hallucinations Are Getting Worse. Hallusinasjoner er en reel fare når du har å gjøre med en forbruker-chatbot. I sammenheng med bedriftsapplikasjoner av AI, er det en enda mer alvorlig bekymring. Heldigvis, som en bedriftsteknologileder, har jeg mer kontroll over det også. Jeg kan sikre at agenten har riktige data for å produsere et meningsfullt svar.

Fordi det er det reelle problemet. I bedrift, er det ingen unnskyldning for AI-hallusinasjoner. Slutt å skyld AI-en. Skyld deg selv for ikke å bruke AI på riktig måte.

Når generative AI-verktøy hallucinerer, gjør de hva de er designet til å gjøre – å gi det beste svaret de kan basert på dataene de har tilgjengelig. Når de finner på noe, produserer de et svar som ikke er basert på virkeligheten, det er fordi de mangler relevante data, kan ikke finne dem, eller ikke forstår spørsmålet. Ja, nye modeller som OpenAI sin o3 og o4-mini hallucinerer mer, og oppfører seg enda mer “kreativt” når de ikke har et godt svar på spørsmålet som er stilt til dem. Ja, mer powerful verktøy kan hallucinere mer – men de kan også produsere mer powerful og verdifull resultater hvis vi setter dem opp for suksess.

Hvis du ikke vil at din AI skal hallucinere, må du ikke sulte den for data. Mat AI-en med de beste, mest relevante dataene for problemet du vil at den skal løse, og den vil ikke bli fristet til å gå feil.

Selv da, når du arbeider med noe AI-verktøy, anbefaler jeg å holde dine kritiske tenkningsevner intakt. Resultatene AI-agenter leverer kan være produktive og deilige, men poenget er ikke å koble fra hjernen og la programvaren gjøre all tenkningen for deg. Hold å stille spørsmål. Når en AI-agent gir deg et svar, stil spørsmål om svaret for å sikre at det har mening og er bakket opp av data. Hvis det er tilfelle, bør det være et oppmuntrende tegn på at det er verdt å bruke tid på å stille følgespørsmål.

Jo mer du spør, jo bedre innsikt vil du få.

Hvorfor hallucinasjoner skjer

Det er ikke noen mysterium. AI-en prøver ikke å lyve til deg. Hvert stort språkmodell (LLM) AI er essensielt å forutsi det neste ordet eller tallet basert på sannsynlighet.

På et høyt nivå, hva som skjer her, er at LLM-er setter sammen setninger og avsnitt ett ord om gangen, og forutsier det neste ordet som bør skje i setningen basert på milliarder av andre eksempler i sin treningsdata. Forgjengerne til LLM-er (bortsett fra Clippy) var autocomplete-prompter for tekstmeldinger og datakode, automatiserte menneskespråk-oversettelsesverktøy og andre probabilistiske lingvistiske systemer. Med økt brutto beregningskraft, pluss trening på internett-skala volum av data, ble disse systemene “smart” nok til å kunne føre en fullstendig samtale over chat, som verden lærte med introduksjonen av ChatGPT.

AI-negativister liker å peke på at dette ikke er det samme som ekte “intelligens”, bare programvare som kan destillere og regurgitere den menneskelige intelligensen som er blitt matet inn i den. Spør den om å summerere data i en skrevet rapport, og den imiterer måten andre forfattere har summeret lignende data.

Det synes meg som en akademisk argument så lenge dataene er korrekte og analysen er nyttig.

Hva skjer hvis AI-en ikke har dataene? Den fyller inn hullene. Noen ganger er det morsomt. Noen ganger er det en total rot.

Når du bygger AI-agenter, er dette 10 ganger større risiko. Agenter er ment å gi handlebare innsikt, men de tar flere beslutninger underveis. De utfører multi-trinnsoppgaver, hvor resultatet av trinn 1 informerer trinn 2, 3, 4, 5, … 10 … 20. Hvis resultatene av trinn 1 er feil, vil feilen bli forsterket, og utgangen på trinn 20 blir enda verre. Spesielt, siden agenter kan ta beslutninger og hoppe over trinn.

Gjort riktig, agenter oppnår mer for bedriften som deployer dem. Likevel, som AI-produktledere, må vi erkjenne den større risikoen som følger med den større belønningen.

Hva vårt team gjorde, var å se risikoen og takle den. Vi bygde ikke bare en fancy robot; vi sikret at den kjører på riktige data. Her er hva jeg mener vi gjorde riktig:

• Bygget agenten til å stille riktige spørsmål og verifisere at den har riktige data. Sikre at den innledende datainndata-prosessen til agenten er mer deterministisk, mindre “kreativ”. Du vil at agenten skal si når den ikke har riktige data og ikke fortsette til neste trinn, men heller finne på noe.
• Strukturerte en playbook for agenten – sikre at den ikke finner på en ny plan hver gang, men har en semi-strukturert tilnærming. Struktur og kontekst er ekstremt viktig på datainnsamling- og analyse-stadiet. Du kan la agenten løsne opp og oppføre seg mer “kreativt” når den har faktene og er klar til å skrive sammenfattingen, men først få faktene riktige.
• Bygget et høykvalitetsverktøy for å hente data. Dette bør være mer enn bare en API-kall. Ta tid til å skrive koden (mennesker gjør dette fortsatt) som gjør riktige mengder og variasjoner av data som vil bli samlet inn, og bygge kvalitetskontroller inn i prosessen.
• Få agenten til å vise sitt arbeid. Agenten bør angi sine kilder og lenke til hvor brukeren kan verifisere dataene, fra den opprinnelige kilden, og utforske dem videre. Ingen skjulte triks tillatt!
• Vern: Tenk gjennom hva som kan gå galt, og bygge inn beskyttelse mot feilene du absolutt ikke kan tillate. I vårt tilfelle, betyr det at når agenten som er satt til å analysere en marked ikke har data – som våre Similarweb-data, ikke noen tilfeldig datakilde hentet fra nettet – sikre at den ikke finner på noe, er en essensiell vern.

Vi har inkorporert disse prinsippene i vår nylige utgivelse av våre tre nye agenter, med flere til å følge. For eksempel, vår AI-møte-forberedelsesagent for salgsfolk spør ikke bare om navnet på målselskapet, men detaljer om målet med møtet og hvem det er med, og primerer det til å gi et bedre svar. Den trenger ikke å gjette fordi den bruker en mengde selskapsdata, digitale data og direktørprofiler for å informere sine anbefalinger.

Er våre agenter perfekte? Nei. Ingen lager perfekt AI ennå, ikke engang de største selskapene i verden. Men å møte problemet er mye bedre enn å ignorere det.

Ønsker du færre hallucinasjoner? Gi din AI en fin bit høykvalitetsdata.

Hvis den hallucinerer, kanskje det ikke er AI-en som trenger fiksing. Kanskje det er din tilnærming til å dra nytte av disse powerful nye kapasitetene uten å sette inn tid og innsats til å få dem riktig.