Hvis din AI hallusinerer, ikke skyld på AI-en

AI-«hallusinasjoner» – disse overbevisende, men falske svarene – får mye medieoppmerksomhet, som den nylige artikkelen i New York Times. AI blir kraftigere, men hallusinasjonene blir verreHallusinasjoner er en reell fare når du har med en forbruker-chatbot å gjøre. I forbindelse med forretningsapplikasjoner av AI er det en enda mer alvorlig bekymring. Heldigvis har jeg, som leder innen forretningsteknologi, mer kontroll over det også. Jeg kan sørge for at agenten har de riktige dataene for å produsere et meningsfullt svar.

Fordi det er det virkelige problemet. I næringslivet finnes det ingen unnskyldning for AI hallusinasjonerSlutt å skylde på AI. Skyld på deg selv for at du ikke bruker AI riktig.

Når generativ AI Verktøy hallusinerer, de gjør det de er laget for å gjøre – gi det beste svaret de kan basert på dataene de har tilgjengelig. Når de finner på ting, produserer de et svar som ikke er basert på virkeligheten, Det er fordi de mangler relevante data, ikke finner dem eller ikke forstår spørsmåletJa, nye modeller som OpenAIs o3 og o4-mini hallusinerer mer, og oppfører seg enda mer «kreative» når de ikke har et godt svar på spørsmålet som er stilt til dem. Ja, kraftigere verktøy kan hallusinere mer – men de kan også produsere kraftigere og mer verdifulle resultater hvis vi legger til rette for at de skal lykkes.

Hvis du ikke vil at AI-en din skal hallusinere, må du ikke sulte den for data. Gi AI-en de beste og mest relevante dataene for problemet du vil at den skal løse, så vil den ikke bli fristet til å gå på villspor.

Selv da, når du jobber med et hvilket som helst AI-verktøy, anbefaler jeg å holde dine kritiske tenkeevner intakte. Resultatene AI-agenter leverer kan være produktive og herlige, men poenget er ikke å koble fra hjernen og la programvaren gjøre all tenkingen for deg. Fortsett å stille spørsmål. Når en AI-agent gir deg et svar, still spørsmål ved svaret for å være sikker på at det gir mening og er støttet av data. I så fall bør det være et oppmuntrende tegn på at det er verdt tiden din til å stille oppfølgingsspørsmål.

Jo mer du stiller spørsmål, desto bedre innsikt får du.

Hvorfor hallusinasjoner oppstår

Det er ikke noe mysterium. AI-en prøver ikke å lyve til deg. Alle store språkmodeller (LLM) AI-er forutsier i hovedsak det neste ordet eller tallet basert på sannsynlighet.

På et overordnet nivå skjer det her at LLM-er setter sammen setninger og avsnitt ett ord om gangen, og forutsier det neste ordet som skal forekomme i setningen basert på milliarder av andre eksempler i treningsdataene. Forfedrene til LLM-er (bortsett fra Clippy) var autofullføringsspørsmål for tekstmeldinger og datakode, automatiserte verktøy for oversettelse av menneskelig språk og andre sannsynlighetsbaserte språksystemer. Med økt brute force-datakraft, pluss trening på internettstore datamengder, ble disse systemene «smarte» nok til at de kunne føre en full samtale via chat, slik verden lærte med introduksjonen av ChatGPT.

AI-kritikere liker å påpeke at dette ikke er det samme som ekte «intelligens», bare programvare som kan destillere og gjenskape den menneskelige intelligensen som har blitt matet inn i den. Be den om å oppsummere data i en skriftlig rapport, og den imiterer måten andre forfattere har oppsummert lignende data på.

Det slår meg som et akademisk argument så lenge dataene er korrekte og analysen er nyttig.

Hva skjer hvis AI-en ikke har dataene? Den fyller ut hullene. Noen ganger er det morsomt. Noen ganger er det et totalt rot.

Ved bygging AI-agenter, dette er 10 ganger risikoen. Agenter skal gi handlingsrettet innsikt, men de tar flere beslutninger underveis. De utførte flertrinnsoppgaver, der resultatet av trinn 1 informerer trinn 2, 3, 4, 5, … 10 … 20. Hvis resultatene av trinn 1 er feil, vil feilen bli forsterket, noe som gjør resultatet i trinn 20 enda verre. Spesielt siden agenter kan ta beslutninger og hoppe over trinn.

Når det gjøres riktig, oppnår agenter mer for bedriften som bruker dem. Likevel, som produktledere for AI, må vi erkjenne den større risikoen som følger med den større belønningen.

Det var det teamet vårt gjorde. Vi så risikoen og tok tak i den. Vi bygde ikke bare en fancy robot; vi sørget for at den kjører på de riktige dataene. Her er hva jeg synes vi gjorde riktig:

• Bygg agenten slik at den stiller de riktige spørsmålene og bekrefter at den har de riktige dataene. Sørg for at agentens innledende datainndataprosess faktisk er mer deterministisk og mindre «kreativ». Du vil at agenten skal si ifra når den ikke har de riktige dataene, og ikke fortsette til neste trinn, i stedet for å dikte opp dataene.
• Strukturer en strategiplan for agenten din – sørg for at den ikke finner opp en ny plan hver gang, men har en semistrukturert tilnærming. Struktur og kontekst er ekstremt viktig i datainnsamlings- og analysefasen. Du kan la agenten slappe av og oppføre seg mer «kreativt» når den har faktaene og er klar til å skrive sammendraget, men først må du få faktaene riktige.
• Bygg et verktøy av høy kvalitet for å hente ut dataene. Dette bør være mer enn bare et API-kall. Ta deg tid til å skrive koden (folk gjør fortsatt det) som gir riktig mengde og variasjon av data som skal samles inn, og legg inn kvalitetskontroller i prosessen.
• Få agenten til å vise frem arbeidet sitt. Agenten bør sitere kildene sine og lenke til steder der brukeren kan bekrefte dataene fra den opprinnelige kilden og utforske dem videre. Ingen overgrep er tillatt!
• Beskyttelsesmekanismer: Tenk gjennom hva som kan gå galt, og bygg inn beskyttelse mot feil du absolutt ikke kan tillate. I vårt tilfelle betyr det at når agenten som har i oppgave å analysere et marked ikke har dataene – med det mener jeg våre Similarweb-data, ikke en tilfeldig datakilde hentet fra nettet – er det et viktig beskyttelsesmekanisme å sørge for at de ikke finner på noe. Det er bedre for agenten å ikke kunne svare enn å gi et falskt eller misvisende svar.

Vi har innlemmet disse prinsippene i den nylige lanseringen av våre tre nye agenter, og flere kommer senere. For eksempel spør ikke vår AI Meeting Prep Agent for selgere bare om navnet på målbedriften, men også detaljer om målet med møtet og hvem det er med, noe som forbereder det på å gi et bedre svar. Den trenger ikke å gjette fordi den bruker en mengde bedriftsdata, digitale data og lederprofiler for å informere sine anbefalinger.

Er agentene våre perfekte? Nei. Ingen lager perfekt AI ennå, ikke engang de største selskapene i verden. Men å ta tak i problemet er mye bedre enn å ignorere det.

Vil du ha færre hallusinasjoner? Gi AI-en din en god del av data av høy kvalitet.

Hvis det hallusinerer, er det kanskje ikke AI-en som trenger å fikses. Kanskje det er din tilnærming til å dra nytte av disse kraftige nye funksjonene uten å legge ned tid og krefter på å få dem riktig.