Hvis din AI hallucinerer, så giv ikke AI'en skylden

AI-"hallucinationer" – de overbevisende, men falske svar – tiltrækker sig stor medieopmærksomhed, som f.eks. den nylige artikel i New York Times, AI bliver mere kraftfuld, men dens hallucinationer bliver værreHallucinationer er en reel fare, når man har med en forbrugerchatbot at gøre. I forbindelse med forretningsmæssige anvendelser af AI er det en endnu mere alvorlig bekymring. Heldigvis har jeg som leder inden for forretningsteknologi også mere kontrol over det. Jeg kan sørge for, at agenten har de rigtige data til at give et meningsfuldt svar.

Fordi det er det virkelige problem. I erhvervslivet er der ingen undskyldning for AI hallucinationerStop med at give AI skylden. Giv dig selv skylden for ikke at bruge AI korrekt.

Hvornår generativ AI værktøjer hallucinerer, de gør det, de er designet til at gøre – give det bedste svar, de kan, baseret på de data, de har til rådighed. Når de opfinder ting og producerer et svar, der ikke er baseret på virkeligheden, Det er fordi de mangler de relevante data, ikke kan finde dem eller ikke forstår spørgsmåletJa, nye modeller som OpenAI's o3 og o4-mini hallucinerer mere og opfører sig endnu mere "kreative", når de ikke har et godt svar på det spørgsmål, de er blevet stillet. Ja, mere kraftfulde værktøjer kan hallucinere mere – men de kan også producere mere kraftfulde og værdifulde resultater, hvis vi sætter dem op til succes.

Hvis du ikke vil have, at din AI skal hallucinere, så sult den ikke for data. Giv AI'en de bedste og mest relevante data til det problem, du vil have den til at løse, og den vil ikke blive fristet til at fare vild.

Selv da, når du arbejder med et hvilket som helst AI-værktøj, anbefaler jeg at holde dine kritiske tænkningsevner intakte. De resultater, AI-agenter leverer, kan være produktive og dejlige, men pointen er ikke at koble fra din hjerne og lade softwaren gøre al tænkningen for dig. Bliv ved med at stille spørgsmål. Når en AI-agent giver dig et svar, så spørg om svaret for at sikre dig, at det giver mening og er bakket op af data. Hvis det er tilfældet, bør det være et opmuntrende tegn på, at det er værd at bruge tid på at stille opfølgende spørgsmål.

Jo mere du stiller spørgsmål, jo bedre indsigt får du.

Hvorfor hallucinationer opstår

Det er ikke et mysterium. AI'en prøver ikke at lyve for dig. Enhver stor sprogmodel (LLM) AI forudsiger i bund og grund det næste ord eller tal baseret på sandsynlighed.

På et overordnet niveau sker der her, at LLM'er sætter sætninger og afsnit sammen ét ord ad gangen og forudsiger det næste ord, der skal forekomme i sætningen, baseret på milliarder af andre eksempler i deres træningsdata. LLM'ernes forfædre (udover Clippy) var autofuldførelsesprompter til tekstbeskeder og computerkode, automatiserede oversættelsesværktøjer til menneskeligt sprog og andre probabilistiske sprogsystemer. Med øget brute force-beregningskraft plus træning i internetskala datamængder blev disse systemer "smarte" nok til, at de kunne føre en fuld samtale via chat, som verden lærte med introduktionen af ​​ChatGPT.

AI-kritikere påpeger gerne, at dette ikke er det samme som ægte "intelligens", kun software, der kan destillere og genoplive den menneskelige intelligens, der er blevet indført i den. Bed den om at opsummere data i en skriftlig rapport, og den imiterer den måde, andre forfattere har opsummeret lignende data på.

Det forekommer mig at være et akademisk argument, så længe dataene er korrekte, og analysen er brugbar.

Hvad sker der, hvis AI'en ikke har dataene? Den udfylder hullerne. Nogle gange er det sjovt. Nogle gange er det et totalt rod.

Når man bygger AI agenter, dette er 10 gange risikoen. Agenter forventes at give handlingsrettet indsigt, men de træffer flere beslutninger undervejs. De udførte opgaver i flere trin, hvor resultatet af trin 1 informerer trin 2, 3, 4, 5, ... 10 ... 20. Hvis resultaterne af trin 1 er forkerte, vil fejlen blive forstærket, hvilket gør outputtet i trin 20 endnu værre. Især da agenter kan træffe beslutninger og springe trin over.

Når det gøres rigtigt, udretter agenter mere for den virksomhed, der anvender dem. Men som AI-produktchefer er vi nødt til at erkende den større risiko, der følger med den større belønning.

Hvilket var, hvad vores team gjorde. Vi så risikoen og tacklede den. Vi byggede ikke bare en flot robot; vi sørgede for, at den kører på de rigtige data. Her er, hvad jeg synes, vi gjorde rigtigt:

• Byg agenten til at stille de rigtige spørgsmål og verificere, at den har de rigtige data. Sørg for, at agentens indledende datainputproces faktisk er mere deterministisk og mindre "kreativ". Du ønsker, at agenten siger til, når den ikke har de rigtige data, og ikke fortsætter til næste trin i stedet for at opdigte dataene.
• Strukturer en plan for din agent – ​​sørg for, at den ikke opfinder en ny plan hver gang, men har en semistruktureret tilgang. Struktur og kontekst er ekstremt vigtige i dataindsamlings- og analysefasen. Du kan lade agenten slappe af og handle mere "kreativt", når den har faktaene og er klar til at skrive resuméet, men først skal du have faktaene korrekte.
• Byg et værktøj af høj kvalitet til at udtrække data. Dette bør være mere end blot et API-kald. Tag dig tid til at skrive koden (det gør folk stadig), der genererer den rette mængde og variation af data, der skal indsamles, og indbygg kvalitetstjek i processen.
• Få agenten til at vise sit arbejde. Agenten skal citere sine kilder og linke til steder, hvor brugeren kan verificere dataene fra den originale kilde og udforske dem yderligere. Ingen overgreb er tilladt!
• Beskyttelsesmekanismer: Tænk over, hvad der kan gå galt, og indbyg beskyttelse mod de fejl, du absolut ikke kan tillade. I vores tilfælde betyder det, at når den agent, der har til opgave at analysere et marked, ikke har dataene – hvilket jeg mener vores Similarweb-data, ikke en tilfældig datakilde hentet fra nettet – er det en vigtig beskyttelsesmekanisme at sørge for, at de ikke opfinder noget. Det er bedre for agenten ikke at kunne svare end at give et falsk eller vildledende svar.

Vi har indarbejdet disse principper i vores seneste udgivelse af vores tre nye agenter, og flere følger. For eksempel spørger vores AI Meeting Prep Agent til sælgere ikke kun om navnet på målvirksomheden, men også om detaljer om målet med mødet og hvem det er med, hvilket forbereder det på at give et bedre svar. Den behøver ikke at gætte, fordi den bruger et væld af virksomhedsdata, digitale data og lederprofiler til at informere sine anbefalinger.

Er vores agenter perfekte? Nej. Ingen skaber perfekt AI endnu, ikke engang de største virksomheder i verden. Men at konfrontere problemet er meget bedre end at ignorere det.

Vil du have færre hallucinationer? Giv din AI en god portion data af høj kvalitet.

Hvis det hallucinerer, er det måske ikke kunstig intelligens, der skal repareres. Måske er det din tilgang til at udnytte disse kraftfulde nye muligheder uden at bruge tid og kræfter på at få dem til at fungere.