Er RAGs løsningen på AI-hallusinasjoner?

AI er, av design, “sin egen herre”. En ulempe med dette er at generative AI-modeller av og til vil fabrikkere informasjon i et fenomen kalt “AI-hallusinasjoner”, ett av de tidligste eksemplene på dette var da en New York-dommer kritiserte advokater for å bruke en ChatGPT-skrevet rettslig innstilling som refererte til ikke-eksisterende rettssaker. Mer nylig har det vært hendelser der AI-genererte søkemotorer fortalte brukerne å spise steiner for helsefordeler, eller å bruke ikke-toxisk lim for å hjelpe ost å klebe til pizza.

Siden GenAI blir stadig mer vanlig, er det viktig for brukerne å erkjenne at hallusinasjoner er, for tiden, en uunngåelig del av GenAI-løsninger. Bygget på store språkmodeller (LLM), er disse løsningene ofte informert av store mengder ulike kilder som sannsynligvis inneholder noen uriktige eller foreldede opplysninger – disse fabrikkerte svarene utgjør mellom 3% og 10% av AI-chatbot-genererte svar på brukerforespørsler. I lys av AI sin “black box“-natur – hvor mennesker har ekstraordinær vanskelig for å undersøke hvordan AI genererer sine resultater – kan disse hallusinasjonene være nær umulige for utviklere å spore og forstå.

Uunngåelige eller ikke, AI-hallusinasjoner er frustrerende på beste, farlige og uetiske på verst.

Over flere sektorer, inkludert helse, finansielle tjenester og offentlig sikkerhet, inkluderer konsekvensene av hallusinasjoner alt fra å spre misinformasjon og å kompromittere følsomme data til å være livstruende. Hvis hallusinasjoner fortsetter å være ukontrollerte, vil både brukernes velvære og det samfunnets tillit til AI-systemer bli kompromittert.

Slik det er, er det avgjørende at de som har ansvaret for denne kraftfulle teknologien erkjenner og håndterer risikoen for AI-hallusinasjoner for å sikre troverdigheten av LLM-genererte utdata.

RAGs som utgangspunkt for å løse hallusinasjoner

En metode som har kommet til syne for å mildne hallusinasjoner er retrieval-augmented generation, eller RAG. Denne løsningen forbedrer LLM-påliteligheten gjennom integrering av eksterne informasjonskilder – ved å hente relevante opplysninger fra en pålitelig database valgt etter spørsmalets art – for å sikre mer pålitelige svar på bestemte spørsmaal.

Noen bransje-eksperter har hevdet at RAG alene kan løse hallusinasjoner. Men RAG-integerte databaser kan fortsatt inneholde foreldede data, som kan generere feil eller misvisende informasjon. I visse tilfeller kan integrering av eksterne data gjennom RAGs øke sannsynligheten for hallusinasjoner i store språkmodeller: Hvis en AI-modell avhenger for mye av en foreldet database som den oppfatter som fullstendig oppdatert, kan omfanget av hallusinasjonene bli enda mer alvorlige.

AI-vegarder – å brokke RAGs gap

Som du kan se, har RAGs stor potensial for å mildne AI-hallusinasjoner. Men bransjer og bedrifter som søker til disse løsningene må også forstå deres innebygde begrensninger. Faktisk, når de brukes i kombinasjon med RAGs, finnes det komplementære metoder som bør brukes når det gjelder å håndtere LLM-hallusinasjoner.

For eksempel kan bedrifter bruke sanntids AI-vegarder for å sikre LLM-svar og mildne AI-hallusinasjoner. Vegarder fungerer som et nett som vurderer alle LLM-utdata for fabrikkert, profant eller avvikende innhold før det når brukerne. Denne proaktive midtverktøys-tilnærmingen sikrer påliteligheten og relevansen av henting i RAG-systemer, og øker tilliten blant brukerne, og sikrer trygge interaksjoner som er i samsvar med et selskaps merkevare.

Alternativt finnes det “prompt-ingeniør”-tilnærmingen, som krever at ingeniøren endrer bakende-mester-prompten. Ved å legge til forhåndsbestemte begrensninger til akseptable prompter – med andre ord, overvåke ikke bare hvor LLM henter informasjon, men også hvordan brukerne ber om svar – kan ingeniør-prompter guide LLMs mot mer pålitelige resultater. Den største ulempe med denne tilnærmingen er at denne typen prompt-ingeniør-arbeid kan være en ekstremt tidkrevende oppgave for programmerere, som ofte allerede er strekt for tid og ressurser.

“Fine-tuning”-tilnærmingen innebærer å trene LLMs på spesialiserte datasett for å forbedre ytelsen og mildne risikoen for hallusinasjoner. Denne metoden trener oppgave-spesialiserte LLMs til å hente fra spesifikke, pålitelige domener, og forbedrer nøyaktigheten og påliteligheten i utdata.

Det er også viktig å vurdere innvirkningen av inndata-lengde på LLMs resonnerings-ytelse – faktisk, mange brukere tenderer til å tro at jo mer omfattende og parameter-fylt deres prompt er, jo mer nøyaktige utdataene vil være. Men en nyere studie avdekket at nøyaktigheten av LLM-utdata faktisk minsker når inndata-lengden øker. Følgelig garanterer ikke økning av antall retningslinjer for en gitt prompt konsistent pålitelighet i å generere pålitelige generative AI-applikasjoner.

Dette fenomenet, kjent som “prompt-overbelastning”, understreker de innebygde risikoene ved å være for komplekse i prompt-design – jo bredere en prompt er formulert, jo flere dører åpnes for uriktige opplysninger og hallusinasjoner når LLM prøver å oppfylle hver parameter.

Prompt-ingeniør-arbeid krever konstante oppdateringer og fin-justering, og sliter fortsatt med å forhindre hallusinasjoner eller meningsløse svar effektivt. Vegarder, på den andre siden, vil ikke skape noen ekstra risiko for fabrikkerte utdata, og er derfor en attraktiv mulighet for å beskytte AI. I motsetning til prompt-ingeniør-arbeid tilbyr vegarder en allomfattende sanntids-løsning som sikrer at generativ AI bare vil generere utdata innenfor forhåndsdefinerte grenser.

Mens det ikke er en løsning i seg selv, kan bruker-tilbakemelding også hjelpe med å mildne hallusinasjoner ved å bruke handlinger som opp- og ned-stemming for å finjustere modeller, forbedre utgangs-nøyaktighet og redusere risikoen for hallusinasjoner.

På egen hånd krever RAG-løsninger omfattende eksperimentering for å oppnå nøyaktige resultater. Men når de kombineres med fin-justering, prompt-ingeniør-arbeid og vegarder, kan de tilby mer målrettede og effektive løsninger for å håndtere hallusinasjoner. Å utforske disse komplementære strategiene vil fortsette å forbedre hallusinasjons-mildning i LLMs, og bidra til utviklingen av mer pålitelige og troverdige modeller over ulike anvendelser.

RAGs er ikke løsningen på AI-hallusinasjoner

RAG-løsninger legger til stor verdi til LLMs ved å berike dem med eksterne kunnskaper. Men med så mye som fortsatt er ukjent om generativ AI, forblir hallusinasjoner en innebygd utfordring. Nøkkelen til å bekjempe dem ligger ikke i å forsøke å eliminere dem, men heller ved å mildne deres innvirkning med en kombinasjon av strategiske vegarder, vurderingsprosesser og fin-justerte prompter.

Jo mer vi kan stole på hva GenAI forteller oss, jo mer effektivt og effektmessig vil vi kunne utnytte dets kraftfulle potensial.