Er RAG-er løsningen på AI-hallusinasjoner?

AI, av design, har et "sitt eget sinn." En ulempe med dette er at Generative AI-modeller av og til vil fremstille informasjon i et fenomen kalt "AI Hallucinations", et av de tidligste eksemplene som kom i søkelyset da en dommer i New York irettesatt advokater for å bruke en ChatGPT-skrevet juridisk brief som refererte til ikke-eksisterende rettssaker. Nylig har det vært hendelser med AI-genererte søkemotorer som har fortalt brukere om det konsumere steiner for helsemessige fordeler, eller for å bruke giftfri lim for å hjelpe ost med å holde seg til pizza.

Ettersom GenAI blir stadig mer allestedsnærværende, er det viktig for brukere å erkjenne at hallusinasjoner per nå er en uunngåelig aspekt av GenAI-løsninger. Disse løsningene er bygget på store språkmodeller (LLM), og er ofte informert av enorme mengder forskjellige kilder som sannsynligvis inneholder i det minste noe unøyaktig eller utdatert informasjon – disse oppdiktede svarene utgjør mellom 3% og 10% av AI chatbot-genererte svar på brukerforespørsler. I lys av AIs "svart boks"naturen - der vi som mennesker har ekstraordinære problemer med å undersøke nøyaktig hvordan AI genererer resultatene, - disse hallusinasjonene kan være nesten umulige for utviklere å spore og forstå.

Uunngåelig eller ikke, AI-hallusinasjoner er i beste fall frustrerende, farlige og i verste fall uetiske.

På tvers av flere sektorer, inkludert helsevesen, finans og offentlig sikkerhet, inkluderer konsekvensene av hallusinasjoner alt fra å spre feilinformasjon og kompromittere sensitive data til til og med livstruende uhell. Hvis hallusinasjoner fortsetter å gå ukontrollert, vil både brukernes velvære og samfunnstilliten til AI-systemer bli kompromittert.

Som sådan er det viktig at forvalterne av denne kraftige teknologien anerkjenner og adresserer risikoen for AI-hallusinasjoner for å sikre troverdigheten til LLM-genererte utdata.

RAG-er som et utgangspunkt for å løse hallusinasjoner

En metode som har kommet i forgrunnen for å lindre hallusinasjoner er gjenfinning utvidet generasjon, eller RAG. Denne løsningen forbedrer LLM-pålitelighet gjennom integrering av eksterne lagre av informasjon – trekke ut relevant informasjon fra en pålitelig database valgt i henhold til søkets natur – for å sikre mer pålitelige svar på spesifikke spørsmål.

Noe industri eksperter har påstått at RAG alene kan løse hallusinasjoner. Men RAG-integrerte databaser kan fortsatt inneholde utdaterte data, som kan generere falsk eller villedende informasjon. I visse tilfeller kan integrering av eksterne data gjennom RAG-er til og med øke sannsynligheten for hallusinasjoner i store språkmodeller: Hvis en AI-modell er uforholdsmessig avhengig av en utdatert database oppfatter som fullt oppdatert, kan omfanget av hallusinasjonene bli enda mer alvorlig.

AI Guardrails – Bridging RAG's gaps

Som du kan se, holder RAG-er løfter for å dempe AI-hallusinasjoner. Imidlertid må bransjer og bedrifter som henvender seg til disse løsningene også forstå deres iboende begrensninger. Når de brukes sammen med RAG-er, er det faktisk komplementære metoder som bør brukes når man adresserer LLM-hallusinasjoner.

For eksempel kan bedrifter bruke sanntids AI rekkverk for å sikre LLM-svar og dempe AI-hallusinasjoner. Guardrails fungerer som et nett som kontrollerer alle LLM-utganger for fabrikkert, profant eller off-topic innhold før det når brukere. Denne proaktive mellomvaretilnærmingen sikrer påliteligheten og relevansen av gjenfinning i RAG-systemer, og øker til syvende og sist tilliten blant brukerne og sikrer trygge interaksjoner som er i tråd med en bedrifts merkevare.

Alternativt er det "prompt engineering"-tilnærmingen, som krever at ingeniøren endrer backend-hovedprompten. Ved å legge til forhåndsbestemte begrensninger til akseptable forespørsler – med andre ord, ikke bare overvåke hvor LLM får informasjon, men hvordan brukere også spør om det – kan konstruerte forespørsler veilede LLM-er mot mer pålitelige resultater. Den største ulempen med denne tilnærmingen er at denne typen prompt engineering kan være en utrolig tidkrevende oppgave for programmerere, som ofte allerede er strukket for tid og ressurser.

"Fintuning"-tilnærmingen innebærer opplæring av LLM-er på spesialiserte datasett til avgrense ytelsen og redusere risikoen for hallusinasjoner. Denne metoden trener oppgavespesialiserte LLM-er til å trekke fra spesifikke, pålitelige domener, og forbedrer nøyaktigheten og påliteligheten i utdata.

Det er også viktig å vurdere virkningen av inndatalengde på resonnementsytelsen til LLM-er – faktisk har mange brukere en tendens til å tro at jo mer omfattende og parameterfylt forespørselen deres er, desto mer nøyaktig vil utdataene være. Imidlertid en fersk undersøkelse avslørte at nøyaktigheten av LLM utganger faktisk avtar ettersom inngangslengden øker. Følgelig garanterer ikke å øke antallet retningslinjer som er tildelt en gitt forespørsel konsistent pålitelighet ved generering av pålitelige generative AI-applikasjoner.

Dette fenomenet, kjent som prompt overbelastning, fremhever den iboende risikoen for altfor komplekse promptdesign – jo bredere en prompt er formulert, jo flere dører åpnes for unøyaktig informasjon og hallusinasjoner ettersom LLM streber etter å oppfylle alle parametere.

Rask prosjektering krever konstante oppdateringer og finjusteringer og sliter fortsatt med å forhindre hallusinasjoner eller useriøse reaksjoner effektivt. Rekkverk, på den annen side, vil ikke skape ytterligere risiko for fabrikkerte utganger, noe som gjør dem til et attraktivt alternativ for å beskytte AI. I motsetning til prompt engineering, tilbyr autovern en altomfattende sanntidsløsning som sikrer generativ AI bare vil skape utganger innenfor forhåndsdefinerte grenser.

Selv om det ikke er en løsning i seg selv, kan tilbakemeldinger fra brukere også bidra til å dempe hallusinasjoner med handlinger som opp- og nedstemmer som hjelper til med å avgrense modeller, forbedre utdatanøyaktigheten og redusere risikoen for hallusinasjoner.

I seg selv krever RAG-løsninger omfattende eksperimentering for å oppnå nøyaktige resultater. Men når de kombineres med finjustering, rask konstruksjon og rekkverk, kan de tilby mer målrettede og effektive løsninger for å håndtere hallusinasjoner. Å utforske disse komplementære strategiene vil fortsette å forbedre hallusinasjonsdemping i LLM-er, og hjelpe til med utviklingen av mer pålitelige og pålitelige modeller på tvers av ulike applikasjoner.

RAG-er er ikke løsningen på AI-hallusinasjoner

RAG-løsninger gir enorm verdi til LLM-er ved å berike dem med ekstern kunnskap. Men med så mye ukjent om generativ AI, er hallusinasjoner fortsatt en iboende utfordring. Nøkkelen til å bekjempe dem ligger ikke i å prøve å eliminere dem, men snarere ved å lindre deres innflytelse med en kombinasjon av strategiske rekkverk, kontrollprosesser og finjusterte meldinger.

Jo mer vi kan stole på det GenAI forteller oss, desto mer effektivt vil vi kunne utnytte det kraftige potensialet.