Er RAGs løsningen på AI-hallusinasjoner?

AI er, av design, “sin egen herre”. En ulempe med dette er at generative AI-modeller av og til vil fabrikkere informasjon i et fenomen kjent som “AI-hallusinasjoner”, ett av de tidligste eksemplene på dette var da en New York-dommer kritiserte advokater for å bruke en ChatGPT-pennet rettslig innlegg som refererte til ikke-eksisterende rettssaker. Mer nylig har det vært hendelser der AI-genererte søkemotorer fortalte brukerne om å forbruke steiner for helsefordeler, eller å bruke ikke-giftig lim for å hjelpe ost å klebe til pizza.

Da GenAI blir stadig mer ubikkvit, er det viktig for brukerne å erkjenne at hallusinasjoner, for tiden, er en uunngåelig del av GenAI-løsninger. Bygget på store språkmodeller (LLM), er disse løsningene ofte informert av enorme mengder ulike kilder som sannsynligvis inneholder minst noen uriktige eller foreldede opplysninger – disse fabrikkerte svarene utgjør mellom 3% og 10% av AI-chatbot-genererte svar på brukerforespørsler. I lys av AI sin “black box“-natur – hvor vi, som mennesker, har ekstraordinær vanskelig for å undersøke hvordan AI genererer resultater, – kan disse hallusinasjonene være nær umulige for utviklere å spore og forstå.

Uunngåelige eller ikke, AI-hallusinasjoner er frustrerende på beste, farlige og uetiske på verst.

Over flere sektorer, inkludert helse, finans og offentlig sikkerhet, inkluderer konsekvensene av hallusinasjoner alt fra å spre misinformasjon og kompromittere følsomme data til å true liv. Hvis hallusinasjoner fortsetter å være ukontrollerte, vil både brukernes velvære og det samfunnets tillit til AI-systemer bli kompromittert.

Som sådan er det avgjørende at de som har ansvar for denne kraftfulle teknologien erkjenner og håndterer risikoen for AI-hallusinasjoner for å sikre troverdigheten av LLM-genererte utdata.

RAGs som en utgangspunkt for å løse hallusinasjoner

En metode som har kommet til syne for å mildne hallusinasjoner er retrieval-augmented generation, eller RAG. Denne løsningen forbedrer LLM-påliteligheten gjennom integrering av eksterne informasjonslagre – ved å trekke ut relevante opplysninger fra en pålitelig database valgt etter spørsmålets natur – for å sikre mer pålitelige svar på bestemte spørsmål.

Noen bransje eksperter har hevdet at RAG alene kan løse hallusinasjoner. Men RAG-integerte databaser kan fortsatt inneholde foreldede data, som kan generere feil eller misvisende informasjon. I visse tilfeller kan integreringen av eksterne data gjennom RAGs øke sannsynligheten for hallusinasjoner i store språkmodeller: Hvis en AI-modell avhenger uforholdsmessig mye av en foreldet database som den oppfatter som fullstendig oppdatert, kan omfanget av hallusinasjonene bli enda mer alvorlig.

AI-sikringsmekanismer – å fylle RAGs huller

Som du kan se, har RAGs stor potensial for å mildne AI-hallusinasjoner. Men industrier og bedrifter som vender seg til disse løsningene, må også forstå deres innebygde begrensninger. Faktisk, når de brukes i kombinasjon med RAGs, er det komplementære metodologier som bør brukes når det gjelder å håndtere LLM-hallusinasjoner.

For eksempel kan bedrifter bruke sanntids AI sikringsmekanismer for å sikre LLM-svar og mildne AI-hallusinasjoner. Sikringsmekanismer fungerer som en nett som vurderer alle LLM-utdata for fabrikkert, uanstendig eller avvikende innhold før det når brukerne. Denne proaktive mellomvaretilnærmingen sikrer påliteligheten og relevansen av henting i RAG-systemer, og booster tillit blant brukerne, og sikrer trygge interaksjoner som er i samsvar med et selskaps merkevare.

Alternativt finnes det “prompt-engineering”-tilnærmingen, som krever at ingeniøren endrer backend-mesterprompten. Ved å legge til forhåndsbestemte begrensninger til akseptable promptr – med andre ord, overvåke ikke bare hvor LLM henter informasjon, men også hvordan brukerne ber om svar – kan ingeniørpromptr guide LLMs mot mer pålitelige resultater. Den største ulempe med denne tilnærmingen er at denne typen prompt-engineering kan være en usedvanlig tidskrevende oppgave for programmerere, som ofte allerede er strekt for tid og ressurser.

“Fine-tuning”-tilnærmingen innebærer å trene LLMs på spesialiserte datasamlinger for å forbedre ytelse og mildne risikoen for hallusinasjoner. Denne metoden trener oppgave-spesialiserte LLMs til å hente fra spesifikke, pålitelige domener, og forbedrer nøyaktigheten og påliteligheten i utdata.

Det er også viktig å vurdere innvirkningen av inndata-lengde på resonansprestasjonen til LLMs – faktisk, mange brukere tenderer til å tro at jo mer omfattende og parameter-fylt deres prompt er, jo mer nøyaktige utdataene vil være. Men en ny studie avslørte at nøyaktigheten av LLM-utdata faktisk minsker når inndata-lengden øker. Derfor garanterer økning av antall retningslinjer tilordnet til en gitt prompt ikke konsekvent pålitelighet i å generere pålitelige generative AI-applikasjoner.

Dette fenomenet, kjent som prompt-overbelastning, understreker de innebygde risikoene ved å være for komplekse prompt-design – jo bredere en prompt er formulert, jo flere dører åpnes for uriktige opplysninger og hallusinasjoner når LLM prøver å oppfylle hver parameter.

Prompt-engineering krever konstant oppdatering og finjustering, og har fortsatt vanskelig for å forebygge hallusinasjoner eller meningsløse svar effektivt. Sikringsmekanismer, på den andre siden, vil ikke skape ekstra risiko for fabrikkert utdata, og er derfor en attraktiv løsning for å beskytte AI. I motsetning til prompt-engineering, tilbyr sikringsmekanismer en allomfattende sanntidsløsning som sikrer at generativ AI bare vil generere utdata fra forhåndsdefinerte grenser.

Selv om det ikke er en løsning i seg selv, kan brukerfeedback også hjelpe til å mildne hallusinasjoner med handlinger som opp- og ned-votering, som hjelper med å finjustere modeller, forbedre utgangs-nøyaktighet og redusere risikoen for hallusinasjoner.

På egen hånd, krever RAG-løsninger omfattende eksperimentering for å oppnå nøyaktige resultater. Men når de kombineres med finjustering, prompt-engineering og sikringsmekanismer, kan de tilby mer målrettede og effektive løsninger for å håndtere hallusinasjoner. Å utforske disse komplementære strategiene vil fortsette å forbedre hallusinasjons-mildning i LLMs, og bidra til å utvikle mer pålitelige og troverdige modeller over ulike applikasjoner.

RAGs er ikke løsningen på AI-hallusinasjoner

RAG-løsninger legger til stor verdi til LLMs ved å berike dem med eksterne kunnskaper. Men med så mye som fortsatt er ukjent om generativ AI, forblir hallusinasjoner en innebygd utfordring. Nøkkelen til å bekjempe dem ligger ikke i å prøve å eliminere dem, men snarere ved å mildne deres innflytelse med en kombinasjon av strategiske sikringsmekanismer, vurderingsprosesser og finjusterte promptr.

Jo mer vi kan stole på hva GenAI forteller oss, jo mer effektivt og effektivt vil vi være i stand til å utnytte dens kraftfulle potensial.