Övervinna LLM-hallucinationer med hjälp av Retrieval Augmented Generation (RAG)

Stora språkmodeller (LLM) revolutionerar hur vi bearbetar och genererar språk, men de är inte perfekta. Liksom människor kan se former i moln eller ansikten på månen kan LLM också “hallucinera” och skapa information som inte är korrekt. Detta fenomen, som kallas LLM-hallucinationer, utgör ett växande problem när användningen av LLM ökar.

Fel kan förvirra användare och i vissa fall till och med leda till rättsliga problem för företag. Till exempel stämde en amerikansk flygvapen-veteran Jeffery Battle (känd som The Aerospace Professor) Microsoft (MSFT ) 2023 när han upptäckte att Microsofts ChatGPT-aktiverade Bing-sök ibland gav faktamässigt inkorrekta och skadliga uppgifter om hans namnsökning. Sökmotorn förväxlade honom med en dömd brottsling med namnet Jeffery Leon Battle.

För att tackla hallucinationer har Retrieval-Augmented Generation (RAG) dykt upp som en lovande lösning. Det integrerar kunskap från externa databaser för att förbättra resultatets noggrannhet och trovärdighet hos LLM. Låt oss ta en närmare titt på hur RAG gör LLM mer exakt och tillförlitlig. Vi kommer också att diskutera om RAG kan motverka LLM-hallucinationsproblemet effektivt.

Förstå LLM-hallucinationer: Orsaker och exempel

LLM, inklusive kända modeller som ChatGPT, ChatGLM och Claude, tränas på omfattande textdata men är inte immuna mot att producera faktamässigt inkorrekta utdata, ett fenomen som kallas “hallucinationer”. Hallucinationer uppstår eftersom LLM tränas för att skapa meningsfulla svar baserat på underliggande språkregler, oavsett deras faktamässiga korrekthet.

En Tidio-studie fann att medan 72% av användarna tror att LLM är tillförlitliga, har 75% fått inkorrekta uppgifter från AI åtminstone en gång. Även de mest lovande LLM-modellerna som GPT-3.5 och GPT-4 kan ibland producera inkorrekta eller meningslösa innehåll.

Här är en kort översikt av vanliga typer av LLM-hallucinationer:

Vanliga typer av AI-hallucinationer:

1. Källsammanblandning: Detta inträffar när en modell sammanfogar detaljer från olika källor, vilket leder till motsägelser eller till och med fabricerade källor.
2. Faktamässiga fel: LLM kan generera innehåll med inkorrekta faktamässiga underlag, särskilt med tanke på internetets inneboende inkorrektheter
3. Meningslös information: LLM förutsäger nästa ord baserat på sannolikhet. Det kan resultera i grammatiskt korrekt men meningslöst text, vilket vilseleder användare om innehållets auktoritet.

Förra året stod två advokater inför möjliga sanktioner för att ha citerat sex icke-existerande fall i sina rättsdokument, vilseledda av ChatGPT-genererad information. Detta exempel betonar vikten av att närma sig LLM-genererat innehåll med en kritisk blick, vilket understryker behovet av verifiering för att säkerställa tillförlitlighet. Medan dess kreativa kapacitet gynnar tillämpningar som berättande, utgör det utmaningar för uppgifter som kräver strikt överensstämmelse med fakta, såsom att genomföra akademisk forskning, skriva medicinska och finansiella analyser och ge råd.

Utforska lösningen för LLM-hallucinationer: Hur Retrieval Augmented Generation (RAG) fungerar

2020 introducerade LLM-forskare en teknik som kallas Retrieval-Augmented Generation (RAG) för att mildra LLM-hallucinationer genom att integrera en extern datakälla. Till skillnad från traditionella LLM som enbart förlitar sig på sin förtränade kunskap, genererar RAG-baserade LLM-modeller faktamässigt korrekta svar genom att dynamiskt hämta relevant information från en extern databas innan de svarar på frågor eller genererar text.

RAG-processens nedbrytning:

Steg för RAG-processen: Källa

Steg 1: Hämtning

Systemet söker i en specifik kunskapsbas efter information som är relevant för användarens fråga. Om någon till exempel frågar om den senaste vinnaren av fotbolls-VM, letar det efter den mest relevanta fotbollsrelaterade informationen.

Steg 2: Utökning

Den ursprungliga frågan utökas sedan med den information som hittats. Med fotbollsexemplet uppdateras frågan “Vem vann fotbolls-VM?” med specifika detaljer som “Argentina vann fotbolls-VM.”

Steg 3: Generering

Med den utökade frågan genererar LLM ett detaljerat och korrekt svar. I vårt fall skulle det skapa ett svar baserat på den utökade informationen om att Argentina vann VM.

Denna metod hjälper till att minska inkorrektheter och säkerställer att LLM:s svar är mer tillförlitliga och grundade i korrekt data.

För- och nackdelar med RAG vid minskning av hallucinationer

RAG har visat sig vara lovande för att minska hallucinationer genom att korrigera genereringsprocessen. Denna mekanism tillåter RAG-modeller att tillhandahålla mer korrekt, uppdaterad och kontextuellt relevant information.

Det är säkert att diskutera Retrieval Augmented Generation (RAG) i en mer allmän bemärkelse för att få en bredare förståelse för dess fördelar och begränsningar över olika implementationer.

Fördelar med RAG:

• Bättre informationsökning: RAG hittar snabbt korrekt information från stora datakällor.
• Förbättrat innehåll: Det skapar tydligt, välmatchat innehåll för vad användare behöver.
• Flexibel användning: Användare kan anpassa RAG för att passa sina specifika krav, som att använda deras egna datakällor, förbättra effektiviteten.

Utmaningar med RAG:

• Kräver specifik data: Att korrekt förstå frågans kontext för att tillhandahålla relevant och exakt information kan vara svårt.
• Skalbarhet: Att utöka modellen för att hantera stora datamängder och frågor samtidigt som man upprätthåller prestanda är svårt.
• Kontinuerlig uppdatering: Att automatiskt uppdatera kunskapsdatabasen med den senaste informationen är resurskrävande.

Utforska alternativ till RAG

Förutom RAG finns det några andra lovande metoder som möjliggör för LLM-forskare att minska hallucinationer:

• G-EVAL: Verifierar den genererade innehållets korrekthet med en betrodd dataset, förbättrar tillförlitligheten.
• SelfCheckGPT: Kontrollerar och korrigerar automatiskt sina egna fel för att hålla utdata korrekta och konsekventa.
• Prompt Engineering: Hjälper användare att utforma precisa inmatningsprompt för att vägleda modeller mot korrekta och relevanta svar.
• Fine-tuning: Justerar modellen för att passa specifika uppgiftsspecifika datamängder för förbättrad prestanda inom specifika områden.
• LoRA (Low-Rank Adaptation): Denna metod modifierar en liten del av modellens parametrar för anpassning till specifika uppgifter, förbättrar effektiviteten.

Utforskningen av RAG och dess alternativ betonar den dynamiska och multifacetterade tillvägagångssättet för att förbättra LLM:s noggrannhet och tillförlitlighet. Medan vi går framåt är kontinuerlig innovation inom tekniker som RAG avgörande för att hantera de inneboende utmaningarna med LLM-hallucinationer.

För att hålla dig uppdaterad med de senaste utvecklingarna inom AI och maskinlärning, inklusive djupgående analyser och nyheter, besök unite.ai.