LLM-hallucinaties overwinnen met behulp van Retrieval Augmented Generation (RAG)

Grote taalmodellen (LLM's) zorgen voor een revolutie in de manier waarop we taal verwerken en genereren, maar ze zijn onvolmaakt. Net zoals mensen vormen in wolken of gezichten op de maan kunnen zien, kunnen LLM's ook 'hallucineren', waardoor informatie ontstaat die niet accuraat is. Dit fenomeen, bekend als LLM hallucinaties, vormt een groeiende zorg naarmate het gebruik van LLM's toeneemt.

Fouten kunnen gebruikers in verwarring brengen en in sommige gevallen zelfs tot juridische problemen voor bedrijven leiden. In 2023 bijvoorbeeld, een veteraan van de luchtmacht, Jeffery Battle (bekend als The Aerospace Professor) heeft een rechtszaak aangespannen tegen Microsoft toen hij ontdekte dat de door ChatGPT aangedreven Bing-zoekopdracht van Microsoft soms feitelijk onjuiste en schadelijke informatie oplevert over zijn naamzoekopdracht. De zoekmachine verwart hem met een veroordeelde misdadiger Jeffery Leon Battle.

Om hallucinaties aan te pakken, Retrieval-augmented generatie (RAG) is een veelbelovende oplossing gebleken. Het omvat kennis uit externe databases om de uitkomstnauwkeurigheid en geloofwaardigheid van de LLM's te verbeteren. Laten we eens nader bekijken hoe RAG LLM's nauwkeuriger en betrouwbaarder maakt. We zullen ook bespreken of RAG het LLM-hallucinatieprobleem effectief kan tegengaan.

LLM-hallucinaties begrijpen: oorzaken en voorbeelden

LLM's, inclusief gerenommeerde modellen zoals ChatGPT, ChatGLM en Claude, zijn getraind op uitgebreide tekstuele datasets, maar zijn niet immuun voor het produceren van feitelijk onjuiste resultaten, een fenomeen dat 'hallucinaties' wordt genoemd. Hallucinaties komen voor omdat LLM's zijn getraind om betekenisvolle reacties te creëren op basis van onderliggende taalregels, ongeacht hun feitelijke juistheid.

A Tidio-studie ontdekte dat hoewel 72% van de gebruikers gelooft dat LLM's betrouwbaar zijn, 75% minstens één keer onjuiste informatie van AI heeft ontvangen. Zelfs de meest veelbelovende LLM-modellen zoals GPT-3.5 en GPT-4 kunnen soms onnauwkeurige of onzinnige inhoud produceren.

Hier is een kort overzicht van veel voorkomende soorten LLM-hallucinaties:

Veel voorkomende typen AI-hallucinaties:

1. Bronconflatie: Dit gebeurt wanneer een model details uit verschillende bronnen samenvoegt, wat leidt tot tegenstrijdigheden of zelfs verzonnen bronnen.
2. Feitelijke fouten: LLM's kunnen inhoud genereren met een onnauwkeurige feitelijke basis, vooral gezien de inherente onnauwkeurigheden van internet
3. Onzinnige informatie: LLM's voorspellen het volgende woord op basis van waarschijnlijkheid. Het kan resulteren in grammaticaal correcte maar betekenisloze tekst, waardoor gebruikers worden misleid over de autoriteit van de inhoud.

Afgelopen jaarTwee advocaten werden geconfronteerd met mogelijke sancties voor het verwijzen naar zes niet-bestaande zaken in hun juridische documenten, misleid door door ChatGPT gegenereerde informatie. Dit voorbeeld benadrukt het belang van het kritisch benaderen van door LLM gegenereerde inhoud, en onderstreept de noodzaak van verificatie om de betrouwbaarheid te garanderen. Hoewel zijn creatieve capaciteit toepassingen als het vertellen van verhalen ten goede komt, brengt het uitdagingen met zich mee voor taken die een strikte naleving van de feiten vereisen, zoals het uitvoeren van academisch onderzoek, het schrijven van medische en financiële analyserapporten en het geven van juridisch advies.

Onderzoek naar de oplossing voor LLM-hallucinaties: hoe Retrieval Augmented Generation (RAG) werkt

In 2020, LLM-onderzoekers introduceerde een techniek genaamd Ophalen Augmented Generation (RAG) om LLM-hallucinaties te verminderen door een externe gegevensbron te integreren. In tegenstelling tot traditionele LLM's die uitsluitend afhankelijk zijn van hun vooraf opgeleide kennis, genereren op RAG gebaseerde LLM-modellen feitelijk nauwkeurige antwoorden door op dynamische wijze relevante informatie uit een externe database op te halen voordat ze vragen beantwoorden of tekst genereren.

RAG-procesverdeling:

Stappen van het RAG-proces: Bron

Stap 1: Ophalen

Het systeem zoekt in een specifieke kennisbank naar informatie gerelateerd aan de zoekopdracht van de gebruiker. Als iemand bijvoorbeeld vraagt ​​naar de laatste winnaar van het WK voetbal, wordt er gezocht naar de meest relevante voetbalinformatie.

Stap 2: Augmentatie

De oorspronkelijke zoekopdracht wordt vervolgens aangevuld met de gevonden informatie. Aan de hand van het voetbalvoorbeeld wordt de vraag 'Wie heeft het wereldkampioenschap voetbal gewonnen?' is bijgewerkt met specifieke details zoals “Argentinië heeft het wereldkampioenschap voetbal gewonnen.”

Stap 3: Generatie

Met de verrijkte vraag genereert de LLM een gedetailleerd en nauwkeurig antwoord. In ons geval zou het een reactie opleveren op basis van de uitgebreide informatie over Argentinië dat het WK wint.

Deze methode helpt onnauwkeurigheden te verminderen en zorgt ervoor dat de antwoorden van de LLM betrouwbaarder zijn en gebaseerd zijn op nauwkeurige gegevens.

Voors en tegens van RAG bij het verminderen van hallucinaties

RAG heeft veelbelovende resultaten getoond in het verminderen van hallucinaties door het generatieproces te fixeren. Dankzij dit mechanisme kunnen RAG-modellen nauwkeurigere, actuelere en contextueel relevante informatie bieden.

Zeker, het bespreken van Retrieval Augmented Generation (RAG) in een meer algemene zin zorgt voor een breder begrip van de voordelen en beperkingen ervan bij verschillende implementaties.

Voordelen van RAG:

• Beter zoeken naar informatie: RAG vindt snel nauwkeurige informatie uit big data-bronnen.
• Verbeterde inhoud: Het creëert duidelijke, goed afgestemde inhoud voor wat gebruikers nodig hebben.
• Flexibel gebruik: Gebruikers kunnen RAG aanpassen aan hun specifieke vereisten, zoals het gebruik van hun eigen gegevensbronnen, waardoor de effectiviteit wordt vergroot.

Uitdagingen van RAG:

• Heeft specifieke gegevens nodig: Het kan moeilijk zijn om de context van de zoekopdracht nauwkeurig te begrijpen om relevante en nauwkeurige informatie te verschaffen.
• schaalbaarheid: Het uitbreiden van het model om grote datasets en queries te verwerken met behoud van de prestaties is moeilijk.
• Continue update: Het automatisch bijwerken van de kennisdataset met de nieuwste informatie vergt veel middelen.

Onderzoek naar alternatieven voor RAG

Naast RAG zijn er nog enkele andere veelbelovende methoden waarmee LLM-onderzoekers hallucinaties kunnen verminderen:

• G-EVAL: Verifieert de nauwkeurigheid van de gegenereerde inhoud met een vertrouwde dataset, waardoor de betrouwbaarheid wordt vergroot.
• ZelfCheckGPT: Controleert en repareert automatisch de eigen fouten om de uitvoer accuraat en consistent te houden.
• Snelle techniek: Helpt gebruikers nauwkeurige invoerprompts te ontwerpen om modellen naar nauwkeurige, relevante antwoorden te leiden.
• Scherpstellen: Past het model aan taakspecifieke datasets aan voor verbeterde domeinspecifieke prestaties.
• LoRA (Aanpassing op lage rang): Deze methode wijzigt een klein deel van de parameters van het model voor taakspecifieke aanpassing, waardoor de efficiëntie wordt vergroot.

De verkenning van RAG en zijn alternatieven benadrukt de dynamische en veelzijdige aanpak om de nauwkeurigheid en betrouwbaarheid van LLM te verbeteren. Naarmate we vooruitgang boeken, is voortdurende innovatie in technologieën zoals RAG essentieel voor het aanpakken van de inherente uitdagingen van LLM-hallucinaties.

Bezoek om op de hoogte te blijven van de nieuwste ontwikkelingen op het gebied van AI en machine learning, inclusief diepgaande analyses en nieuws unite.ai.