Zijn RAGs de Oplossing voor AI Hallucinaties?

AI heeft, door zijn ontwerp, een “eigen geest”. Een nadeel hiervan is dat generatieve AI-modellen soms informatie verzinnen in een fenomeen dat “AI-hallucinaties” wordt genoemd, waarvan een van de vroegste voorbeelden onder de aandacht kwam toen een rechter in New York juristen berispte voor het gebruik van een door ChatGPT geschreven juridische brief die verwijzingen naar niet-bestaande rechtszaken bevatte. Onlangs zijn er incidenten geweest waarbij AI-gegenereerde zoekmachines gebruikers vertelden om stenen te consumeren voor gezondheidsvoordelen, of om niet-toxische lijm te gebruiken om kaas aan pizza te helpen hechten.

Naarmate GenAI steeds meer wordt gebruikt, is het belangrijk dat adoptanten erkennen dat hallucinaties, voorlopig, een onvermijdelijk aspect zijn van GenAI-oplossingen. Gebaseerd op grote taalmodellen (LLM’s), zijn deze oplossingen vaak geïnformeerd door enorme hoeveelheden uiteenlopende bronnen die waarschijnlijk ten minste enige onjuiste of verouderde informatie bevatten – deze gefabriceerde antwoorden maken tussen 3% en 10% uit van AI-chatbot-antwoorden op gebruikersprompts. In het licht van AI’s “black box“-natuur – waarin wij, als mensen, buitengewone moeite hebben om precies te onderzoeken hoe AI zijn resultaten genereert, – kunnen deze hallucinaties bijna onmogelijk zijn voor ontwikkelaars om te traceren en te begrijpen.

Onvermijdelijk of niet, AI-hallucinaties zijn op zijn minst frustrerend, gevaarlijk en moreel verwerpelijk.

Over meerdere sectoren, waaronder de gezondheidszorg, financiën en openbare veiligheid, omvatten de gevolgen van hallucinaties alles, van het verspreiden van misinformatie en het compromitteren van gevoelige gegevens tot zelfs levensbedreigende mislukkingen. Als hallucinaties ongecontroleerd blijven, zal zowel het welzijn van gebruikers als het vertrouwen van de samenleving in AI-systemen worden aangetast.

Daarom is het van cruciaal belang dat de bewakers van deze krachtige technologie de risico’s van AI-hallucinaties erkennen en aanpakken om de geloofwaardigheid van LLM-uitvoer te waarborgen.

RAGs als Startpunt voor het Oplossen van Hallucinaties

Een methode die naar voren is gekomen om hallucinaties te mitigeren, is retrieval-augmented generation, of RAG. Deze oplossing verhoogt de betrouwbaarheid van LLM’s door de integratie van externe informatiebronnen – het extraheren van relevante informatie uit een vertrouwde database die is geselecteerd op basis van de aard van de vraag – om meer betrouwbare antwoorden op specifieke vragen te garanderen.

Sommige industrie experts hebben gesuggereerd dat RAG alleen hallucinaties kan oplossen. Maar RAG-geïntegreerde databases kunnen nog steeds verouderde gegevens bevatten, die valse of misleidende informatie kunnen genereren. In bepaalde gevallen kan de integratie van externe gegevens via RAG’s zelfs de kans op hallucinaties in grote taalmodellen vergroten: Als een AI-model onevenredig afhankelijk is van een verouderde database die het ziet als volledig up-to-date, kan de omvang van de hallucinaties nog ernstiger worden.

AI Guardrails – Bruggen naar RAG’s Gaps

Zoals u kunt zien, bieden RAG’s veelbelovende mogelijkheden om AI-hallucinaties te mitigeren. Echter, bedrijven en industrieën die deze oplossingen gebruiken, moeten ook de inherente beperkingen ervan begrijpen. Inderdaad, wanneer RAG’s worden gebruikt in combinatie met andere methoden, zijn er aanvullende strategieën die moeten worden gebruikt om LLM-hallucinaties aan te pakken.

Als voorbeeld kunnen bedrijven real-time AI guardrails gebruiken om LLM-uitvoer te beveiligen en AI-hallucinaties te mitigeren. Guardrails fungeren als een net dat alle LLM-uitvoer controleert op gefabriceerde, onfatsoenlijke of off-topic inhoud voordat het de gebruikers bereikt. Deze proactieve middleware-aanpak waarborgt de betrouwbaarheid en relevantie van retrieval in RAG-systemen, waardoor het vertrouwen onder gebruikers toeneemt en veilige interacties worden gegarandeerd die overeenkomen met de bedrijfsidentiteit.

Als alternatief is er de “prompt engineering”-aanpak, die vereist dat de ingenieur de backend-masterprompt wijzigt. Door vooraf bepaalde beperkingen toe te voegen aan acceptabele prompts – met andere woorden, door niet alleen te controleren waar de LLM zijn informatie vandaan haalt, maar ook hoe gebruikers ernaar vragen – kan de ingenieur de LLM naar meer betrouwbare resultaten leiden. Het belangrijkste nadeel van deze aanpak is dat deze vorm van prompt engineering een uiterst tijdrovende taak kan zijn voor programmeurs, die vaak al onder tijdsdruk en met beperkte middelen werken.

De “fine-tuning”-aanpak houdt in dat LLM’s worden getraind op gespecialiseerde datasets om prestaties te verfijnen en het risico van hallucinaties te mitigeren. Deze methode traint taakgespecialiseerde LLM’s om uit specifieke, vertrouwde domeinen te putten, waardoor de nauwkeurigheid en betrouwbaarheid van de uitvoer verbeteren.

Het is ook belangrijk om de invloed van invoerlengte op de redeneerprestaties van LLM’s te overwegen – inderdaad, veel gebruikers denken dat hoe uitgebreider en parameterrijker hun prompt is, hoe nauwkeuriger de uitvoer zal zijn. Echter, een recente studie onthulde dat de nauwkeurigheid van LLM-uitvoer daalt naarmate de invoerlengte toeneemt. Gevolglijk garandeert het toevoegen van meer richtlijnen aan een prompt niet consistent de betrouwbaarheid van generatieve AI-toepassingen.

Dit fenomeen, bekend als prompt overloading, benadrukt de inherente risico’s van te complexe promptontwerpen – hoe breder een prompt is geformuleerd, hoe meer deuren openstaan voor onjuiste informatie en hallucinaties, terwijl de LLM worstelt om elke parameter te vervullen.

Prompt engineering vereist constante updates en fine-tuning en worstelt nog steeds om hallucinaties of nonsensische antwoorden effectief te voorkomen. Guardrails, aan de andere kant, zullen geen additioneel risico van gefabriceerde uitvoer creëren, waardoor ze een aantrekkelijke optie zijn voor het beschermen van AI. In tegenstelling tot prompt engineering bieden guardrails een alomvattende real-time oplossing die garandeert dat generatieve AI alleen uitvoer zal produceren binnen vooraf gedefinieerde grenzen.

Terwijl het op zichzelf geen oplossing is, kan gebruikersfeedback ook helpen om hallucinaties te mitigeren door acties zoals upvotes en downvotes, die helpen om modellen te verfijnen, uitvoernauwkeurigheid te verbeteren en het risico van hallucinaties te verlagen.

Op zichzelf vereisen RAG-oplossingen uitgebreid experimenteerwerk om nauwkeurige resultaten te behalen. Maar wanneer ze worden gecombineerd met fine-tuning, prompt engineering en guardrails, kunnen ze meer gerichte en efficiënte oplossingen bieden voor het aanpakken van hallucinaties. Het verkennen van deze aanvullende strategieën zal de mitigatie van hallucinaties in LLM’s blijven verbeteren, waardoor meer betrouwbare en vertrouwde modellen worden ontwikkeld voor diverse toepassingen.

RAGs zijn Geen Oplossing voor AI Hallucinaties

RAG-oplossingen voegen enorme waarde toe aan LLM’s door ze te verrijken met externe kennis. Maar met zo veel nog onbekend over generatieve AI, blijven hallucinaties een inherente uitdaging. De sleutel tot het bestrijden ervan ligt niet in het proberen ze te elimineren, maar eerder in het verlichten van hun invloed met een combinatie van strategische guardrails, verificatieprocessen en gefine-tune prompts.

Naarmate we GenAI meer kunnen vertrouwen, zullen we zijn krachtige potentieel effectiever en efficiënter kunnen benutten.