Er RAGs løsningen på AI-hallucinationer?

AI er ved sin natur “sin egen herre”. En ulempe ved dette er, at generative AI-modeller af og til fabrikerer information i et fænomen kaldet “AI-hallucinationer”, et af de tidligste eksempler på dette var, da en dommer i New York gav en reprimande til advokater for at bruge en ChatGPT-skrevet retssag, der henvisede til ikke-eksisterende retssager. Mere nyligt har der været tilfælde af, at AI-genererede søgemaskiner har fortalt brugere at spise sten for sundhedsfordele eller at bruge ikke-toxisk lim til at hjælpe ost med at klæbe til pizza.

Som GenAI bliver mere og mere almindeligt, er det vigtigt for brugerne at erkende, at hallucinationer er, som det ser ud lige nu, en uundgåelig del af GenAI-løsninger. Bygget på store sprogmodeller (LLM’er), er disse løsninger ofte informeret af enorme mængder af forskellige kilder, der sandsynligvis indeholder mindst nogen ukorrekte eller forældede oplysninger – disse fabrikerede svar udgør mellem 3% og 10% af AI-chatbot-svar på brugerforespørgsler. I lyset af AI’s “sorte boks“-natur – hvor vi som mennesker har ekstraordinær svigt i at undersøge, hvordan AI genererer sine resultater – kan disse hallucinationer være næsten umulige for udviklere at spore og forstå.

Uundgåelige eller ej, AI-hallucinationer er frustrerende på bedste, farlige og uetiske på værste.

På tværs af multiple sektorer, herunder sundhedssektoren, finanssektoren og offentlig sikkerhed, omfatter konsekvenserne af hallucinationer alt fra at sprede misinformationskampagner og kompromittere følsomme data til endda livstruende fejl. Hvis hallucinationer fortsætter med at være uden kontrol, vil både brugernes trivsel og det samlede tillid til AI-systemer blive kompromitteret.

Som sådan er det af største vigtighed, at de ansvarlige for denne kraftfulde teknologi erkender og håndterer risikoen for AI-hallucinationer for at sikre troværdigheden af LLM-genererede udgangspunkter.

RAGs som udgangspunkt for at løse hallucinationer

En metode, der er kommet til syne i at mindske hallucinationer, er retrieval-augmented generation, eller RAG. Denne løsning forbedrer LLM’s pålidelighed gennem integrationen af eksterne informationslager – ved at trække relevant information fra en pålidelig database valgt efter forespørgselsnatur – for at sikre mere pålidelige svar på bestemte forespørgsler.

Nogle industrie eksperter har foreslået, at RAG alene kan løse hallucinationer. Men RAG-integrerede databaser kan stadig indeholde forældede data, der kunne generere falske eller misvisende oplysninger. I visse tilfælde kan integrationen af eksterne data gennem RAG’s måske endda øge sandsynligheden for hallucinationer i store sprogmodeller: Hvis en AI-model afhænger uretfærdigt af en forældet database, som den opfatter som fuldstændig opdateret, kan omfanget af hallucinationer blive endnu mere alvorligt.

AI-sikkerhedsforanstaltninger – Broen over RAG’s huller

Som du kan se, har RAG’s stor potentiale til at mindske AI-hallucinationer. Men brancher og virksomheder, der søger disse løsninger, må også forstå deres indbyggede begrænsninger. Faktisk kan der, når de bruges i tandem med RAG’s, findes komplementære metoder, der bør bruges, når man håndterer LLM-hallucinationer.

For eksempel kan virksomheder bruge real-time AI sikkerhedsforanstaltninger til at sikre LLM-svar og mindske AI-hallucinationer. Sikkerhedsforanstaltninger fungerer som en sikkerhedsnet, der vurderer alle LLM-udgangspunkter for fabrikerede, uforskammede eller afvigende indhold, før det når brugerne. Denne proaktive middleware-tilgang sikrer pålideligheden og relevansen af RAG-systemers hentning, og øger tilliden blandt brugerne, og sikrer sikre interaktioner, der er i overensstemmelse med virksomhedens brand.

Alternativt findes der “prompt-ingeniør”-tilgangen, som kræver, at ingeniøren ændrer backend-masterven. Ved at tilføje forudbestemte begrænsninger til accepterede prompts – med andre ord, overvåge ikke kun, hvor LLM henter information, men også, hvordan brugere beder om svar – kan ingeniør-prompter guide LLM’er mod mere pålidelige resultater. Den største ulempe ved denne tilgang er, at denne type prompt-ingeniørarbejde kan være en ekstremt tidskrævende opgave for programmører, der ofte allerede er under tids- og resourcemæssigt pres.

“Finjustering”-tilgangen indebærer, at man træner LLM’er på specialiserede datasæt for at forbedre præstationen og mindske risikoen for hallucinationer. Denne metode træner opgave-specialiserede LLM’er til at trække fra specifikke, pålidelige domæner, og forbedrer nøjagtigheden og pålideligheden i udgangspunkterne.

Det er også vigtigt at overveje indflydelsen af inputlængde på LLM’ers resonanspræstation – faktisk tenderer mange brugere til at tro, at jo mere omfattende og parameterfyldt deres prompt er, jo mere præcise udgangspunkterne vil være. Men en nyere studie afslørede, at nøjagtigheden af LLM-udgangspunkter faktisk formindskes, når inputlængden øges. Følgelig garanterer en øget mængde retningslinjer, der tildeles en given prompt, ikke konsekvent pålidelighed i generering af pålidelige generative AI-applikationer.

Dette fænomen, kendt som prompt-overbelastning, fremhæver de indbyggede risici ved overkomplekse prompt-designs – jo mere omfattende en prompt er formuleret, jo flere døre åbnes til ukorrekte oplysninger og hallucinationer, mens LLM kæmper for at opfylde hver parameter.

Prompt-ingeniørarbejde kræver konstant opdatering og finjustering og kæmper stadig for at forhindre hallucinationer eller meningsløse svar effektivt. Sikkerhedsforanstaltninger vil ikke skabe yderligere risiko for fabrikerede udgangspunkter, og er derfor en attraktiv mulighed for at beskytte AI. I modsætning til prompt-ingeniørarbejde tilbyder sikkerhedsforanstaltninger en omfattende løsning i real-time, der sikrer, at generativ AI kun genererer udgangspunkter inden for foruddefinerede grænser.

Brugerfeedback kan også hjælpe med at mindske hallucinationer ved handlinger som op- og nedstemninger, der hjælper med at finjustere modeller, forbedre udgangspunkternes nøjagtighed og mindske risikoen for hallucinationer.

På sig selv kræver RAG-løsninger omfattende eksperimenter for at opnå præcise resultater. Men når de kombineres med finjustering, prompt-ingeniørarbejde og sikkerhedsforanstaltninger, kan de tilbyde mere målrettede og effektive løsninger til at håndtere hallucinationer. At udforske disse komplementære strategier vil fortsætte med at forbedre hallucinations-mindskning i LLM’er og bidrage til udviklingen af mere pålidelige og troværdige modeller på tværs af multiple applikationer.

RAGs er ikke løsningen på AI-hallucinationer

RAG-løsninger tilfører enorm værdi til LLM’er ved at berige dem med ekstern viden. Men med så meget endnu ukendt om generativ AI, forbliver hallucinationer en indbygget udfordring. Nøglen til at bekæmpe dem ligger ikke i at forsøge at eliminere dem, men snarere i at lette deres indflydelse med en kombination af strategiske sikkerhedsforanstaltninger, vurderingsprocesser og finjusterede prompts.

Jo mere vi kan stole på, hvad GenAI fortæller os, jo mere effektivt og effektivt vil vi være i stand til at udnytte dets kraftfulde potentiale.