Vad är LLM-hallucinationer? Orsaker, etiska bekymmer och förebyggande

Stora språkmodeller (LLM) är artificiella intelligenssystem som kan analysera och generera mänskligt språk. Men de har ett problem – LLM hallucinerar, dvs. hittar på saker. LLM-hallucinationer har fått forskare att oroa sig för utvecklingen inom detta område, eftersom om forskare inte kan kontrollera resultaten från modellerna, kan de inte bygga kritiska system som kan tjäna mänskligheten. Mer om detta senare.

Generellt använder LLM stora mängder träningsdata och komplexa läralgoritmer för att generera realistiska utdata. I vissa fall används in-context-lärande för att träna dessa modeller med hjälp av bara några exempel. LLM blir allt mer populära inom olika tillämpningsområden, från maskinöversättning, sentimentanalys, virtuell AI-assistans, bildannotering, naturlig språkbehandling och så vidare.

Trots den banbrytande naturen hos LLM är de fortfarande benägna att ha fördomar, fel och hallucinationer. Yann LeCun, nuvarande chefs AI-forskare på Meta, nämnde nyligen den centrala bristen i LLM som orsakar hallucinationer: “Stora språkmodeller har ingen aning om den underliggande verklighet som språket beskriver. Dessa system genererar text som låter bra, grammatiskt och semantiskt, men de har ingen objektiv annan än att bara tillfredsställa statistisk konsistens med prompten”.

Hallucinationer i LLM

Bild av Gerd Altmann från Pixabay

Hallucinationer refererar till modellens generering av utdata som är syntaktiskt och semantiskt korrekta men är kopplade från verkligheten och baserade på falska antaganden. Hallucination är en av de stora etiska bekymren för LLM, och det kan ha skadliga konsekvenser om användare utan tillräcklig domänkunskap börjar lita för mycket på dessa alltmer övertygande språkmodeller.

En viss grad av hallucination är oundviklig i alla autoregressiva LLM. Till exempel kan en modell tillskriva ett förfalskat citat till en kändis som aldrig sagts. De kan hävda något om ett visst ämne som är faktamässigt inkorrekt eller citera icke-existerande källor i forskningsartiklar, vilket sprider felaktig information.

Men att få AI-modeller att hallucinera behöver inte alltid ha negativa effekter. Till exempel visar en ny studie att forskare upptäcker ‘nya proteiner med en obegränsad mängd egenskaper’ genom hallucinerande LLM.

Vad orsakar LLM-hallucinationer?

LLM kan hallucinera på grund av olika faktorer, från överanpassningsfel i kodning och avkodning till träningsbias.

Överanpassning

Bild av janjf93 från Pixabay

Överanpassning är ett problem där en AI-modell passar träningsdata för bra, men kan inte fullt ut representera hela omfattningen av indata den kan möta, dvs. den misslyckas med att generalisera sin prediktiva kraft till nya, osedda data. Överanpassning kan leda till att modellen producerar hallucinerat innehåll.

Kodnings- och avkodningsfel

Bild av geralt från Pixabay

Om det finns fel i kodningen och avkodningen av text och dess efterföljande representationer, kan detta också orsaka att modellen genererar meningslösa och felaktiga utdata.

Träningsbias

Bild av Quince Creative från Pixabay

En annan faktor är närvaron av vissa fördomar i träningsdata, som kan orsaka att modellen ger resultat som representerar dessa fördomar snarare än den faktiska naturen av data. Detta liknar bristen på mångfald i träningsdata, som begränsar modellens förmåga att generalisera till nya data.

Den komplexa strukturen hos LLM gör det ganska svårt för AI-forskare och praktiker att identifiera, tolka och korrigera de underliggande orsakerna till hallucinationer.

Etiska bekymmer för LLM-hallucinationer

LLM kan förmedla och förstärka skadliga fördomar genom hallucinationer och kan, i sin tur, ha negativa konsekvenser för användarna och ha skadliga sociala konsekvenser. Några av de viktigaste etiska bekymren är listade nedan:

Diskriminerande och giftigt innehåll

Bild av ar130405 från Pixabay

Eftersom LLM-träningsdata ofta är full av sociokulturella stereotyper på grund av de inbyggda fördomarna och bristen på mångfald, kan LLM producera och förstärka dessa skadliga idéer mot missgynnade grupper i samhället.

De kan generera detta diskriminerande och hatiska innehåll baserat på ras, kön, religion, etnicitet och så vidare.

Integritetsproblem

Bild av JanBaby från Pixabay

LLM tränas på en stor träningskorpus som ofta innehåller personlig information om individer. Det har funnits fall där sådana modeller har kränkt människors integritet. De kan läcka specifik information som socialförsäkringsnummer, hemadresser, mobiltelefonnummer och medicinska uppgifter.

Felaktig information och desinformation

Bild av geralt från Pixabay

Språkmodeller kan producera mänskligt innehåll som verkar korrekt men i själva verket är falskt och inte stöds av empiriska bevis. Detta kan vara oavsiktligt, vilket leder till felaktig information, eller det kan ha en illvillig avsikt att sprida desinformation. Om detta lämnas okontrollerat kan det skapa negativa sociala, kulturella, ekonomiska och politiska trender.

Förebyggande av LLM-hallucinationer

Bild av athree23 från Pixabay

Forskare och praktiker tar olika tillvägagångssätt för att hantera problemet med hallucinationer i LLM. Detta inkluderar att förbättra mångfalden i träningsdata, eliminera inbyggda fördomar, använda bättre regleringstekniker och anställa motståndskraftig träning och förstärkt lärande, bland annat:

• Utveckling av bättre regleringstekniker är kärnan i att hantera hallucinationer. De hjälper till att förhindra överanpassning och andra problem som orsakar hallucinationer.
• Dataförstärkning kan minska frekvensen av hallucinationer, som visas i en forskningsstudie. Dataförstärkning innebär att förstärka träningsuppsättningen genom att lägga till en slumpmässig token var som helst i meningen. Det dubblar storleken på träningsuppsättningen och orsakar en minskning av frekvensen av hallucinationer.
• OpenAI och Google’s DeepMind utvecklade en teknik som kallas förstärkt lärande med mänsklig återkoppling (RLHF) för att hantera ChatGPT:s hallucinationsproblem. Det innebär att en mänsklig utvärderare regelbundet granskar modellens svar och väljer ut det mest lämpliga för användarprompten. Denna återkoppling används sedan för att justera modellens beteende. Ilya Sutskever, OpenAI:s chefsforskare, nämnde nyligen att denna metod kan potentiellt lösa hallucinationer i ChatGPT: “Jag är ganska hoppfull om att genom att förbättra detta efterföljande förstärkta lärande från mänsklig återkoppling, kan vi lära det att inte hallucinera”.
• Att identifiera hallucinerat innehåll för att använda som exempel för framtida träning är också en metod som används för att hantera hallucinationer. En ny teknik i detta avseende upptäcker hallucinationer på tokennivå och förutsäger om varje token i utdata är hallucinerad. Den innehåller också en metod för ostrukturerad inlärning av hallucinationsdetektorer.

Upptäckt av hallucinationer på tokennivå

För att sammanfatta, LLM-hallucinationer är ett växande bekymmer. Och trots ansträngningarna, återstår fortfarande mycket arbete för att hantera problemet. Den komplexa strukturen hos dessa modeller gör det generellt svårt att identifiera och korrigera de underliggande orsakerna till hallucinationer på rätt sätt.

Men med fortsatt forskning och utveckling, är det möjligt att mildra hallucinationer i LLM och minska deras etiska konsekvenser.

Om du vill lära dig mer om LLM och de förebyggande teknikerna som utvecklas för att åtgärda LLM-hallucinationer, besök unite.ai för att utöka din kunskap.