Co jsou LLM Halucinace? Příčiny, Etické Obavy, & Prevence

Velké jazykové modely (LLM) jsou systémy umělé inteligence schopné analyzovat a generovat text podobný lidskému. Ale mají problém – LLM halucinují, tj. vymýšlejí si věci. Halucinace LLM způsobily, že se výzkumníci obávají pokroku v tomto oboru, protože pokud výzkumníci nemohou ovládat výsledek modelů, nemohou postavit kritické systémy, které budou sloužit lidstvu. Více o tomto později.

Obecně LLM používají obrovské množství trénovacích dat a komplexních algoritmů učení k generování realistických výstupů. V některých případech se používá učení v kontextu k trénování těchto modelů pomocí pouze několika příkladů. LLM se stávají stále populárnějšími v různých oblastech aplikací, od strojového překladu, analýzy sentimentu, virtuální AI asistence, anotace obrazů, zpracování přirozeného jazyka atd.

Navzdory pokročilé povaze LLM jsou stále náchylné k předpojatostem, chybám a halucinacím. Yann LeCun, současný šéf vědec AI ve společnosti Meta, nedávno zmínil centrální chybu v LLM, která způsobuje halucinace: “Velké jazykové modely nemají žádné povědomí o základních realitách, které jazyk popisuje. Tyto systémy generují text, který zní dobře, gramaticky a sémanticky, ale nemají žádný skutečný cíl, kromě splnění statistické konzistence s podnětem”.

Halucinace v LLM

Obrázky od Gerd Altmann z Pixabay

Halucinace se týkají generování výstupů, které jsou syntakticky a sémanticky správné, ale nejsou spojeny s realitou a jsou založeny na falešných předpokladech. Halucinace jsou jednou z hlavních etických obav LLM, a mohou mít škodlivé důsledky, protože uživatelé bez dostatečných znalostí začínají příliš spoléhat na tyto stále přesvědčivější jazykové modely.

Určité množství halucinace je nevyhnutelné u všech autoregresivních LLM. Například model může připsat falešnou citaci slavné osobnosti, která nebyla nikdy vyslovena. Mohou tvrdit něco o bestimmém tématu, co je fakticky nesprávné, nebo citovat neexistující zdroje ve výzkumných článcích, a tak šířit nesprávné informace.

Nicméně, aby se AI modely halucinovaly, nemusí mít vždy negativní účinky. Například nová studie naznačuje, že vědci objevují ‘nové proteiny s neomezeným množstvím vlastností’ prostřednictvím halucinujících LLM.

Co způsobuje halucinace LLM?

LLM mohou halucinovat kvůli různým faktorům, od chyb přetížení při kódování a dekódování až po trénovací předpojatost.

Přetížení

Obrázky od janjf93 z Pixabay

Přetížení je problém, kdy se model AI příliš dobře přizpůsobí trénovacím datům, ale nemůže plně reprezentovat celý rozsah vstupů, se kterými se může setkat, tj. selhává při generalizaci své predikční síly na nová, neviditelná data. Přetížení může vést k tomu, že model produkuje halucinovaný obsah.

Chyby kódování a dekódování

Obrázky od geralt z Pixabay

Pokud existují chyby v kódování a dekódování textu a jeho následných reprezentací, může to také způsobit, že model generuje nesmyslné a chybné výstupy.

Trénovací předpojatost

Obrázky od Quince Creative z Pixabay

Dalším faktorem je přítomnost určitých předpojatostí v trénovacích datech, které mohou způsobit, že model poskytne výsledky, které reprezentují tyto předpojatosti, spíše než skutečnou povahu dat. To je podobné jako nedostatek rozmanitosti v trénovacích datech, který omezuje schopnost modelu generalizovat na nová data.

Složitá struktura LLM činí obtížným pro AI výzkumníky a praktiky identifikovat, interpretovat a opravovat tyto základní příčiny halucinací.

Etické obavy z halucinací LLM

LLM mohou šířit a zesilovat škodlivé předpojatosti prostřednictvím halucinací a mohou mít negativní dopad na uživatele a mít škodlivé sociální důsledky. Některé z těchto nejvýznamnějších etických obav jsou uvedeny níže:

Discriminační a toxický obsah

Obrázky od ar130405 z Pixabay

Protože trénovací data LLM často obsahují sociokulturní stereotypy kvůli inherentním předpojatostem a nedostatečné rozmanitosti, LLM mohou produkovat a posilovat tyto škodlivé myšlenky proti znevýhodněným skupinám ve společnosti.

Mohou generovat tento diskriminační a nenávistný obsah založený na rase, pohlaví, náboženství, etnické příslušnosti atd.

Problémy s ochranou soukromí

Obrázky od JanBaby z Pixabay

LLM jsou trénovány na obrovském trénovacím korpusu, který často zahrnuje osobní informace jednotlivců. Existovaly případy, kdy takové modely porušily soukromí lidí. Mohou vyzradit konkrétní informace, jako jsou čísla sociálního zabezpečení, domácí adresy, čísla mobilních telefonů a lékařské podrobnosti.

Desinformace a dezinformace

Obrázky od geralt z Pixabay

Jazykové modely mohou produkovat obsah, který vypadá jako lidský a je přesvědčivý, ale ve skutečnosti je falešný a není podporován empirickými důkazy. To může být náhodné, vedoucí k desinformaci, nebo může mít úmyslnou záměr šířit dezinformaci. Pokud nebude tento problém řešen, může vytvořit negativní společenské, kulturní, ekonomické a politické trendy.

Předcházení halucinacím LLM

Obrázky od athree23 z Pixabay

Výzkumníci a praktici používají různé přístupy k řešení problému halucinací v LLM. Tyto zahrnují zlepšování rozmanitosti trénovacích dat, odstranění inherentních předpojatostí, použití lepších technik regularizace a využití adversního trénování a učení s posilováním, mezi jinými:

• Vývoj lepších technik regularizace je jádrem řešení halucinací. Pomáhají předcházet přetížení a jiným problémům, které způsobují halucinace.
• Augmentace dat může snížit frekvenci halucinací, jak je zdokumentováno v výzkumné studii. Augmentace dat zahrnuje rozšíření trénovací sady přidáním náhodného tokenu kdekoliv ve větě. To zdvojnásobí velikost trénovací sady a způsobí pokles frekvence halucinací.
• OpenAI a Google’s DeepMind vyvinuli techniku nazvanou učení s posilováním s lidskou zpětnou vazbou (RLHF) k řešení problému halucinací ChatGPT. Zahrnuje lidského hodnotitele, který pravidelně přezkoumává odpovědi modelu a vybírá nejvhodnější pro uživatelské podněty. Tato zpětná vazba se pak používá k úpravě chování modelu. Ilya Sutskever, šéf vědec OpenAI, nedávno uvedl, že tento přístup může potenciálně vyřešit halucinace v ChatGPT: “Jsem khá optimistický, že zlepšením tohoto následného učení s posilováním s lidskou zpětnou vazbou můžeme naučit model, aby nehalucinoval”.
• Identifikace halucinovaného obsahu pro použití jako příklad pro budoucí trénování je také metoda používaná k řešení halucinací. Nová technika v tomto ohledu detekuje halucinace na úrovni tokenů a předpovídá, zda každý token ve výstupu je halucinován. Zahrnuje také metodu pro nesupervizované učení detektorů halucinací.

Detekce halucinací na úrovni tokenů

Jednoduše řečeno, halucinace LLM jsou rostoucí obavou. A尽管 se provádějí úsilí, stále je třeba udělat mnoho práce, aby se tento problém vyřešil. Složitost těchto modelů činí obtížným identifikovat a opravovat základní příčiny halucinací správně.

Nicméně, s pokračujícím výzkumem a rozvojem, je možné zmírnit halucinace v LLM a snížit jejich etické důsledky.

Pokud chcete se dozvědět více o LLM a preventivních technikách, které se vyvíjejí k nápravě halucinací LLM, navštivte unite.ai, abyste rozšířili své znalosti.