Co jsou LLM Halucinace? Příčiny, Etické Obavy & Prevence

Velké jazykové modely (LLM) jsou systémy umělé inteligence schopné analyzovat a generovat text podobný lidskému. Ale mají problém – LLM halucinují, tj. vymýšlejí si věci. Halucinace LLM způsobily, že se výzkumníci obávají pokroku v tomto oboru, protože pokud výzkumníci nemohou ovládat výsledek modelů, nemohou postavit kritické systémy, které budou sloužit lidstvu. Více o tom později.

Obecně LLM používají obrovské množství trénovacích dat a komplexních algoritmů učení k generování realistických výstupů. V některých případech se používá učení v kontextu k trénování těchto modelů pomocí pouze několika příkladů. LLM se stávají stále populárnějšími v různých oblastech aplikací, od strojového překladu, analýzy sentimentu, virtuální AI asistence, anotace obrazů, zpracování přirozeného jazyka atd.

Navzdory pokrokovému charakteru LLM jsou stále náchylné k předpojatostem, chybám a halucinacím. Yann LeCun, současný hlavní vědec AI ve společnosti Meta, nedávno zmínil centrální chybu v LLM, která způsobuje halucinace: “Velké jazykové modely nemají žádné povědomí o základních realitách, které jazyk popisuje. Tyto systémy generují text, který zní dobře, gramaticky a sémanticky, ale nemají žádný skutečný cíl, kromě toho, aby uspokojily statistickou konzistenci s podnětem”.

Halucinace v LLM

Obrázky od Gerd Altmann z Pixabay

Halucinace se týkají generování výstupů, které jsou syntakticky a sémanticky správné, ale nejsou spojeny s realitou a jsou založeny na falešných předpokladech. Halucinace jsou jednou z hlavních etických obav LLM a mohou mít škodlivé důsledky, protože uživatelé bez dostatečných znalostí v dané oblasti začínají příliš spoléhat na tyto stále přesvědčivější jazykové modely.

Určitá míra halucinace je nevyhnutelná u všech autoregresivních LLM. Například model může připsat falešnou citaci slavné osobnosti, která nebyla nikdy vyslovena. Mohou tvrdit něco o bestimmém tématu, co je fakticky nesprávné, nebo citovat neexistující zdroje ve výzkumných pracích, a tím šířit dezinformace.

Nicméně dostat AI modely k halucinaci nemusí vždy mít nepříznivé účinky. Například nová studie naznačuje, že vědci objevují “nové proteiny s neomezeným množstvím vlastností” prostřednictvím halucinujících LLM.

Co způsobuje halucinace LLM?

LLM mohou halucinovat kvůli různým faktorům, od chyb přetrenování a dekódování až po trénovací předpojatost.

Přetrenování

Obrázky od janjf93 z Pixabay

Přetrenování je problém, kdy model AI příliš dobře sedí na trénovací data, ale nemůže plně reprezentovat celý rozsah vstupů, se kterými se může setkat, tj. selhává při generalizaci své predikční síly na nová, neviditelná data. Přetrenování může vést k tomu, že model produkuje halucinovaný obsah.

Chyby kódování a dekódování

Obrázky od geralt z Pixabay

Pokud existují chyby v kódování a dekódování textu a jeho následných reprezentací, může to také způsobit, že model generuje nesmyslné a chybné výstupy.

Trénovací předpojatost

Obrázky od Quince Creative z Pixabay

Dalším faktorem je přítomnost určitých předpojatostí ve trénovacích datech, které mohou způsobit, že model poskytne výsledky, které reprezentují tyto předpojatosti, spíše než skutečnou povahu dat. To je podobné jako nedostatek rozmanitosti ve trénovacích datech, který omezuje schopnost modelu generalizovat na nová data.

Složitá struktura LLM činí obtížným pro AI výzkumníky a praktiky identifikovat, interpretovat a korigovat tyto základní příčiny halucinací.

Etické obavy z halucinací LLM

LLM mohou šířit a zesilovat škodlivé předpojatosti prostřednictvím halucinací a mohou mít negativní dopad na uživatele a mít škodlivé sociální důsledky. Některé z těchto nejvýznamnějších etických obav jsou uvedeny níže:

Diskriminační a toxický obsah

Obrázky od ar130405 z Pixabay

Protože trénovací data LLM jsou často plná sociokulturních stereotypů kvůli vnitřním předpojatostem a nedostatku rozmanitosti, LLM mohou produkovat a posilovat tyto škodlivé ideje proti znevýhodněným skupinám ve společnosti.

Mohou generovat tento diskriminační a nenávistný obsah na základě rasy, pohlaví, náboženství, etnické příslušnosti atd.

Problémy s ochranou soukromí

Obrázky od JanBaby z Pixabay

LLM jsou trénovány na obrovském trénovacím korpusu, který často zahrnuje osobní informace jednotlivců. Existovaly případy, kdy takové modely porušily soukromí lidí. Mohou úniknout konkrétní informace, jako jsou čísla sociálního zabezpečení, domácí adresy, čísla mobilních telefonů a lékařské údaje.

Desinformace a dezinformace

Obrázky od geralt z Pixabay

Jazykové modely mohou produkovat obsah, který vypadá lidsky a je přesný, ale ve skutečnosti je falešný a není podporován empirickými důkazy. To může být náhodné, vedoucí k desinformacím, nebo může mít úmyslnou záměr šířit dezinformace. Pokud to zůstane nekontrolované, může vytvořit nepříznivé socio-kulturní-ekonomicko-politické trendy.

Předcházení halucinacím LLM

Obrázky od athree23 z Pixabay

Výzkumníci a praktici přijímají různé přístupy k řešení problému halucinací v LLM. Tyto zahrnují zlepšování rozmanitosti trénovacích dat, odstranění vnitřních předpojatostí, použití lepších technik regularizace a využití adversářského trénování a učení s posilováním, mezi ostatními:

• Vývoj lepších technik regularizace je jádrem řešení halucinací. Pomáhají předcházet přetrenování a jiným problémům, které způsobují halucinace.
• Augmentace dat může snížit frekvenci halucinací, jak je ukázáno v výzkumné studii. Augmentace dat zahrnuje aumento trénovací sady přidáním náhodného tokenu kamkoli ve větě. To zdvojnásobí velikost trénovací sady a způsobí pokles frekvence halucinací.
• OpenAI a Google’s DeepMind vyvinuli techniku nazvanou učení s posilováním s lidskou zpětnou vazbou (RLHF) k řešení problému halucinace ChatGPT. Zahrnuje lidského hodnotitele, který často přezkoumává odpovědi modelu a vybírá nejvhodnější pro uživatelské podněty. Tato zpětná vazba se pak používá k úpravě chování modelu. Ilya Sutskever, hlavní vědec OpenAI, nedávno zmínil, že tento přístup může potenciálně vyřešit halucinace v ChatGPT: “Jsem bastante nadějný, že prostě zlepšením tohoto následného učení s posilováním z lidské zpětné vazby můžeme naučit, aby nehalucinoval”.
• Identifikace halucinovaného obsahu pro použití jako příklad pro budoucí trénování je také metoda používaná k řešení halucinací. Nová technika v tomto ohledu detekuje halucinace na úrovni tokenu a předpovídá, zda každý token ve výstupu je halucinován. Zahrnuje také metodu pro nesupervizované učení detektorů halucinací.

Detekce halucinace na úrovni tokenu

Jednoduše řečeno, halucinace LLM jsou rostoucí obavou. A navzdory úsilí je stále mnoho práce, které musí být provedeno, aby se řešil problém. Složitost těchto modelů činí obtížným identifikovat a korigovat základní příčiny halucinací správně.

Nicméně s pokračujícím výzkumem a rozvojem je možné zmírnit halucinace v LLM a snížit jejich etické důsledky.

Pokud chcete se dozvědět více o LLM a preventivních technikách, které se vyvíjejí pro nápravu halucinací LLM, podívejte se na unite.ai, abyste rozšířili své znalosti.