Co jsou halucinace LLM? Příčiny, etické obavy a prevence

Velké jazykové modely (LLM) jsou systémy umělé inteligence, které jsou schopné analyzovat a generovat text podobný lidskému. Ale mají jeden problém – LLM halucinují, tj. vymýšlejí si věci. Halucinace LLM způsobily, že se výzkumníci obávají pokroku v tomto oboru, protože pokud výzkumníci nemohou ovládat výsledek modelů, nemohou vytvořit kritické systémy, které budou sloužit lidstvu. Více o tom později.

Obecně LLM používají velké množství trénovacích dat a komplexních algoritmů učení, aby generovaly realistické výstupy. V některých případech se používá učení v kontextu k trénování těchto modelů pomocí pouze několika příkladů. LLM se stávají stále populárnějšími v různých oblastech aplikací, od strojového překladu, sentimentální analýzy, virtuální AI asistence, anotace obrázků, přirozeného zpracování jazyka atd.

Navzdory pokročilé povaze LLM jsou stále náchylné k předpojům, chybám a halucinacím. Yann LeCun, současný hlavní vědec AI ve společnosti Meta, nedávno zmínil centrální chybu v LLM, která způsobuje halucinace: “Velké jazykové modely nemají žádné povědomí o základních realitách, které jazyk popisuje. Tyto systémy generují text, který zní dobře, gramaticky a sémanticky, ale nemají žádný objektivní cíl, kromě toho, aby uspokojily statistickou konzistenci s podnětem”.

Halucinace v LLM

Obrázky od Gerd Altmann z Pixabay

Halucinace se týkají generování výstupů, které jsou syntakticky a sémanticky správné, ale nejsou spojeny s realitou a jsou založeny na falešných předpokladech. Halucinace jsou jedním z hlavních etických obav LLM, a mohou mít škodlivé důsledky, pokud uživatelé bez dostatečných znalostí začnou příliš spoléhat na tyto stále přesvědčivější jazykové modely.

Určitý stupeň halucinace je nevyhnutelný u všech autoregresivních LLM. Například model může připsat falešnou citaci slavné osobnosti, která nebyla nikdy řečena. Mohou tvrdit něco o bestimmém tématu, co je fakticky nesprávné, nebo citovat neexistující zdroje ve výzkumných papírech, a tak šířit nesprávné informace.

Nicméně, aby se AI modely halucinovaly, nemusí vždy mít negativní účinky. Například nová studie naznačuje, že vědci objevují ‘nové proteiny s neomezeným množstvím vlastností’ pomocí halucinujících LLM.

Co způsobuje halucinace LLM?

LLM mohou halucinovat kvůli různým faktorům, od chyb přetížení při kódování a dekódování až po předpojatost ve trénovacích datech.

Přetížení

Obrázky od janjf93 z Pixabay

Přetížení je problém, kdy se AI model příliš dobře přizpůsobí trénovacím datům, ale nemůže plně reprezentovat celý rozsah vstupů, se kterými se může setkat, tj. nedokáže generalizovat svou predikční sílu na nová, neviditelná data. Přetížení může vést k tomu, že model produkuje halucinovaný obsah.

Chyby kódování a dekódování

Obrázky od geralt z Pixabay

Pokud jsou chyby v kódování a dekódování textu a jeho následujících reprezentací, může to také způsobit, že model generuje nesmyslné a chybné výstupy.

Předpojatost ve trénovacích datech

Obrázky od Quince Creative z Pixabay

Jinou příčinou je přítomnost určitých předpojatostí ve trénovacích datech, které mohou způsobit, že model produkuje výsledky, které reprezentují tyto předpojatosti, spíše než skutečnou povahu dat. To je podobné jako nedostatek rozmanitosti ve trénovacích datech, který omezuje schopnost modelu generalizovat na nová data.

Složitá struktura LLM činí obtížným pro AI výzkumníky a praktiky identifikovat, interpretovat a korigovat tyto základní příčiny halucinací.

Etické obavy z halucinací LLM

LLM mohou šířit a zesilovat škodlivé předpojatosti prostřednictvím halucinací a mohou mít negativní dopad na uživatele a mít škodlivé sociální důsledky. Některé z těchto nejvýznamnějších etických obav jsou uvedeny níže:

Discriminační a toxické obsahy

Obrázky od ar130405 z Pixabay

Pokud jsou trénovací data LLM často plná sociokulturních stereotypů kvůli vnitřním předpojatostem a nedostatkům rozmanitosti. LLM mohou tak produkovat a posilovat tyto škodlivé ideje proti znevýhodněným skupinám ve společnosti.

Mohou generovat diskriminační a nenávistný obsah na základě rasy, pohlaví, náboženství, etnické příslušnosti atd.

Problémy s ochranou osobních údajů

Obrázky od JanBaby z Pixabay

LLM jsou trénovány na velkém trénovacím korpusu, který často zahrnuje osobní informace jednotlivců. Bylo zaznamenáno několik případů, kdy tyto modely porušily ochranu osobních údajů. Mohou vyzradit specifické informace, jako jsou čísla sociálního pojištění, domácí adresy, telefonní čísla a lékařské údaje.

Desinformace a nesprávné informace

Obrázky od geralt z Pixabay

Jazykové modely mohou produkovat obsah, který vypadá jako lidský, ale je ve skutečnosti falešný a není podporován empirickými důkazy. To může být náhodné, vedoucí k nesprávným informacím, nebo může mít úmyslnou záměr šířit desinformace. Pokud se toto nezastaví, může vytvořit negativní sociální-kulturní-ekonomické-politické trendy.

Předcházení halucinacím LLM

Obrázky od athree23 z Pixabay

Výzkumníci a praktici se snaží řešit problém halucinací v LLM pomocí různých přístupů. Tyto zahrnují zlepšování rozmanitosti trénovacích dat, odstraňování vnitřních předpojatostí, použití lepších technik regularizace a využití adversního trénování a učení s posilováním, mezi jinými:

• Vývoj lepších technik regularizace je klíčový pro řešení halucinací. Tyto techniky pomáhají předcházet přetížení a jiným problémům, které způsobují halucinace.
• Augmentace dat může snížit frekvenci halucinací, jak je dokázáno výzkumem. Augmentace dat zahrnuje přidání náhodného tokenu kamkoli ve větě. To zdvojnásobí velikost trénovacích dat a způsobí pokles frekvence halucinací.
• OpenAI a Google’s DeepMind vyvinuli techniku nazvanou učení s posilováním a lidskou zpětnou vazbou (RLHF) pro řešení problému halucinací v ChatGPT. Tato technika zahrnuje lidského hodnotitele, který pravidelně přezkoumává odpovědi modelu a vybírá nejvhodnější pro uživatelské podněty. Tato zpětná vazba se poté používá k úpravě chování modelu. Ilya Sutskever, hlavní vědec OpenAI, nedávno uvedl, že tento přístup může potenciálně řešit halucinace v ChatGPT: “Jsem bastante optimistický, že zlepšením tohoto následného učení s posilováním a lidskou zpětnou vazbou můžeme naučit model, aby nehalucinoval”.
• Identifikace halucinovaného obsahu pro použití jako příklad pro budoucí trénování je také metodou, která se používá pro řešení halucinací. Nová technika v tomto ohledu detekuje halucinace na úrovni tokenu a předpovídá, zda je každý token ve výstupu halucinován. Zahrnuje také metodu pro nesupervizované učení detektorů halucinací.

Detekce halucinací na úrovni tokenu

Jednoduše řečeno, halucinace LLM jsou rostoucí obavou. A navzdory úsilí je stále mnoho práce, které je třeba udělat, aby se tento problém vyřešil.

Nicméně, s pokračujícím výzkumem a rozvojem je možné zmírnit halucinace v LLM a snížit jejich etické důsledky.

Pokud chcete se dozvědět více o LLM a preventivních technikách, které se vyvíjejí pro řešení halucinací LLM, navštivte unite.ai, aby jste rozšířili své znalosti.