Prevence “halucinací” v GPT-3 a dalších složitých jazycových modelech

Jedna z charakteristických vlastností “fake news” je, že často představují falešné informace v kontextu fakticky správných informací, přičemž nepravdivá data získávají zdánlivou autoritu díky literární osmozě – znepokojivá demonstrace moci polopravd.

Sofistikované generativní modely zpracování přirozeného jazyka (NLP), jako je GPT-3, také mají tendenci “halucinovat” tento druh zavádějících dat. Zčásti je to proto, že jazykové modely vyžadují schopnost reformulovat a shrnout dlouhé a často labyrintové pasáže textu, bez architektonického omezení, které by mohlo definovat, zakapslovat a “zapečetít” události a skutečnosti, aby byly chráněny před procesem semantické rekonstrukce.

Proto nejsou fakta pro NLP modely posvátná; snadno se mohou stát součástí “semantických lego kostek”, zejména tam, kde komplexní gramatika nebo zřídka používaný zdroj materiálu činí obtížným oddělit diskrétní entity od jazykové struktury.

Pozorování toho, jak záludně formulovaný zdroj materiálu může zmást složité jazykové modely, jako je GPT-3. Zdroj: Paraphrase Generation Using Deep Reinforcement Learning

Tento problém se přelévá z textového strojového učení do výzkumu počítačového vidění, zejména v sektorech, které využívají semantickou diskriminaci k identifikaci nebo popisu objektů.

Halucinace a nepřesná ‘kosmetická’ reinterpretace ovlivňuje také výzkum počítačového vidění.

V případě GPT-3 může model ztratit trpělivost s opakovanými otázkami na téma, které již dříve zodpověděl co nejlépe. V nejlepším případě přizná porážku:

Můj nedávný experiment s základní verzí Davinci v GPT-3. Model správně zodpoví otázku poprvé, ale je znepokojen, když je požádán o zodpovězení stejné otázky podruhé. Zdroj: https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci a DaVinci Instruct (Beta) se v tomto ohledu daří lépe než ostatní modely GPT-3 dostupné přes API. Zde model Curie poskytuje špatnou odpověď, zatímco model Babbage sebevědomě rozšiřuje na stejně špatnou odpověď:

Věci, které Einstein nikdy neřekl

Když požádáme GPT-3 DaVinci Instruct (který se目前 zdá být nejvíce schopný) o Einsteinův slavný citát “Bůh nehraje s vesmírem kostky”, DaVinci Instruct selže při hledání citátu a vynalezne necitát, a poté halucinuje tři další relativně uvěřitelné a zcela neexistující citáty (buď od Einsteina, nebo od někoho jiného) v reakci na podobné dotazy:

GPT-3 produkuje čtyři uvěřitelné citáty od Einsteina, žádné z nich však nevyvolají žádné výsledky v plno-textovém internetovém vyhledávání, i když některé spouštějí jiné (skutečné) citáty od Einsteina na téma “imaginace”.

Pokud by GPT-3 konzistentně chyboval při citátech, bylo by jednodušší tyto halucinace programově odmítnout. Nicméně, čím více je citát rozšířený a slavný, tím více je GPT-3 schopen citát správně uvést:

GPT-3 zdá se, že najde správné citáty, když jsou dobře reprezentovány v přispívajících datech.

Druhý problém může nastat, když se data z historie relace GPT-3 promítnou do nové otázky:

Einstein by pravděpodobně byl šokován, kdyby mu byl tento citát připsán. Citát se zdá být nesmyslnou halucinací skutečného citátu Winstona Churchilla. Předchozí otázka v relaci GPT-3 se týkala Churchilla (ne Einsteina), a GPT-3 zdá se, že omylem použil tento token relace k informování odpovědi.

Ekonomické řešení halucinací

Halucinace je významnou překážkou pro přijetí sofistikovaných modelů NLP jako výzkumných nástrojů – tím více, že výstup z těchto modelů je vysoce abstraktní od zdrojového materiálu, který jej vytvořil, takže ověření pravdivosti citátů a faktů se stává problematickým.

Proto je jedním z aktuálních obecných výzkumných výzev v NLP nalezení způsobu, jak identifikovat halucinované texty bez nutnosti vynalézat zcela nové modely NLP, které by zahrnovaly, definovaly a ověřovaly fakta jako diskrétní entity (dlouhodobější, samostatný cíl v řadě širších počítačových výzkumných oblastí).

Identifikace a generování halucinovaných obsahu

Nová spolupráce mezi Carnegie Mellon University a Facebook AI Research nabízí novou metodu pro řešení problému halucinací, formulující metodu pro identifikaci halucinovaných výstupů a používající syntetické halucinované texty k vytvoření datové sady, která může být použita jako základ pro budoucí filtry a mechanismy, které by mohly nakonec stát jádrem architektur NLP.

Zdroj: https://arxiv.org/pdf/2011.02593.pdf

Na výše uvedeném obrázku je zdrojový materiál rozdělen na základě jednotlivých slov, s označením “0” pro správná slova a označením “1” pro halucinovaná slova. Níže vidíme příklad halucinovaného výstupu, který je spojen s vstupními informacemi, ale je doplněn neautentickými daty.

Systém používá předem vyškolený denoisovací autoencoder, který je schopen mapovat halucinovanou řetězec zpět na původní text, ze kterého byla vytvořena poškozená verze (podobně jako v mých předchozích příkladech, kde internetové vyhledávání odhalilo původ halucinovaných citátů, ale s programatickou a automatizovanou semantickou metodologií). Konkrétně se používá autoencoder model BART od Facebooku k produkci poškozených vět.

Přiřazení štítků.

Proces mapování halucinace zpět na zdroj, který není možný v běžném případě vysoce úrovněných modelů NLP, umožňuje mapování “edit distance” a usnadňuje algoritmický přístup k identifikaci halucinovaných obsahu.

Výzkumníci zjistili, že systém je schopen dobře generalizovat i v případech, kdy nemá přístup k referenčním materiálům, které byly dostupné během trénování, což naznačuje, že konceptuální model je správný a široce replikovatelný.

Řešení nadměrného přizpůsobení

Aby se zabránilo nadměrnému přizpůsobení a dosáhlo široce nasaditelné architektury, výzkumníci náhodně vynechali tokeny z procesu a také použili parafrázování a další funkce šumu.

Strojový překlad (MT) je také součástí tohoto procesu zakrytí, protože překlad textu přes jazyky je pravděpodobně schopen zachovat význam robustně a dále zabránit nadměrnému přizpůsobení. Proto byly halucinace přeloženy a identifikovány pro projekt pomocí bilingvních mluvčích v ruční anotační vrstvě.

Iniciativa dosáhla nových nejlepších výsledků v řadě standardních testů v sektoru a je první, která dosáhla přijatelných výsledků pomocí dat přesahujících 10 milionů tokenů.

Kód pro projekt, nazvaný Detecting Hallucinated Content in Conditional Neural Sequence Generation, byl vydán na GitHubu, a umožňuje uživatelům generovat své vlastní syntetické údaje s BART z libovolného korpusu textu. Je také zajištěna možnost následné generace modelů pro detekci halucinací.