Nebezpečí používání citátů k autentizaci obsahu NLG

Opinion Modely generování přirozeného jazyka, jako je GPT-3, jsou náchylné k “halucinacím” materiálů, které prezentují v kontextu faktických informací. V době, kdy je mimořádně důležité řešit růst textových falešných zpráv, tyto “ochotné” letmý výmysly představují existenční překážku pro vývoj automatizovaných systémů psaní a souhrnů a pro budoucnost AI-driven žurnalistiky, mezi mnoha jinými sub-sektory zpracování přirozeného jazyka (NLP).

Centrálním problémem je, že modely jazyka GPT-style odvozují klíčové funkce a třídy z velmi velkých korpusů trénovacích textů a naučí se tyto funkce používat jako stavební bloky jazyka obratně a autenticky, bez ohledu na přesnost vygenerovaného obsahu nebo jeho přijatelnost.

Systémy NLG tedy目前 spoléhají na lidskou verifikaci faktů v jedné ze dvou přístupů: že modely jsou buď použity jako generátory semenového textu, které jsou okamžitě předány lidským uživatelům, buď pro verifikaci nebo some jiné formy editace nebo adaptace; nebo že lidé jsou použiti jako drahé filtry pro zlepšení kvality datových sad určených k informování méně abstraktních a “kreativních” modelů (které samy o sobě jsou nevyhnutelně stále obtížné důvěřovat z hlediska faktické přesnosti a které budou vyžadovat další vrstvy lidského dohledu).

Staré zprávy a falešné skutečnosti

Modely generování přirozeného jazyka (NLG) jsou schopny produkovat přesvědčivé a pravděpodobné výstupy, protože se naučily semantické architektury, spíše než abstraktněji asimilovat skutečnou historii, vědu, ekonomiku nebo jakékoli jiné téma, o kterém by mohly být povinny vyjádřit své názory, které jsou účinně “spojeny” jako “cestující” v zdrojových datech.

Přesnost faktických informací, které modely NLG generují, předpokládá, že vstupní data, na kterých jsou trénovány, jsou sama o sobě spolehlivá a aktuální, což představuje mimořádnou zátěž z hlediska předzpracování a další lidské verifikace – nákladnou překážku, kterou sektor výzkumu NLP目前 řeší na mnoha frontách.

Systémy GPT-3 jsou schopny trénovat po mimořádně dlouhou dobu a peníze, a jednou trénovány, jsou obtížné aktualizovat na úrovni “jádra”. Ačkoli sezení-založené a uživatel-založené lokální modifikace mohou zvýšit užitečnost a přesnost implementovaných modelů, tyto užitečné výhody jsou obtížné, někdy nemožné přenést zpět do základního modelu bez nutnosti plného nebo částečného přeškolování.

Proto je obtížné vytvořit trénované jazykové modely, které mohou využít nejnovější informace.

Trénovány před samotným příchodem COVID, text-davinci-002 – iterace GPT-3 považovaná za ‘nejschopnější’ jeho tvůrcem OpenAI – může zpracovat 4000 tokenů na žádost, ale neví nic o COVID-19 nebo ukrajinském vpádu v roce 2022 (těchto podnětů a odpovědí je z 5. dubna 2022). Zajímavé je, že ‘neznámé’ je ve skutečnosti přijatelná odpověď v obou případech selhání, ale další podněty snadno prokážou, že GPT-3 neví nic o těchto událostech. Zdroj: https://beta.openai.com/playground

Trénovaný model může pouze přístup k “pravdám”, které internalizoval během trénování, a je obtížné získat přesnou a relevantní citaci výchozího GPT-3 (například), protože někdy produkuje správné citace, což vede k falešné důvěře v tomto aspektu jeho schopností:

Nahoře, tři přesné citace získané modelem GPT-3 z roku 2021. Uprostřed, GPT-3 selže při citaci jedné z nejznámějších citací Einsteina (“Bůh nehraje kostky s vesmírem”), navzdory ne-kryptickému podnětu. Dole, GPT-3 přiřazuje skandální a fiktivní citaci Albertu Einsteinovi, zřejmě jako přebytek z předchozích otázek o Winstonu Churchillovi ve stejné relaci. Zdroj: Autorův vlastní článek z roku 2021 na https://www.width.ai/post/business-applications-for-gpt-3

GopherCite

V naději, že se tato obecná mezera v modelech NLG překlene, společnost Google’s DeepMind nedávno navrhla GopherCite, model s 280 miliardami parametrů, který je schopen citovat konkrétní a přesné důkazy na podporu svých vygenerovaných odpovědí na podněty.

Tři příklady GopherCite, které podporují svá tvrzení skutečnými citacemi. Zdroj: https://arxiv.org/pdf/2203.11147.pdf

GopherCite využívá učení s posilováním z lidských preferencí (RLHP) k trénování dotazových modelů, které jsou schopny citovat skutečné citace jako podpůrné důkazy. Citace jsou získány živě z více zdrojových dokumentů získaných z vyhledávačů nebo z konkrétního dokumentu poskytnutého uživatelem.

Výkon GopherCite byl měřen prostřednictvím lidské evaluace modelových odpovědí, které byly shledány “vysokou kvalitou” 80 % času na datové sadě NaturalQuestions společnosti Google a 67 % času na datové sadě ELI5.

Citování nepravd

Nicméně, když byl testován proti benchmarku TruthfulQA Univerzity v Oxfordu, odpovědi GopherCite byly zřídka hodnoceny jako pravdivé, ve srovnání s lidsky kurátorskými “správnými” odpověďmi.

Autor navrhuje, že je to proto, že koncept “podporovaných odpovědí” neobjektivně definuje pravdu sama o sobě, protože užitečnost zdrojových citací může být kompromitována jinými faktory, jako je možnost, že autor citace sám “halucinuje” (tj. píše o fiktivních světech, produkuje reklamní obsah nebo jinak fantastizuje neautentický materiál.

Případy GopherCite, kdy pravděpodobnost nevyhnutelně neimplikuje “pravdu”.

Účinně se stává nezbytným rozlišovat mezi “podporovaným” a “pravdivým” v takových případech. Lidská kultura je目前 daleko před strojovým učením v používání metodologií a rámců navržených pro získání objektivních definic pravdy, a dokonce tam, kde se “důležitá” pravda zdá být sporná a okrajově popíraná.

Problém je rekurzivní v architekturách NLG, které se snaží vyvinout definitivní “potvrzující” mechanismy: lidsky vedená konsenze je vtlačena do služby jako měřítko pravdy prostřednictvím outsourcovaných, AMT-stylů modelů, kde lidské evaluátory (a další lidé, kteří zprostředkovávají spory mezi nimi) jsou sami o sobě částeční a zaujatí.

Například počáteční experimenty s GopherCite používají “super rater” model k výběru nejlepších lidských subjektů pro evaluaci výstupu modelu, vybírající pouze ty ratery, kteří získali alespoň 85 % ve srovnání s kvalitativní sadou zajištění. Nakonec bylo vybráno 113 super-raterů pro úkol.

Snímek porovnávací aplikace použité k hodnocení výstupu GopherCite.

Argumentovatelně, jedná se o dokonalý obraz nezvítězitelného fraktálního pronásledování: sada zajištění kvality použitá k hodnocení raterů je sama o sobě další “lidsky definovaný” metrika pravdy, stejně jako sada TruthfulQA Univerzity v Oxfordu, proti které GopherCite byl shledán nedostatečným.

Co se týče podporovaného a “autentizovaného” obsahu, vše, co systémy NLG mohou doufat, že syntetizují z trénování na lidských datech, je lidská disparita a rozmanitost, sama o sobě špatně formulovaný a nevyřešený problém. Máme vrozenou tendenci citovat zdroje, které podporují naše názory, a mluvit autoritativně a s přesvědčením v případech, kdy naše zdrojová informace může být zastaralá, zcela nepřesná nebo jinak záměrně zkomolena; a dispozici šířit tyto názory přímo do divočiny, v měřítku a efektivitě nesrovnatelném s lidskou historií, přímo do cesty rámců pro sběr znalostí, které živí nové rámce NLG.

Proto nebezpečí spojené s vývojem systémů NLG podporovaných citacemi zdá se být vázáno na nepředvídatelnou povahu zdrojového materiálu. Jakékoli mechanismy (jako přímé citace a citáty), které zvyšují důvěru uživatele v výstup NLG, jsou, v současném stavu umění, nebezpečně přidávají k autenticitě, ale ne k pravdivosti výstupu.

Takové techniky jsou pravděpodobně dostatečně užitečné, když NLP konečně reprodukuje “kaleidoskopy” fikce z Orwellova Dvacátého devátého století osmdesátého čtyři; ale představují nebezpečné pronásledování pro objektivní analýzu dokumentů, AI-řízenou žurnalistiku a další možné “ne-fiktivní” aplikace strojového souhrnu a spontánní nebo řízené generace textu.

Poprvé zveřejněno 5. dubna 2022. Aktualizováno 15:29 EET, aby se opravil termín.