Boj s cheatem umělých inteligencí při testech

Nová výzkumná zjištění z čínské univerzity poskytují vhled do toho, proč generativní modely zpracování přirozeného jazyka, jako je GPT-3, tendují “čhatit”, když jsou požádány o obtížnou otázku, a produkují odpovědi, které mohou být technicky správné, ale bez skutečného pochopení, proč je odpověď správná, a proč také prokazují malou nebo žádnou schopnost vysvětlit logiku za svými “jednoduchými” odpověďmi. Výzkumníci také navrhují nové metody, aby systémy “studovaly tvrději” během fáze trénování.

Problém je dvojí: prvním je, že navrhujeme systémy, které se snaží dosáhnout výsledků rychle a s optimálním využitím zdrojů. I když, jako u GPT-3, mohou být zdroje podstatně větší, než je průměrný projekt výzkumu NLP schopen zajistit, tato kultura výsledkově orientovaného optimalizování stále dominuje metodologii, protože se stala akademickou konvencí.

V důsledku toho naše tréninkové architektury odměňují modely, které rychle konvergují a produkují zdánlivě vhodné odpovědi na otázky, i když je model NLP následně unable odůvodnit svou odpověď nebo prokázat, jak dospěl k svým závěrům.

Brzká dispozice ke cheatu

To se děje, protože model učí “zkratkové odpovědi” mnohem dříve během tréninku, než učí složitější typy získávání znalostí. Jelikož je zvýšená přesnost často odměňována poměrně nekontrolovaně během tréninku, model pak prioritizuje jakýkoli přístup, který mu umožní odpovědět na otázku “hladce” a bez skutečného vhledu.

Jelikož zkratkové učení bude nevyhnutelně představovat první úspěchy během tréninku, sezení bude přirozeně směřovat pryč od obtížnějšího úkolu získání užitečného a úplnějšího epistemologického perspektivy, který může obsahovat hlubší a více vhledné vrstvy atribucí a logiky.

Krmení AI “jednoduchými” odpověďmi

Druhý problém je, že i když nedávné výzkumné iniciativy studovaly tendenci AI “čhatit” tímto způsobem a identifikovaly jev “zkratkových” odpovědí, dosud nebyla provedena žádná snaha o klasifikaci “zkratkově umožňujících” materiálů v přispívajícím datasetu, což by bylo logickým prvním krokem při řešení toho, co se může ukázat jako fundamentální architektonická chyba v systémech machine reading comprehension (MRC).

Nová práce, spolupráce mezi Wangxuan Institute of Computer Technology a MOE Key Laboratory of Computational Linguistics at Peking University, testuje různé jazykové modely proti nově anotovanému datasetu, který zahrnuje klasifikace pro “jednoduché” a “obtížné” řešení možné otázky.

Source: https://arxiv.org/pdf/2106.01024.pdf

Dataset používá parafrázování jako kritérium pro složitější a hlubší odpovědi, protože je nutno mít semantické pochopení, aby bylo možné reformulovat získané znalosti. Naopak, “zkratkové” odpovědi mohou použít tokeny, jako jsou data, a další uzavřené klíčové slovo, aby produkovaly odpověď, která je fakticky přesná, ale bez kontextu nebo důvodu.

Zkratková složka anotací zahrnuje question word matching (QWM) a simple matching (SpM). Pro QWM model využívá entit extrahovaných ze zásobního textu a eliminuje kontext; pro SpM model identifikuje překryv mezi odpověďmi a otázkami, které jsou obě zásobeny v tréninkových datech.

Zkratková data téměř “virální” v vlivu na dataset

Výzkumníci tvrdí, že datasety tendují k obsahu vysoké podílu zkratkových otázek, které činí tréninkové modely závislé na zkratkových triicích.

Dva modely použité v experimentech byly BiDAF a Google’s BERT-base. Výzkumníci pozorují, že i když jsou trénovány na variacích datasetu s vyšším podílem “obtížných” otázek, oba modely stále vykazují lepší výkony na zkratkových otázkách než na obtížnějších parafrázovaných otázkách, navzdory malému počtu příkladů v datech.

To představuje “zkratková data” téměř v kontextu viru – že potřebuje být velmi málo z nich přítomno v datasetu, aby bylo přijato a prioritizováno v tréninku, za konvenčních standardů a postupů v NLP.

Dokázání cheatu

Jedním z metod, kterou výzkum používá k prokázání křehkosti zkratkové odpovědi, je nahradit “jednoduché” entity slovo anomálním slovem. Pokud byla použita zkratková metoda, logika “čhatané” odpovědi nemůže být poskytnuta; ale pokud byla odpověď poskytnuta z hlubšího kontextu a semantické evaluace širšího rozsahu přispívajícího textu, je možné pro systém dekonstruovat chybu a rekonstruovat správnou odpověď.

Nahrazení ‘Beyoncé’ (osoba) za ‘Ameriku’ (umístění) odhalí, zda má model nějaký background logiku pro svou odpověď.

Zkratky kvůli ekonomickému imperativu

Pokud jde o některé architektonické důvody, proč jsou zkratky tak prioritizovány v pracovních postupech NLP, autoři komentují ‘MRC modely mohou naučit zkratkové triky, jako je QWM, s menšími výpočetními zdroji než výzvy komprese, jako je identifikace parafrázování’.

To by mohlo být neúmyslným výsledkem standardních optimalizačních a zdrojů šetřících filozofií v přístupech k machine reading comprehension, a tlak na získání výsledků s omezenými zdroji v krátkých časových rámcích.

Výzkumníci také poznamenávají:

‘[Jelikož] zkratkový trik může být použit k odpovědi na většinu tréninkových otázek správně, omezené nevyřešené otázky, které zůstaly, nemusí motivovat modely k prozkoumání sofistikovaných řešení, která vyžadují náročné dovednosti.’

Pokud výsledky práce budou následně potvrzeny, zdá se, že rozsáhlé a stále rostoucí pole předzpracování dat může potřebovat považovat “skryté pomůcky” v datech jako problém, který je třeba řešit v dlouhodobém horizontu, nebo jinak revidovat architektury NLP, aby prioritizovaly náročnější postupy pro ingestaci dat.