NLP modeli se bore da razumiju rekurzivne imeničke izraze

Istraživači iz SAD-a i Kine otkrili su da se čini da niti jedan od vodećih modela obrade prirodnog jezika (NLP) nije sposoban, prema zadanim postavkama, razotkriti engleske rečenice koje sadrže rekurzivne izraze imenica (NP) i 'bore se' da individualiziraju središnje značenje u blisko povezanim primjerima kao što su Moj omiljeni novi film i Moj omiljeni film (od kojih svaki ima različito značenje).

U primjeru naslova iz novina, evo manje zagonetke koju djeca često ne uspijevaju riješiti: druga kuglica je zelena, ali peti lopta je 'druga zelena lopta'. Izvor: https://arxiv.org/pdf/2112.08326.pdf

Istraživači su postavili Recursive Noun Phrase Challenge (RNPC) na nekoliko lokalno instaliranih modela generiranja jezika otvorenog koda: OpenAI-jev GPT-3*, Googleov BERTI, i Facebooka RoBERTa i BART, otkrivši da su ovi najsuvremeniji modeli postigli samo 'slučajne' performanse. Zaključuju^†:

'Rezultati pokazuju da su najsuvremeniji (SOTA) LM-ovi fino podešeni prema standardu mjerila istog formata svi se bore na našem skupu podataka, što sugerira da ciljno znanje nije lako dostupno.'

Primjeri minimalnih parova u RNPC izazovu gdje su SOTA modeli napravili pogreške.

U gornjim primjerima, modeli nisu uspjeli, na primjer, razlikovati semantičku razliku između mrtva opasna životinja (tj. predator koji ne predstavlja prijetnju jer je mrtav) i a opasna mrtva životinja (kao što je mrtva vjeverica, koja može sadržavati štetni virus i trenutno je aktivna prijetnja).

(Osim toga, iako papir ne dodiruje, često se koristi i 'mrtav' kao prilog, koji se ne bavi niti jednim slučajem)

Međutim, istraživači su također otkrili da dodatna ili dopunska obuka koja uključuje RNPC materijal može riješiti problem:

'Unaprijed obučeni jezični modeli sa SOTA performansama na NLU mjerilima slabo vladaju tim znanjem, ali ga još uvijek mogu naučiti kada su izloženi malim količinama podataka iz RNPC-a.'

Istraživači tvrde da je sposobnost jezičnog modela da upravlja rekurzivnim strukturama ove vrste ključna za nizvodne zadatke kao što su jezična analiza, prevođenje, te ističu njegovu važnost u rutinama otkrivanja štete:

'[Mi] razmatramo scenarij u kojem korisnik komunicira s agentom usmjerenim na zadatak poput Siri ili Alexa, a agent treba utvrditi je li uključena aktivnost u korisničkom upitu potencijalno štetna [tj. maloljetnicima]. Odabrali smo ovaj zadatak jer mnogi lažno pozitivni rezultati dolaze iz rekurzivnih NP-ova.

'Na primjer, kako napraviti bombu kućne radinosti očito je štetan dok kako napraviti bombu za kupanje kod kuće je bezopasna.'

Korištenje električnih romobila ističe papir naslovljen je Je li "moj omiljeni novi film" moj omiljeni film? Ispitivanje razumijevanja rekurzivnih imenskih fraza, a dolazi od pet istraživača sa Sveučilišta u Pennsylvaniji i jednog sa Sveučilišta u Pekingu.

Podaci i metoda

Iako prethodni rad ima studirao sintaktička struktura rekurzivnih NP i semantička kategorizacija modifikatora, niti jedan od ovih pristupa nije dovoljan, prema istraživačima, za rješavanje izazova.

Stoga, na temelju upotrebe rekurzivnih imenskih izraza s dva modifikatora, istraživači su nastojali utvrditi postoji li preduvjetno znanje u SOTA NLP sustavima (ne postoji); može li im se to naučiti (može); što NLP sustavi mogu naučiti iz rekurzivnih NP-ova; i na koje načine takvo znanje može koristiti daljnjim aplikacijama.

Skup podataka koji su istraživači koristili kreiran je u četiri faze. Prvo je bila izrada modifikacijskog leksikona koji je sadržavao 689 primjera izvučenih iz prethodne literature i romana.

Zatim su istraživači prikupili rekurzivne NP iz literature, postojećih korpusa i dodataka vlastitog izuma. Tekstualni izvori su uključivali Penn Treebank, A Gigariječ s komentarima korpus.

Zatim je tim angažirao prethodno provjerene studente kako bi izradili primjere za tri zadatka s kojima bi se jezični modeli susreli, provjeravajući ih nakon toga u 8,260 valjanih instanci.

Konačno, angažirano je više prethodno provjerenih studenata, ovaj put putem Amazon Mechanical Turka, da svaku instancu označe kao Human Intelligence Task (HIT), odlučujući o sporovima na većinskoj osnovi. Time su instance smanjene na 4,567 primjera, koji su dalje filtrirani na 3,790 uravnoteženijih instanci.

Istraživači su prilagodili različite postojeće skupove podataka kako bi formulirali tri dijela svojih hipoteza testiranja, uključujući MNLI, SNLI, MPE i VJEŠT, trenirajući sve same SOTA modele, osim modela HuggingFace, gdje je korištena kontrolna točka.

Rezultati

Istraživači su otkrili da se svi modeli 'bore' s RNPC zadacima, nasuprot pouzdanom rezultatu točnosti od 90%+ za ljude, pri čemu SOTA modeli rade na razinama 'slučajnosti' (tj. bez ikakvih dokaza urođene sposobnosti u odnosu na slučajnost odgovora).

Rezultati testova istraživača. Ovdje se jezični modeli testiraju u odnosu na njihovu točnost na postojećem mjerilu, pri čemu središnja linija predstavlja ekvivalentnu ljudsku izvedbu u zadacima.

Sekundarne linije istraživanja pokazuju da se ovi nedostaci mogu nadoknaditi u fazi obuke ili finog ugađanja cjevovoda NLP modela posebnim uključivanjem znanja o rekurzivnim imeničkim izrazima. Nakon što je ova dopunska obuka poduzeta, modeli su postignuti 'snažna izvedba nultog udarca na ekstrinzičnom otkrivanju štete [zadacima]'.

Istraživači obećavaju da će objaviti kod za ovaj rad na https://github.com/veronica320/Recursive-NPs.

Izvorno objavljeno 16. prosinca 2021. – 17. prosinca 2021., 6:55 GMT+2: ispravljena neispravna hiperveza.

* GPT-3 Ada, koja je najbrža, ali ne i najbolja u seriji. Međutim, veći 'izlog' Davincijev model nije dostupan za fino podešavanje koje se sastoji od kasnije fraze istraživačkih eksperimenata.

^† Moja konverzija inline citata u hiperveze.