NLP modeļi cīnās, lai saprastu rekursīvās lietvārdu frāzes

Pētnieki no ASV un Ķīnas ir atklājuši, ka neviens no vadošajiem dabiskās valodas apstrādes (NLP) modeļiem, šķiet, pēc noklusējuma nespēj atšķetināt angļu valodas teikumus, kuros ir rekursīvas lietvārdu frāzes (NP), un "cīnīties", lai individualizētu galveno nozīmi. cieši saistītos piemēros, piemēram, Mana mīļākā jaunā filma un Mana mīļākā filma (katram no tiem ir atšķirīga nozīme).

Papīra virsraksta piemērā šeit ir neliela mīkla, kuru bērniem bieži neizdodas izvilkt: otrā bumbiņa ir zaļa, bet piektais bumba ir "otrā zaļumballe". Avots: https://arxiv.org/pdf/2112.08326.pdf

Pētnieki iestatīja Recursive Noun Phrase Challenge (RNPC) vairākiem lokāli instalētiem atvērtā pirmkoda valodu ģenerēšanas modeļiem: OpenAI GPT-3*, Google BERT, un Facebook Roberta un BART, konstatējot, ka šie jaunākie modeļi sasniedza tikai “izredzes” veiktspēju. Viņi secina^†:

"Rezultāti liecina, ka jaunākie (SOTA) LM ir precīzi pielāgoti standartam kritērijus vienā formātā visi cīnās par mūsu datu kopu, kas liecina, ka mērķa zināšanas nav viegli pieejamas.

Minimālo pāru piemēri RNPC izaicinājumā, kur SOTA modeļi pieļāva kļūdas.

Iepriekš minētajos piemēros modeļi nespēja, piemēram, atšķirt semantiskās atšķirības starp miris bīstams dzīvnieks (ti, plēsējs, kas nerada draudus, jo ir miris) un a bīstams beigts dzīvnieks (piemēram, beigta vāvere, kas var saturēt kaitīgu vīrusu un pašlaik ir aktīvs drauds).

(Turklāt, lai gan papīrs tam nepieskaras, bieži tiek izmantots arī “miris”. kā apstākļa vārds, kas neattiecas uz nevienu gadījumu)

Tomēr pētnieki arī atklāja, ka papildu vai papildu apmācība, kas ietver RNPC materiālu, var atrisināt problēmu:

"Iepriekš apmācītie valodu modeļi ar SOTA veiktspēju NLU etalonos slikti pārvalda šīs zināšanas, taču joprojām var tās apgūt, ja tiek pakļauti nelielam datu apjomam no RNPC."

Pētnieki apgalvo, ka valodas modeļa spēja orientēties šāda veida rekursīvās struktūrās ir būtiska pakārtotajiem uzdevumiem, piemēram, valodas analīzei, tulkošanai, un īpaši uzsver tā nozīmi kaitējuma noteikšanas rutīnās:

“[Mēs] apsveram scenāriju, kurā lietotājs mijiedarbojas ar uz uzdevumu orientētu aģentu, piemēram, Siri vai Alexa, un aģentam ir jānosaka, vai lietotāja vaicājumā iesaistītā darbība ir potenciāli kaitīga [ti, nepilngadīgajiem]. Mēs izvēlamies šo uzdevumu, jo daudzi kļūdaini pozitīvi nāk no rekursīviem NP.

'Piemēram, kā pagatavot paštaisītu bumbu ir acīmredzami kaitīgs kā pagatavot mājās gatavotu vannas bumbu ir nekaitīgs.'

Jūsu darbs IR Klientu apkalpošana papīrs tiek nosaukts Vai “mana mīļākā jaunā filma” ir mana mīļākā filma? Rekursīvo lietvārdu frāžu izpratnes pārbaude, un nāk no pieciem pētniekiem Pensilvānijas Universitātē un vienu Pekinas Universitātē.

Dati un metode

Lai gan iepriekšējais darbs ir bijis studējis rekursīvo NP sintaktiskā struktūra un modifikatoru semantiskā kategorizēšanaPēc pētnieku domām, neviena no šīm pieejām nav pietiekama, lai risinātu šo problēmu.

Tāpēc, pamatojoties uz rekursīvu lietvārdu frāžu lietošanu ar diviem modifikatoriem, pētnieki ir mēģinājuši noskaidrot, vai SOTA NLP sistēmās pastāv priekšnoteikuma zināšanas (tā nav); vai to var viņiem iemācīt (tā var); ko NLP sistēmas var mācīties no rekursīvajiem NP; un kādā veidā šādas zināšanas var sniegt labumu pakārtotajiem lietojumiem.

Pētnieku izmantotā datu kopa tika izveidota četros posmos. Vispirms tika izveidots modifikācijas leksikons, kurā bija 689 piemēri, kas iegūti no iepriekšējās literatūras un jauniem darbiem.

Pēc tam pētnieki apkopoja rekursīvos NP no literatūras, esošajiem korpusiem un viņu pašu izgudrojuma papildinājumiem. Tekstu resursi ietvēra Penn Treebank, Kā arī Anotēts Gigaword korpuss.

Pēc tam komanda nolīga iepriekš pārbaudītus koledžas studentus, lai izveidotu piemērus trim uzdevumiem, ar kuriem saskarsies valodu modeļi, pēc tam tos apstiprinot 8,260 derīgos gadījumos.

Visbeidzot, šoreiz ar Amazon Mechanical Turk tika nolīgti vairāki iepriekš pārbaudīti koledžas studenti, lai katru gadījumu atzīmētu kā cilvēka izlūkošanas uzdevumu (HIT), izlemjot strīdus pēc vairākuma. Tādējādi gadījumi tika samazināti līdz 4,567 piemēriem, kas tika tālāk filtrēti līdz 3,790 līdzsvarotākiem gadījumiem.

Pētnieki pielāgoja dažādas esošās datu kopas, lai formulētu trīs testēšanas hipotēžu sadaļas, tostarp MNLI, SNLI, MPK un ADEPT, apmācot pašus visus SOTA modeļus, izņemot HuggingFace modeli, kur tika izmantots kontrolpunkts.

rezultāti

Pētnieki atklāja, ka visi modeļi cīnās ar RNPC uzdevumiem, salīdzinot ar uzticamu 90%+ precizitātes rādītāju cilvēkiem, un SOTA modeļi darbojas nejaušības līmenī (ti, bez jebkādiem pierādījumiem par iedzimtām spējām, salīdzinot ar nejaušu nejaušību atbildē).

Pētnieku pārbaužu rezultāti. Šeit valodu modeļi tiek pārbaudīti, salīdzinot ar to precizitāti, izmantojot esošu etalonu, un centrālā līnija attēlo līdzvērtīgu cilvēka veiktspēju uzdevumos.

Sekundārās izmeklēšanas līnijas norāda, ka šos trūkumus var kompensēt NLP modeļa konveijera apmācības vai precizēšanas fāzē, īpaši iekļaujot zināšanas par rekursīvām lietvārdu frāzēm. Kad šī papildu apmācība tika veikta, modeļi tika sasniegti "spēcīga nulles veiktspēja ārējā kaitējuma noteikšanas [uzdevumos]".

Pētnieki sola izlaist šī darba kodu plkst https://github.com/veronica320/Recursive-NPs.

Sākotnēji publicēts no 16. gada 2021. decembra līdz 17. gada 2021. decembrim, plkst. 6:55 GMT+2: izlabota bojātā hipersaite.

* GPT-3 Ada, kas ir ātrākais, bet ne labākais no sērijas. Tomēr lielākais Davinci "vitrīnas" modelis nav pieejams precizēšanai, kas ietver pētnieku eksperimentu vēlāko frāzi.

^† Mana iekļauto citātu pārvēršana par hipersaitēm.