NLP mudelid näevad vaeva rekursiivsete nimisõnafraaside mõistmise nimel

USA ja Hiina teadlased on avastanud, et ükski juhtivatest loomuliku keele töötlemise (NLP) mudelitest ei tundu olevat suuteline vaikimisi lahti harutama ingliskeelseid lauseid, mis sisaldavad rekursiivseid nimisõnafraase (NP-sid) ja "võitlevad" keskse tähenduse individualiseerimise nimel. lähedalt seotud näidetes nagu Minu lemmik uus film ja Minu lemmikfilm (millest igaühel on erinev tähendus).

Paberi pealkirja näites on siin väike mõistatus, mida lapsed sageli ei suuda lahti võtta: teine ​​pall on roheline, kuid viies pall on "teine ​​roheline pall". Allikas: https://arxiv.org/pdf/2112.08326.pdf

Teadlased määrasid mitmele lokaalselt installitud avatud lähtekoodiga keele genereerimise mudelile Recursive Noun Phrase Challenge (RNPC): OpenAI GPT-3*, Google'i BERT, ja Facebooki omad RoBERTa ja BART, leides, et need tipptasemel mudelid saavutasid ainult "juhusliku" jõudluse. Nad järeldavad^†:

"Tulemused näitavad, et tipptasemel (SOTA) LM-id on standardse täpsusega häälestatud kriteeriumid samas vormingus on kõik meie andmestiku pärast hädas, mis viitab sellele, et sihtteadmised pole kergesti kättesaadavad.

Minimaalsete paaride näited RNPC väljakutses, kus SOTA mudelid tegid vigu.

Ülaltoodud näidetes ei suutnud mudelid näiteks eristada semantilist ebavõrdsust surnud ohtlik loom (st kiskja, kes ei kujuta endast ohtu, kuna on surnud) ja a ohtlik surnud loom (nt surnud orav, mis võib sisaldada kahjulikku viirust ja on praegu aktiivne oht).

(Lisaks, kuigi paber seda ei puuduta, kasutatakse sageli ka "surnud". määrsõnana, mis ei käsitle kumbagi juhtumit)

Kuid teadlased leidsid ka, et täiendav või täiendav koolitus, mis sisaldab RNPC materjali, võib probleemi lahendada:

"Eelkoolitatud keelemudelid, millel on SOTA jõudlus NLU võrdlusalustel, valdavad neid teadmisi halvasti, kuid saavad neid siiski õppida, kui nad puutuvad kokku RNPC-st väikese andmemahuga."

Teadlased väidavad, et keelemudeli võime seda tüüpi rekursiivsetes struktuurides navigeerida on oluline järgmiste ülesannete jaoks, nagu keeleanalüüs, tõlkimine, ja rõhutavad selle tähtsust kahju tuvastamise rutiinides:

„[Me] kaalume stsenaariumi, kus kasutaja suhtleb ülesandele orienteeritud agendiga, nagu Siri või Alexa, ja agent peab kindlaks tegema, kas kasutaja päringuga seotud tegevus on potentsiaalselt kahjulik [st alaealistele]. Valime selle ülesande, kuna paljud valepositiivsed tulemused pärinevad rekursiivsetest NP-dest.

'Näiteks, kuidas teha omatehtud pommi on ilmselgelt kahjulik kuidas teha omatehtud vannipommi on kahjutu.'

. paber on pealkirjaga Kas "mu lemmikfilm" on minu lemmikfilm? Rekursiivsete nimisõnafraaside mõistmise uurimineja pärineb viielt Pennsylvania ülikooli ja ühelt Pekingi ülikooli teadurilt.

Andmed ja meetod

Kuigi eelnev töö on seda teinud õppinud rekursiivsete NP-de süntaktiline struktuur ja modifikaatorite semantiline kategoriseerimine, ei ole teadlaste sõnul kumbki neist lähenemisviisidest väljakutse lahendamiseks piisav.

Seetõttu on uurijad kahe modifikaatoriga rekursiivsete nimisõnafraaside kasutamise põhjal püüdnud kindlaks teha, kas SOTA NLP süsteemides on eeldusteadmised olemas (ei ole); kas seda saab neile õpetada (see saab); mida NLP-süsteemid saavad rekursiivsetest NP-dest õppida; ja mil viisil võivad sellised teadmised olla kasulikud järgnevatele rakendustele.

Teadlaste kasutatud andmekogum loodi neljas etapis. Esiteks koostati modifikaatorite leksikon, mis sisaldas 689 näidet varasemast kirjandusest ja uudsetest töödest.

Järgmisena kogusid teadlased rekursiivseid NP-sid kirjandusest, olemasolevatest korpustest ja oma leiutise täiendustest. Tekstiallikad hõlmasid Penn TreebankJa Annoteeritud Gigaword korpus.

Seejärel palkas meeskond eelnevalt läbivaadatud kolledži üliõpilased, et luua näiteid kolme ülesande jaoks, millega keelemudelid silmitsi seisavad, kinnitades need hiljem 8,260 kehtivaks eksemplariks.

Lõpuks palgati rohkem eelkontrollitud kolledži üliõpilasi, seekord Amazon Mechanical Turki kaudu, et märkida iga juhtum inimluureülesandeks (HIT), otsustades vaidlused enamuse alusel. See vähendas eksemplare 4,567 näiteni, mis filtreeriti veelgi 3,790 tasakaalustatumaks eksemplariks.

Teadlased kohandasid erinevaid olemasolevaid andmekogumeid, et sõnastada oma testimise hüpoteeside kolm osa, sealhulgas MNLI, SNLI, Suurim lubatud piirviga ja VÕTA, treenides kõiki SOTA mudeleid ise, välja arvatud HuggingFace mudel, kus kasutati kontrollpunkti.

Tulemused

Uurijad leidsid, et kõik mudelid võitlevad RNPC ülesannete kallal, võrreldes usaldusväärse 90%+ täpsusega inimeste jaoks, kusjuures SOTA mudelid toimivad "juhuslikul" tasemel (st ilma igasuguste tõenditeta kaasasündinud võimete ja juhuslike reaktsioonide juhuslikkuse kohta).

Teadlaste testide tulemused. Siin testitakse keelemudeleid nende täpsuse suhtes olemasoleval võrdlusalusel, kusjuures keskjoon tähistab inimese samaväärset sooritust ülesannetes.

Teisesed uurimissuunad näitavad, et neid puudujääke saab kompenseerida NLP-mudeli konveieri koolitus- või peenhäälestusfaasis, lisades konkreetselt teadmised rekursiivsete nimisõnafraaside kohta. Pärast selle täiendava koolituse läbimist saavutasid mudelid "tugev null-võtteline jõudlus välisel kahju tuvastamisel [ülesannetel]".

Teadlased lubavad selle töö koodi välja anda aadressil https://github.com/veronica320/Recursive-NPs.

Algselt avaldatud 16. detsember 2021 – 17. detsember 2021, 6:55 GMT+2: parandatud katkine hüperlink.

* GPT-3 Ada, mis on seeria kiireim, kuid mitte parim. Kuid suurem „estriin” Davinci mudel ei ole saadaval peenhäälestamiseks, mis hõlmab teadlaste katsete hilisemat fraasi.

^† Minu tekstisiseste tsitaatide muutmine hüperlinkideks.