NLP-mallit kamppailevat ymmärtämään rekursiiviset substantiivifrazat

Yhdysvalloista ja Kiinasta olevat tutkijat ovat havainneet, että mikään johtavista Natural Language Processing (NLP) -malleista ei näytä olevan kykeneväksi, oletusarvoisesti, purkamaan englanninkielisiä lauseita, joissa on rekursiiviset substantiivifrazat (NPs), ja “kamppailevat” ymmärtämään keskeisen merkityksen läheisissä esimerkeissä, kuten My favorite new movie ja My favorite movie (jokaisella on eri merkitys).

In a headline example from the paper, here is a minor puzzle that children frequently fail to unpick: the second ball is green, but the fifth ball is the ‘second green ball’. Source: https://arxiv.org/pdf/2112.08326.pdf

Tutkijat asettivat Rekursiivisen Substantiivifrazan Haasteen (RNPC) useille paikallisesti asennetuille avoimen lähdekoodin kielen generointimalleille: OpenAI:n GPT-3*, Google:n BERT, ja Facebookin RoBERTa ja BART, ja totesivat, että nämä viimeisimmät mallit saavuttivat vain “sattuman” suorituskyvyn. He johtopäätökset^†:

‘Tulokset osoittavat, että viimeisimmät (SOTA) kielimallit, jotka on hienosäädetty standardi benchmarkeissa samassa muodossa, kaikki kamppailevat meidän tietokannassamme, mikä osoittaa, että kohdemaaraa ei ole helposti saatavilla.’

Minimal-pair examples in the RNPC challenge where the SOTA models made errors.

Esimerkeissä yllä, mallit epäonnistuivat esimerkiksi erottamaan semanttinen ero a dead dangerous animal (ts. peto, joka ei ole uhka, koska se on kuollut) ja dangerous dead animal (kuten kuollut orava, joka voi sisältää haitallisen viruksen ja on nykyinen uhka).

(Lisäksi, vaikka tutkimus ei koske sitä, ‘dead’ on usein käytetty adverbina, joka ei koske kumpaakaan tapausta)

Kuitenkin tutkijat totesivat myös, että lisä- tai täydentävä koulutus, joka sisältää RNPC-aineistoa, voi ratkaista ongelman:

‘Esikoulutetut kielimallit, joilla on SOTA-suorituskyky NLU-benchmarkeissa, ovat heikkoja tällaisessa tiedossa, mutta voivat silti oppia sen, kun ne altistuvat pienten määrien dataa RNPC:stä.’

Tutkijat väittävät, että kielimallin kyky navigoida rekursiivisissa rakenteissa on välttämätöntä alasvirtaan tehtäville, kuten kielianalyysille, käännöksille, ja tekevät erityisen tapauksen sen tärkeydestä vahinkoja havaitseville ohjelmille:

‘[Me] tutkimme tilannetta, jossa käyttäjä vuorovaikuttaa tehtävänorientoituneen agentin, kuten Sirin tai Alexan, kanssa, ja agentti tarvitsee määrittää, onko käyttäjän kysymyksessä oleva toiminta potentiaalisesti haitallista [ts. lapsille]. Valitsimme tämän tehtävän, koska monet väärät positiiviset tulokset tulevat rekursiivisista substantiivifrazoista.

‘Esimerkiksi, miten tehdä itse tehty pommi on ilmiselvästi haitallista, kun taas miten tehdä itse tehty kylpybommi on vaaraton.’

Tutkimus tutkimus on otsikoitu Onko “my favorite new movie” my favorite movie? Probing the Understanding of Recursive Noun Phrases, ja se tulee viideltä tutkijalta Pennsylvanian yliopistosta ja yhdeltä Pekingin yliopistosta.

Data ja Menetelmä

Vaikka aiempi tutkimus on tutkinut rekursiivisten substantiivifrazojen syntaktista rakennetta ja modifioivien semanttista luokittelua, kumpikaan näistä lähestymistavoista ei ole riittävä, tutkijoiden mukaan, haasteen ratkaisemiseksi.

Sen vuoksi tutkijat ovat pyrkineet selvittämään, onko edellytyksellinen tieto olemassa SOTA NLP-järjestelmissä (se ei ole); voidaanko se opettaa niille (se voidaan); mitä NLP-järjestelmät voivat oppia rekursiivisista substantiivifrazoista; ja miten tällainen tieto voi hyödyttää alasvirtaan sovelluksia.

Tutkijat käyttivät aineistoa, joka luotiin neljässä vaiheessa. Ensimmäinen vaihe oli modifioivien sanaston luominen, joka sisälsi 689 esimerkkiä aiemmasta kirjallisuudesta ja uudesta työstä.

Seuraavaksi tutkijat keräsivät rekursiivisia substantiivifrazoja kirjallisuudesta, olemassa olevista korpuksista ja omista keksinnöistään. Tekstuaaliset resurssit sisälsivät Penn Treebankin ja Annotated Gigaword -korpuksen.

Sitten tutkijat palkkasivat esivalittuja yliopiston opiskelijoita luomaan esimerkkejä kolmelle tehtävälle, joita kielimallit kohtaisivat, ja vahvistivat ne myöhemmin 8 260 validiksi instansseiksi.

Lopuksi tutkijat palkkasivat lisää esivalittuja yliopiston opiskelijoita Amazon Mechanical Turk -palvelun kautta annotoimaan kunkin instanssin Ihmisen Älykkyyden Tehtävänä (HIT), päättäen riidoista enemmistöpäätöksellä. Tämä whittled instansseja 4 567 esimerkkiin, jotka olivat edelleen suodatettu 3 790 tasapainotettuun instanssiin.

Tutkijat sovittivat eri olemassa olevia aineistoja muotoilemaan kolme osaa hypoteeseistaan, mukaan lukien MNLI, SNLI, MPE ja ADEPT, kouluttaen kaikki SOTA-mallit itse, lukuun ottamatta HuggingFace-mallia, jossa käytettiin checkpointia.

Tulokset

Tutkijat totesivat, että kaikki mallit “kamppailevat” RNPC-tehtävissä, verrattuna luotettavaan 90%:n tarkkuuslukemaan ihmisillä, ja SOTA-mallit suorittivat “sattuman” tasolla (ts. ilman mitään todisteita sisäänrakennetusta kyvystä verrattuna sattumaan vastauksessa).

Results from the researchers’ tests. Here the language models are tested against their accuracy on an existing benchmark, with the central line representing equivalent human performance in the tasks.

Toissijaiset tutkimussuunnat osoittavat, että nämä puutteet voidaan korvata koulutus- tai hienosäätövaiheessa NLP-mallin putkistossa erityisesti sisällyttämällä tietoa rekursiivisista substantiivifrazoista. Kun tämä täydentävä koulutus tehtiin, mallit saavuttivat ‘vahvan zero-shot-suorituskyvyn ulkoisessa Harm Detection [tehtävissä]’.

Tutkijat lupaavat julkaisemalla koodin tästä työstä osoitteessa https://github.com/veronica320/Recursive-NPs.

Alun perin julkaistu 16. joulukuuta 2021 – 17. joulukuuta 2021, 6:55, GMT+2: Korjattu rikkinäinen hyperlink.

* GPT-3 Ada, joka on nopein, mutta ei paras sarjassa. Kuitenkin suurempi “näyttely” Davinci-malli ei ole saatavilla hienosäätövaiheessa, joka muodostaa tutkijoiden kokeiden myöhäisemmän vaiheen.

^† Minun muunnokseni sisäisistä viittauksista hyperlinkkeihin.