NLP-modeller sliter med å forstå rekursive substantivfraser

Forskere fra USA og Kina har funnet ut at ingen av de ledende modellene for naturlig språkbehandling (NLP) synes å være i stand til å løse engelske setninger som inneholder rekursive substantivfraser (NPs) på egen hånd, og “sliter” med å finne den sentrale betydningen i nært beslektede eksempler som min nye favorittfilm og min favorittfilm (hver av dem har en annen betydning).

I en overskriftseksempel fra artikkelen, her er en liten gåte som barn ofte ikke klarer å løse: den andre ballen er grønn, men den femte ballen er den ‘andre grønne ballen’. Kilde: https://arxiv.org/pdf/2112.08326.pdf

Forskerne satte en rekursiv substantivfrase-utfordring (RNPC) til flere lokale, åpne kildekodemodeller for språkgenerering: OpenAI’s GPT-3*, Google’s BERT, og Facebook’s RoBERTa og BART, og fant at disse modellene med høyeste nivå bare oppnådde ’tilfeldig’ nivå. De konkluderer^†:

‘Resultatene viser at modellene med høyeste nivå som er finjustert på standard benchmark-sett av samme format, alle sliter på vårt datasett, og tyder på at målknow-how ikke er lett tilgjengelig.’

Minimal-pareksempler i RNPC-utfordringen hvor SOTA-modellene gjorde feil.

I eksemplene ovenfor, feilet modellene, for eksempel, å skille semantisk forskjell mellom en død farlig dyreart (dvs. en predator som ikke utgjør noen trussel fordi den er død) og en farlig død dyreart (slik som en død ekorn, som kan inneholde en skadelig virus, og er en nåværende aktiv trussel).

(I tillegg, selv om artikkelen ikke berører det, brukes ‘død’ ofte som adverb, som ikke dekker noen av disse tilfellene)

Likevel fant forskerne også at tilleggs- eller supplerende trening som inkluderer RNPC-materiale kan løse problemet:

‘Forhånds-trente språkmodeller med SOTA-ytelse på NLU-benchmark har dårlig mesterhet over denne kunnskapen, men kan likevel lære den når de blir eksponert for små mengder data fra RNPC.’

Forskerne argumenterer for at en språkmodells evne til å navigere rekursive strukturer av denne typen er essensiell for nedstrømsoppgaver som språkanalyse, oversettelse og gjør et spesielt tilfelle for dens viktighet i skade-deteksjonsrutiner:

‘[Vi] betrakter scenariet hvor en bruker interagerer med en oppgave-orientert agent som Siri eller Alexa, og agenten må bestemme om aktivitetene i brukerens spørring er potensielt skadelig [dvs. for mindreårige]. Vi velger denne oppgaven fordi mange feilpositive kommer fra rekursive NPs.

‘For eksempel, hvordan lage en hjemmelaget bombe er åpenbart skadelig, mens hvordan lage en hjemmelaget badebombe er harmløs.’

Artikkelen hele artikkelen heter Er “min nye favorittfilm” min favorittfilm? Undersøkelse av forståelse av rekursive substantivfraser, og kommer fra fem forskere ved University of Pennsylvania og en ved Peking University.

Data og metode

Selv om tidligere arbeid har studert syntaktisk struktur av rekursive NPs og semantisk kategorisering av modifikatorer, er ingen av disse tilnærmingene tilstrekkelige, ifølge forskerne, for å møte utfordringen.

Derfor, basert på bruk av rekursive substantivfraser med to modifikatorer, har forskerne søkt å etablere om forutsetningskunnskapen finnes i SOTA NLP-systemer (den gjør det ikke); om den kan læres til dem (den kan); hva NLP-systemer kan lære fra rekursive NPs; og på hvilke måter slik kunnskap kan være til nytte for nedstrømsapplikasjoner.

Datasettet forskerne brukte, ble laget i fire trinn. Først var konstruksjonen av en modifikator-ordliste som inneholdt 689 eksempler hentet fra tidligere litteratur og nytt arbeid.

Derefter samlet forskerne rekursive NPs fra litteratur, eksisterende korpus og egne tilføyelser. Tekstlige ressurser inkluderte Penn Treebank og Annotated Gigaword-korpus.

Så hyret forskerne forhånds-skreende studenter for å lage eksempler for de tre oppgavene som språkmodellene skulle møte, og validerer dem deretter til 8 260 gyldige instanser.

Til slutt ble flere forhånds-skreende studenter hyret, denne gangen via Amazon Mechanical Turk, for å annotere hver instans som en Human Intelligence Task (HIT), og avgjøre uenigheter på flertallsbasis. Dette reduserte instansene ned til 4 567 eksempler, som ble ytterligere filtrert ned til 3 790 mer balanserte instanser.

Forskerne tilpasset ulike eksisterende datasett for å formulere de tre seksjonene av deres testhypoteser, inkludert MNLI, SNLI, MPE og ADEPT, og trente alle SOTA-modellene selv, med unntak av HuggingFace-modellen, hvor en checkpoint ble brukt.

Resultater

Forskerne fant at alle modellene “sliter” på RNPC-oppgaver, i motsetning til et pålitelig 90%+ nøyaktighetspoeng for mennesker, med SOTA-modellene som utfører på “tilfeldig” nivå (dvs. uten noen innbygget evne i forhold til tilfeldig svar).

Resultater fra forskernes tester. Her blir språkmodellene testet mot deres nøyaktighet på en eksisterende benchmark, med den sentrale linjen som representerer menneskelig ytelse i oppgavene.

Sekundære undersøkelser indikerer at disse manglene kan kompenseres for på trening- eller finjusteringsfasen av en NLP-modells pipeline ved å spesifikt inkludere kunnskap om rekursive substantivfraser. Når denne supplerende treningen ble gjennomført, oppnådde modellene ‘sterk null-skyt-performanse på en ekstern Skade-deteksjon [oppgaver]’.

Forskerne lover å slippe kode for dette arbeidet på https://github.com/veronica320/Recursive-NPs.

Opprinnelig publisert 16. desember 2021 – 17. desember 2021, 6:55 GMT+2: Korrigert brutt lenke.

* GPT-3 Ada, som er den raskeste, men ikke den beste i serien. Imidlertid er den større ‘showcase’-modellen Davinci ikke tilgjengelig for finjusteringen som utgjør den senere fasen av forskernes eksperimenter.

^† Min konvertering av inline-citater til lenker.