NLP-modeller kæmper med at forstå rekursive substantivfraser

Forskere fra USA og Kina har fundet ud af, at ingen af de førende Natural Language Processing (NLP)-modeller synes at være i stand til at afkode engelske sætninger, der indeholder rekursive substantivfraser (NPs), og “kæmper” for at individuere den centrale mening i nært beslægtede eksempler som Min yndlings nye film og Min yndlingsfilm (hver af disse har en anden betydning).

I en overskriftseksempel fra artiklen er her et lille puzzle, som børn ofte ikke kan løse: den anden bold er grøn, men den femte bold er den ‘andengrønne bold’. Kilde: https://arxiv.org/pdf/2112.08326.pdf

Forskerne har sat en Rekursiv Substantivfrase Udfordring (RNPC) for flere lokalt installeret open source-sprogmodeller: OpenAI’s GPT-3*, Google’s BERT, og Facebook’s RoBERTa og BART, og fundet ud af, at disse state-of-the-art-modeller kun opnåede ’tilfældig’ præstation. De konkluderer^†:

‘Resultaterne viser, at state-of-the-art (SOTA) LMs, der er fintuned på standard benchmarks af samme format, alle kæmper på vores dataset, hvilket tyder på, at målviden ikke er lettilgængelig.’

Minimal-pareksempler i RNPC-udfordringen, hvor SOTA-modellerne gjorde fejl.

I de ovenstående eksempler fejlede modellerne, for eksempel, at skelne mellem den semantiske forskel mellem en død farlig dyret (dvs. en predator, der ikke udgør nogen trussel, fordi den er død) og en farlig død dyret (såsom en død egern, der kan indeholde en skadelig virus og er en aktuel trussel).

(Desuden, selvom artiklen ikke berører det, bruges ‘død’ ofte også som adverb, hvilket ikke omhandler nogen af disse tilfælde)

Dog fandt forskerne også ud af, at yderligere eller supplerende træning, der inkluderer RNPC-materiale, kan løse problemet:

‘Forudtrænede sprogmodeller med SOTA-præstation på NLU-benchmarks har dårlig herredømme over denne viden, men kan stadig lære den, når de udsættes for små mængder data fra RNPC.’

Forskerne argumenterer for, at en sprogmodells evne til at navigere i rekursive strukturer af denne type er afgørende for downstream-opgaver som sproganalyse, oversættelse og gør et særligt tilfælde for dets betydning i skade-detectionsroutiner:

‘[Vi] overvejer scenariet, hvor en bruger interagerer med en task-orienteret agent som Siri eller Alexa, og agenten skal bestemme, om den involverede aktivitet i brugerens forespørgsel er potentielt skadelig [dvs. for mindreårige]. Vi vælger denne opgave, fordi mange falske positiver kommer fra rekursive NPs.

‘For eksempel, hvordan man laver en hjemmelavet bombe er åbenlyst skadeligt, mens hvordan man laver en hjemmelavet badebombe er harmløs.’

Den artikel er titlen Er “min yndlings nye film” min yndlingsfilm? Undersøgelse af forståelsen af rekursive substantivfraser, og kommer fra fem forskere ved University of Pennsylvania og en ved Peking University.

Data og metode

Selvom tidligere arbejde har studere den syntaktiske struktur af rekursive NPs og den semantiske kategorisering af modificatorer, er ingen af disse tilgange tilstrækkelige, ifølge forskerne, til at imødekomme udfordringen.

Derfor har forskerne, baseret på brugen af rekursive substantivfraser med to modificatorer, søgt at fastslå, om den nødvendige viden findes i SOTA NLP-systemer (den gør ikke); om den kan læres til dem (den kan); hvad NLP-systemer kan lære af rekursive NPs; og på hvilke måder sådan viden kan gavne downstream-applikationer.

Datasettet, som forskerne brugte, blev oprettet i fire faser. Først var opbygningen af en modificator-ordbog, der indeholdt 689 eksempler hentet fra tidligere litteratur og nyt arbejde.

Derefter samlede forskerne rekursive NPs fra litteratur, eksisterende korpus og tilføjelser af deres egen opfindelse. Tekstlige ressourcer inkluderede Penn Treebank og Annotated Gigaword-korpus.

Derefter hyrede holdet forudscreenede studerende til at oprette eksempler for de tre opgaver, som sprogmodellerne ville stå overfor, og validerede dem herefter til 8.260 gyldige instanser.

Til sidst hyrede holdet yderligere forudscreenede studerende, denne gang via Amazon Mechanical Turk, til at annotere hver instans som en Human Intelligence Task (HIT), og afgøre uenigheder på basis af flertal. Dette reducerede instanserne til 4.567 eksempler, som herefter blev filtreret ned til 3.790 mere balancerede instanser.

Forskerne tilpassede forskellige eksisterende dataset til at formulerer de tre sektioner af deres testhypoteser, herunder MNLI, SNLI, MPE og ADEPT, og trænede alle SOTA-modellerne selv, med undtagelse af HuggingFace-modellen, hvor en checkpoint blev brugt.

Resultater

Forskerne fandt ud af, at alle modeller “kæmpede” på RNPC-opgaver, i modsætning til et pålideligt 90%+ nøjagtighedsscore for mennesker, og at SOTA-modellerne opnåede “tilfældig” præstation (dvs. uden nogen bevis for indre evne i forhold til tilfældig chance i respons).

Resultater fra forskernes tests. Her er sprogmodellerne testet mod deres nøjagtighed på en eksisterende benchmark, med den centrale linje repræsenterende menneskelig præstation i opgaverne.

Sekundære undersøgelser viser, at disse mangler kan kompenseres for i trænings- eller fintuningsfasen af en NLP-modells pipeline ved specifikt at inkludere viden om rekursive substantivfraser. Når denne supplerende træning blev gennemført, opnåede modellerne ‘stærk zero-shot-præstation på en ekstern Skade-detection [opgave]’.

Forskerne lover at udgive koden for dette arbejde på https://github.com/veronica320/Recursive-NPs.

Originalt publiceret 16. december 2021 – 17. december 2021, 6:55 GMT+2: Rettede en brudt hyperlink.

* GPT-3 Ada, som er den hurtigste, men ikke den bedste i serien. Dog er den større ‘showcase’ Davinci-model ikke tilgængelig for den fintuning, der udgør den senere fase af forskernes eksperimenter.

^† Min konvertering af inline-citationer til hyperlinks.