Mudelli NLP Jiġġieldu biex Jifhmu Frażijiet tan-Nom Rikursivi

Riċerkaturi mill-Istati Uniti u ċ-Ċina sabu li l-ebda wieħed mill-mudelli ewlenin tal-Ipproċessar tal-Lingwa Naturali (NLP) ma jidher li huwa kapaċi, awtomatikament, li jqaxxar sentenzi bl-Ingliż li fihom frażijiet tan-nomi rikorsivi (NPs), u 'taqbida' biex tidentifika t-tifsira ċentrali. f’eżempji relatati mill-qrib bħal Il-film ġdid favorit tiegħi u, Il-film favorit tiegħi (kull wieħed minnhom għandu tifsira differenti).

F'eżempju ewlieni mill-karta, hawnhekk hemm puzzle minuri li t-tfal spiss jonqsu milli jneħħu: it-tieni ballun huwa aħdar, iżda l- ħames ballun huwa t-'tieni ballun aħdar'. Sors: https://arxiv.org/pdf/2112.08326.pdf

Ir-riċerkaturi stabbilixxew Recursive Noun Phrase Challenge (RNPC) għal diversi mudelli ta' ġenerazzjoni ta' lingwa sors miftuħ installati lokalment: OpenAI's GPT-3*, Google's BERT, u Facebook's ROBERTa u, BART, li sabet li dawn il-mudelli l-aktar avvanzati kisbu biss prestazzjoni ta '"ċans". Huma jikkonkludu^†:

“Ir-riżultati juru li l-LMs tal-aktar avvanzata (SOTA) irfinati fuq standard punti ta 'referenza tal-istess format kollha jissieltu fuq is-sett tad-dejta tagħna, li jissuġġerixxi li l-għarfien fil-mira mhuwiex disponibbli faċilment.'

Eżempji ta' par minimi fl-isfida RNPC fejn il-mudelli SOTA għamlu żbalji.

Fl-eżempji ta 'hawn fuq, il-mudelli naqsu, pereżempju, milli jiddistingwu d-disparità semantika bejn annimal perikoluż mejjet (jiġifieri predatur li ma joħloq l-ebda theddida għax huwa mejjet) u a annimal mejjet perikoluż (bħal iskojjattlu mejjet, li jista 'jkun fih virus ta' ħsara, u huwa theddida attiva bħalissa).

(Barra minn hekk, għalkemm il-karta ma tmissx magħha, 'mejjet' tintuża wkoll ta' spiss bħala avverbju, li ma tindirizza l-ebda każ)

Madankollu, ir-riċerkaturi sabu wkoll li taħriġ addizzjonali jew supplimentari li jinkludi materjal RNPC jista 'jsolvi l-kwistjoni:

"Mudelli tal-lingwa mħarrġa minn qabel b'rendiment SOTA fuq punti ta' riferiment NLU għandhom ħakma fqira ta 'dan l-għarfien, iżda xorta jistgħu jitgħallmuh meta jkunu esposti għal ammonti żgħar ta' dejta mill-RNPC."

Ir-riċerkaturi jargumentaw li l-kapaċità ta 'mudell tal-lingwa li jinnaviga fi strutturi rikorsivi ta' dan it-tip hija essenzjali għal kompiti downstream bħall-analiżi tal-lingwa, it-traduzzjoni, u jagħmlu każ speċjali għall-importanza tiegħu fir-rutini ta 'skoperta tal-ħsara:

'[Aħna] nikkunsidraw ix-xenarju fejn utent jinteraġixxi ma' aġent orjentat lejn il-ħidma bħal Siri jew Alexa, u l-aġent jeħtieġ li jiddetermina jekk l-attività involuta fil-mistoqsija tal-utent hijiex potenzjalment ta' ħsara [jiġifieri lil minuri]. Aħna nagħżlu dan il-kompitu minħabba li ħafna pożittivi foloz ġejjin minn NPs rikorsivi.

'Pereżempju, kif tagħmel bomba homemade huwa ovvjament ta 'ħsara filwaqt li kif tagħmel bomba tal-banju homemade ma jagħmilx ħsara.'

il karta huwa intitolat "Il-film favorit tiegħi ġdid" huwa l-film favorit tiegħi? Probing tal-Fehim ta 'Frażijiet Nom Rikursivi, u ġej minn ħames riċerkaturi fl-Università ta’ Pennsylvania u wieħed fl-Università ta’ Peking.

Dejta u Metodu

Għalkemm ix-xogħol preċedenti għandu studjat struttura sintattika ta 'NPs rikorsivi u l- kategorizzazzjoni semantika tal-modifikaturi, l-ebda wieħed minn dawn l-approċċi mhu biżżejjed, skont ir-riċerkaturi, biex jindirizza l-isfida.

Għalhekk, ibbażat fuq l-użu ta 'frażijiet tan-nomi rikorsivi b'żewġ modifikaturi, ir-riċerkaturi fittxew li jistabbilixxu jekk l-għarfien prerekwiżit jeżistix fis-sistemi SOTA NLP (mhux); jekk tistax tiġi mgħallma lilhom (tista '); x'sistemi NLP jistgħu jitgħallmu minn NPs rikorsivi; u b'liema modi tali għarfien jista' jibbenefika applikazzjonijiet downstream.

Is-sett tad-dejta li użaw ir-riċerkaturi nħoloq f'erba 'stadji. L-ewwel kienet il-bini ta’ lessiku modifikatur li fih 689 eżempju meħuda minn letteratura preċedenti u xogħol ġdid.

Sussegwentement ir-riċerkaturi ġabru NPs rikorsivi mil-letteratura, corpus eżistenti, u żidiet tal-invenzjoni tagħhom stess. Ir-riżorsi tat-test kienu jinkludu l- Penn Treebank, U l- Gigaword annotata korpus.

Imbagħad it-tim impjega studenti tal-kulleġġ li ġew eżaminati minn qabel biex joħolqu eżempji għat-tliet kompiti li l-mudelli tal-lingwa kienu se jiffaċċjaw, u wara jivvalidawhom fi 8,260 każ validu.

Fl-aħħarnett, aktar studenti tal-kulleġġ skrinjati minn qabel ġew mikrija, din id-darba permezz tal-Amazon Mechanical Turk, biex jannotaw kull istanza bħala Task tal-Intelliġenza Umana (HIT), li jiddeċiedu tilwim fuq bażi ta 'maġġoranza. Dan naqqas l-istanzi għal 4,567 eżempju, li ġew iffiltrati aktar għal 3,790 każ aktar bilanċjat.

Ir-riċerkaturi adattaw diversi settijiet ta 'dejta eżistenti biex jifformulaw it-tliet sezzjonijiet tal-ipoteżi tal-ittestjar tagħhom, inklużi MNLI, SNLI, ŻMP u, ADEPT, taħriġ lill-mudelli SOTA kollha nfushom, bl-eċċezzjoni tal-mudell HuggingFace, fejn intuża checkpoint.

Riżultati

Ir-riċerkaturi sabu li l-mudelli kollha "jissieltu" fuq il-kompiti RNPC, kontra punteġġ affidabbli ta 'preċiżjoni ta' 90% + għall-bnedmin, bil-mudelli SOTA jwettqu f'livelli ta '"ċans" (jiġifieri mingħajr ebda evidenza ta' kapaċità intrinsika versus ċans każwali bħala rispons).

Riżultati mit-testijiet tar-riċerkaturi. Hawnhekk il-mudelli tal-lingwa huma ttestjati kontra l-eżattezza tagħhom fuq benchmark eżistenti, bil-linja ċentrali tirrappreżenta prestazzjoni umana ekwivalenti fil-kompiti.

Linji sekondarji ta 'investigazzjoni jindikaw li dawn in-nuqqasijiet jistgħu jiġu kkumpensati fil-fażi ta' taħriġ jew irfinar ta 'pipeline ta' mudell NLP billi speċifikament jinkludi għarfien ta 'frażijiet tan-nomi rikorsivi. Ladarba dan it-taħriġ supplimentari sar, il-mudelli nkisbu 'prestazzjoni b'saħħitha zero-shot fuq [kompiti] ta' Sejbien ta' Ħsara estrinsiċi'.

Ir-riċerkaturi jwiegħdu li jirrilaxxaw il-kodiċi għal dan ix-xogħol fuq https://github.com/veronica320/Recursive-NPs.

Ippublikat oriġinarjament fis-16 ta' Diċembru 2021 – 17 ta' Diċembru 2021, 6:55am GMT+2: Ikkoreġut iperlink miksur.

* GPT-3 Ada, li huwa l-aktar veloċi iżda mhux l-aħjar tas-serje. Madankollu, il-mudell akbar ta ''vetrina' Davinci mhuwiex disponibbli għall-irfinar li jinkludi l-frażi aktar tard tal-esperimenti tar-riċerkaturi.

^† Il-konverżjoni tiegħi taċ-ċitazzjonijiet inline għal hyperlinks.