NLP մոդելները պայքարում են ռեկուրսիվ գոյական արտահայտությունները հասկանալու համար

ԱՄՆ-ի և Չինաստանի հետազոտողները պարզել են, որ բնական լեզվի մշակման (NLP) առաջատար մոդելներից և ոչ մեկը, ըստ նախնականի, ի վիճակի չէ պարզել անգլերեն նախադասությունները, որոնք պարունակում են ռեկուրսիվ գոյական արտահայտություններ (NP) և «պայքարում» առանձնացնել կենտրոնական իմաստը: սերտ առնչվող օրինակներում, ինչպիսիք են Իմ սիրելի նոր ֆիլմը և Իմ սիրած ֆիլմը (որոնցից յուրաքանչյուրն ունի տարբեր նշանակություն):

Թերթի վերնագրի օրինակում կա մի փոքր հանելուկ, որը երեխաները հաճախ չեն կարողանում հանել. երկրորդ գնդակը կանաչ է, բայց հինգերորդ գնդակը «երկրորդ կանաչ գնդակն է»: Աղբյուր՝ https://arxiv.org/pdf/2112.08326.pdf

Հետազոտողները սահմանել են Recursive Noun Phrase Challenge (RNPC) մի քանի տեղական տեղադրված բաց կոդով լեզուների ստեղծման մոդելների համար՝ OpenAI-ի GPT-3*, Google-ի ԲԵՐՏև Facebook-ի ՌոԲԵՐՏա և BART, պարզելով, որ այս գերժամանակակից մոդելները հասել են միայն «պատահական» աշխատանքի: Նրանք եզրակացնում են^†:

«Արդյունքները ցույց են տալիս, որ գերժամանակակից (SOTA) LM-ները լավ կարգավորվել են ստանդարտով հենանիշները նույն ձևաչափով բոլորը պայքարում են մեր տվյալների բազայի վրա՝ ենթադրելով, որ թիրախային գիտելիքները մատչելի չեն:

Նվազագույն զույգերի օրինակներ RNPC մարտահրավերում, որտեղ SOTA մոդելները սխալներ են թույլ տվել:

Վերոհիշյալ օրինակներում մոդելները, օրինակ, չկարողացան տարբերակել իմաստային անհամամասնությունը մահացած վտանգավոր կենդանի (այսինքն՝ գիշատիչ, որը ոչ մի վտանգ չի ներկայացնում, քանի որ մեռած է) և ա վտանգավոր սատկած կենդանի (օրինակ՝ սատկած սկյուռը, որը կարող է վնասակար վիրուս պարունակել և ներկայումս ակտիվ սպառնալիք է):

(Բացի այդ, թեև թուղթը չի դիպչում դրան, հաճախ օգտագործվում է նաև «մեռած»: որպես մակդիր, որը չի վերաբերում ոչ մի դեպքին)

Այնուամենայնիվ, հետազոտողները նաև պարզել են, որ լրացուցիչ կամ լրացուցիչ ուսուցումը, որը ներառում է RNPC նյութը, կարող է լուծել խնդիրը.

«Նախապես վերապատրաստված լեզուների մոդելները SOTA կատարողականությամբ NLU չափորոշիչների վրա թույլ չեն տիրապետում այս գիտելիքներին, բայց դեռ կարող են սովորել այն, երբ ենթարկվում են RNPC-ի փոքր քանակությամբ տվյալներին»:

Հետազոտողները պնդում են, որ լեզվական մոդելի՝ այս տիպի ռեկուրսիվ կառույցները նավարկելու կարողությունը էական է ներքևի խնդիրների համար, ինչպիսիք են լեզվի վերլուծությունը, թարգմանությունը, և դրա կարևորությունը վնասի հայտնաբերման առօրյայում հատուկ է:

«[Մենք] դիտարկում ենք այն սցենարը, երբ օգտատերը փոխազդում է առաջադրանքների վրա հիմնված գործակալի հետ, ինչպիսիք են Siri-ն կամ Alexa-ն, և գործակալը պետք է որոշի, թե արդյոք օգտագործողի հարցումում ներգրավված գործունեությունը պոտենցիալ վնասակար է։ [այսինքն՝ անչափահասներին]. Մենք ընտրում ենք այս առաջադրանքը, քանի որ շատ կեղծ պոզիտիվներ գալիս են ռեկուրսիվ NP-ներից:

'Օրինակ, ինչպես պատրաստել ինքնաշեն ռումբ ակնհայտորեն վնասակար է, մինչդեռ ինչպես պատրաստել տնական լոգանքի ռումբ անվնաս է։

The թուղթ վերնագրված է Արդյո՞ք «իմ սիրած նոր ֆիլմը» իմ սիրելի ֆիլմն է: Հետազոտելով ռեկուրսիվ գոյական արտահայտությունների ըմբռնումը, և գալիս է Փենսիլվանիայի և Պեկինի համալսարանի հինգ հետազոտողներից:

Տվյալներ և մեթոդ

Չնայած նախնական աշխատանքն ունի սովորել ռեկուրսիվ NP-ների շարահյուսական կառուցվածքը և Փոփոխիչների իմաստային դասակարգում, այս մոտեցումներից և ոչ մեկը բավարար չէ, ըստ հետազոտողների, մարտահրավերը լուծելու համար:

Հետևաբար, երկու փոփոխիչներով ռեկուրսիվ գոյական բառակապակցությունների կիրառման հիման վրա հետազոտողները փորձել են պարզել, թե արդյոք նախադրյալ գիտելիքը գոյություն ունի SOTA NLP համակարգերում (դա չկա); արդյոք դա կարելի է սովորեցնել նրանց (կարող է); ինչ NLP համակարգերը կարող են սովորել ռեկուրսիվ NP-ներից; և ինչ ձևերով կարող են նման գիտելիքները օգուտ քաղել հոսանքով ներքևող ծրագրերին:

Հետազոտողների կողմից օգտագործված տվյալների հավաքածուն ստեղծվել է չորս փուլով: Առաջինը ձևափոխիչ բառապաշարի կառուցումն էր, որը պարունակում է 689 օրինակներ՝ վերցված նախորդ գրականությունից և վեպերից:

Հետագայում հետազոտողները հավաքեցին ռեկուրսիվ NP-ներ գրականությունից, գոյություն ունեցող կորպուսներից և իրենց իսկ գյուտի հավելումներից: Տեքստային ռեսուրսները ներառում էին Penn TreebankԵւ Նշված Gigaword կորպուս.

Այնուհետև թիմը վարձեց նախապես ստուգված քոլեջի ուսանողներին՝ օրինակներ ստեղծելու երեք առաջադրանքների համար, որոնց պետք է դիմագրավեն լեզվական մոդելները՝ դրանք հետագայում վավերացնելով 8,260 վավեր օրինակներում:

Ի վերջո, նախապես ստուգված քոլեջի ավելի շատ ուսանողներ ընդունվեցին աշխատանքի, այս անգամ Amazon Mechanical Turk-ի միջոցով, որպեսզի յուրաքանչյուր դեպք նշեն որպես մարդկային հետախուզական առաջադրանք (HIT)՝ որոշում կայացնելով վեճերը մեծամասնության հիման վրա: Սա նվազեցրեց դեպքերը մինչև 4,567 օրինակ, որոնք հետագայում զտվեցին մինչև 3,790 ավելի հավասարակշռված օրինակներ:

Հետազոտողները հարմարեցրեցին գոյություն ունեցող տվյալների տարբեր հավաքածուներ՝ ձևակերպելու իրենց փորձարկման վարկածների երեք բաժինները, ներառյալ MNLI, SNLI, MPE- ն և ԱԴԵՊՏSOTA-ի բոլոր մոդելներն իրենք են մարզում, բացառությամբ HuggingFace մոդելի, որտեղ կիրառվել է անցակետ։

Արդյունքներ

Հետազոտողները պարզել են, որ բոլոր մոդելները «պայքարում են» RNPC առաջադրանքների վրա՝ մարդկանց համար 90%+ ճշտության գնահատականի դիմաց, SOTA մոդելները գործում են «պատահական» մակարդակներում (այսինքն՝ առանց բնածին ունակության որևէ ապացույցի և ի պատասխան պատահական պատահականության):

Հետազոտողների թեստերի արդյունքները. Այստեղ լեզվական մոդելները փորձարկվում են իրենց ճշգրտության համեմատ գոյություն ունեցող հենանիշի վրա, որի կենտրոնական գիծը ներկայացնում է առաջադրանքներում մարդու համարժեք կատարումը:

Հետազոտության երկրորդական գծերը ցույց են տալիս, որ այս թերությունները կարող են փոխհատուցվել NLP մոդելի խողովակաշարի վերապատրաստման կամ ճշգրտման փուլում՝ հատուկ ներառելով ռեկուրսիվ գոյական արտահայտությունների իմացությունը: Երբ այս լրացուցիչ ուսուցումն իրականացվեց, մոդելները հասան «Զրո կրակոցի ուժեղ կատարում արտաքին վնասի հայտնաբերման [առաջադրանքների] վրա».

Հետազոտողները խոստանում են հրապարակել այս աշխատանքի կոդը ժամը https://github.com/veronica320/Recursive-NPs.

Սկզբնապես հրապարակվել է 16 թվականի դեկտեմբերի 2021-ից 17 թվականի դեկտեմբերի 2021-ը, ժամը 6:55 GMT+2. Ուղղված կոտրված հիպերհղումը:

* GPT-3 Ada, որն ամենաարագն է, բայց ոչ լավագույնը շարքից: Այնուամենայնիվ, ավելի մեծ «ցուցափեղկ» Davinci մոդելը հասանելի չէ ճշգրտման համար, որը ներառում է հետազոտողների փորձերի հետագա արտահայտությունը:

^† Ներքին մեջբերումների իմ փոխակերպումը հիպերհղումների: