NLP Modelleri Recursive İsim Kalıplarını Anlamada Zorlanıyor

ABD ve Çin’den araştırmacılar, önde gelen Doğal Dil İşleme (NLP) modellerinin none’nin, varsayılan olarak, recursive noun phrases (NPs) içeren İngilizce cümlelerini çözme yeteneğine sahip olmadığını keşfettiler ve My favorite new movie ve My favorite movie (her biri farklı bir anlamı olan) gibi yakın ilgili örneklerde merkezi anlamı ayırt etmekte ‘zorlanıyorlar’.

Makaledeki bir başlık örneğinde, çocukların sık sık çözemediği küçük bir bulmaca: ikinci top yeşil, ancak beşinci top ‘ikinci yeşil top’. Kaynak: https://arxiv.org/pdf/2112.08326.pdf

Araştırmacılar, birkaç yerel olarak yüklenmiş açık kaynaklı dil oluşturma modeline Recursive Noun Phrase Challenge (RNPC) ayarladı: OpenAI’nin GPT-3*, Google’ın BERT ve Facebook’un RoBERTa ve BART, bu state-of-the-art modellerin yalnızca ‘şans’ performansı elde ettiğini buldu. Sonuç olarak^†:

‘Sonuçlar, standart benchmarklerin aynı formatında fine-tuned SOTA LM’lerin tümünün bizim datasetimizde zorlandığını gösteriyor, bu da hedef bilginin kolayca erişilebilir olmadığını gösteriyor.’

SOTA modellerin hatalı olduğu RNPC zorluğu minimal-çift örnekleri.

Yukarıdaki örneklerde, modeller, örneğin, öldürücü bir hayvan (yani tehdit oluşturmayan bir avcı) ve tehlikeli bir ölü hayvan (örneğin, zararlı bir virüs içeren bir ölü sincap, aktif bir tehdit) arasındaki anlamsal farklılığı ayırt edemedi.

(Ek olarak, makalede değinilmediği halde, ‘öldürücü’ sık sık bir zarf olarak kullanılır, bu da hiçbir durumda hitap etmez)

Ancak araştırmacılar, RNPC materyali içeren ek veya takviye eğitimin bu sorunu çözebileceğini de buldu:

‘NLU benchmarklerinde SOTA performansı olan ön-eğitimli dil modelleri bu bilginin zayıf bir şekilde hakimdir, ancak RNPC’den küçük miktarlarda veri ile öğrenilebilir.’

Araştırmacılar, bir dil modelinin bu tür recursive yapıları gezinme yeteneğinin, dil analizi, çeviri ve özellikle zarar algılama rutinleri gibi aşağı akış görevleri için temel olduğunu savunuyor:

‘[Biz] bir kullanıcıyla etkileşime giren bir görev odaklı ajan gibi Siri veya Alexa’nın senaryosunu düşünüyoruz ve ajanın kullanıcı sorgusundaki ilgili faaliyetin potansiyel olarak zararlı olup olmadığını belirlemesi gerekiyor [örneğin, küçüklere karşı]. Bu görevi seçiyoruz, çünkü birçok yanlış pozitif, recursive NPs’den geliyor.

‘Örneğin, evde bir bomba nasıl yapılır açıkça zararlıyken evde bir banyo bombası nasıl yapılır zararsız.’

Makale başlığı ‘Benim favori yeni filmim’ benim favori filmim mi? Recursive İsim Kalıplarının Anlaşılmasını Araştırma, Pennsylvania Üniversitesi’nden beş araştırmacı ve Peking Üniversitesi’nden bir araştırmacının eseridir.

Veri ve Yöntem

Önceki çalışmalar, recursive NPs’nin sentaktik yapısını incelemiştir ve değiştiricilerin anlamsal kategorizasyonunu araştırmıştır, ancak araştırmacılara göre bu yaklaşımlar bu zorluğu ele almak için yeterli değildir.

Bu nedenle, iki değiştirici ile recursive isim kalıplarının kullanımına dayanarak, araştırmacılar, SOTA NLP sistemlerinde ön koşul bilginin var olup olmadığını, var ise öğretilebileceğini, NLP sistemlerinin recursive NPs’den neler öğrenebileceğini ve bu bilginin aşağı akış uygulamalarına nasıl fayda sağlayabileceğini araştırmayı amaçladılar.

Araştırmacılar tarafından kullanılan veri kümesi dört aşamada oluşturuldu. İlk olarak, 689 örneği içeren bir değiştirici sözlüğü oluşturuldu, bu örnekler önceki literatürden ve yeni çalışmalardan alındı.

Sonraki aşamada, araştırmacılar, literatürden, mevcut corporalardan ve kendi icatlarından recursive NPs topladı. Metin kaynakları arasında Penn Treebank ve Annotated Gigaword corpusu yer aldı.

Ardından, araştırmacılar, dil modellerinin yüzleşeceği üç görev için örnekler oluşturmak üzere ön-elemeden geçirilmiş üniversite öğrencilerini işe aldı ve daha sonra bunları 8.260 geçerli örneğe doğruladı.

Son olarak, daha fazla ön-elemeden geçirilmiş üniversite öğrencileri, Amazon Mechanical Turk aracılığıyla işe alındı, bu örneklerin her birini İnsan Zekası Görevi (HIT) olarak annotating, çoğunluk temelinde uyuşmazlıkları çözdü. Bu, örneklerin 4.567 örneğe indirilmesine yol açtı, daha sonra daha dengeli 3.790 örnek için daha da filtrelenmiştir.

Araştırmacılar, çeşitli mevcut veri kümelerini uyarlayarak test hipotezlerinin üç bölümünü formüle etti, bunlar arasında MNLI, SNLI, MPE ve ADEPT yer alıyor, tüm SOTA modellerini kendileri eğitti, HuggingFace modeli hariç, burada bir kontrol noktası kullanıldı.

Sonuçlar

Araştırmacılar, tüm modellerin RNPC görevlerinde ‘zorlanmakta’ olduğunu, insanlarda güvenilir bir %90+’lük doğruluk puanı ile karşılaştırıldığında, SOTA modellerinin ‘şans’ seviyelerinde (yani, rastgele şansa karşı içkin yetenek kanıtı olmadan) performans gösterdiğini buldu.

Araştırmacıların testlerinden alınan sonuçlar. Burada, dil modelleri mevcut bir benchmarkteki doğrulukları ile test ediliyor, merkezi çizgi görevlerde eşdeğer insan performansı temsil ediyor.

İkincil araştırma hatları, bu eksikliklerin NLP modelinin eğitim veya fine-tuning aşamasında, özellikle recursive isim kalıplarının bilgisini dahil ederek telafi edilebileceğini gösteriyor. Bu takviye eğitimi aldıktan sonra, modeller ‘extrinsik Harm Detection [görevlerinde] güçlü sıfır-ateş performansı’ elde etti.

Araştırmacılar, bu çalışmanın kodunu https://github.com/veronica320/Recursive-NPs adresinde yayınlamayı vaat ediyor.

Aslen 16 Aralık 2021’de yayınlandı – 17 Aralık 2021, 06:55 GMT+2: Kırık hiper bağlantısı düzeltildi.

* GPT-3 Ada, serinin en hızlısı ancak en iyisi değil. Ancak, daha büyük ‘gösteri’ Davinci modeli, araştırmacıların deneylerinin sonraki aşamasını oluşturan fine-tuning için mevcut değildir.

^† İçli citasları hiper bağlantılara dönüştürme.