Doğal Dil İşleme Modelleri Özyinelemeli İsim Kalıplarını Anlamada Zorlanıyor

Araştırmacılar, ABD ve Çin’den, özyinelemeli isim kalıplarını (NP’ler) içeren İngilizce cümleleri çözmede none của önde gelen Doğal Dil İşleme (NLP) modellerinin yeteneksiz olduğunu buldu. Benim favori yeni filmim ve Benim favori filmim gibi örneklerde merkezi anlamı ayırt edemezler.

Örnekte, çocuklar sık sık çözemedikleri küçük bir bulmaca: ikinci top yeşildir, ancak beşinci top ‘ikinci yeşil top’tur. Kaynak: https://arxiv.org/pdf/2112.08326.pdf

Araştırmacılar, OpenAI’nin GPT-3*, Google’ın BERT ve Facebook’un RoBERTa ve BART dahil olmak üzere çeşitli açık kaynaklı dil oluşturma modellerine Özyinelemeli İsim Kalıbı Mücadelesini (RNPC) sundu. Bu modeller ‘şans’ düzeyinde performans gösterdi. Araştırmacılar,

‘Sonuçlar, standart benchmarklerde fine-tune edilmiş SOTA modellerin RNPC’de zorlandığını gösteriyor, bu da hedef bilginin kolayca erişilemez olduğunu gösteriyor.’

RNPC mücadelesinde SOTA modellerinin hatalar yaptığı minimal çift örnekler.

Örneğin, modeller öldürücü bir hayvan (i.e. bir tehdit oluşturan bir hayvan, ancak ölü olduğu için tehlike oluşturmaz) ve tehlikeli bir ölü hayvan (örneğin, bir ölü sincap, zararlı bir virüs içerebilir ve aktif bir tehdittir) arasındaki anlamsal farklılığı ayırt edemez.

(Ek olarak, makalede bahsedilmediği halde, ‘öldü’ sıklıkla zamir olarak kullanılır, bu da hiçbir durumda uygulanmaz)

Ancak araştırmacılar, RNPC materyali içeren ek veya takviye eğitimin bu sorunu çözebileceğini de buldu:

‘NLU benchmarklerinde SOTA performansı gösteren ön-eğitimli dil modelleri bu bilginin zayıf bir şekilde hakimiyetini sağlar, ancak RNPC’den küçük miktarlarda veri ile öğrenilebilir.’

Araştırmacılar, bir dil modelinin bu tür özyinelemeli yapıları gezme yeteneğinin, dil analizi, çeviri ve zarar tespiti gibi aşağı akış görevleri için gerekli olduğunu savunuyor:

‘Kullanıcı, Siri veya Alexa gibi görev odaklı bir ajanla etkileşime girdiğinde ve ajanın kullanıcı sorgusundaki faaliyetin potansiyel olarak zararlı olup olmadığını belirlemesi gerektiğini düşünüyoruz [i.e. küçüklere karşı]. Bu görevi seçtik, çünkü birçok yanlış pozitif sonuç özyinelemeli NP’lerden kaynaklanıyor.

‘Örneğin, ev yapımı bir bomba nasıl yapılır açıkça zararlıdır, ancak ev yapımı bir banyo bombası nasıl yapılır zararsızdır.’

Makale, ‘Benim favori yeni filmim’ benim favori filmim mi? Özyinelemeli İsim Kalıplarının Anlaşılması başlığını taşıyor ve Pennsylvania Üniversitesi’nden beş ve Peking Üniversitesi’nden bir araştırmacı tarafından yazılmıştır.

Veri ve Yöntem

Önceki çalışmalar, özyinelemeli NP’lerin sentaktik yapısını incelemiştir ve değiştiricilerin anlamsal kategorizasyonunu ele almıştır, ancak araştırmacılara göre bu yaklaşımlar bu zorluğu ele almak için yeterli değildir.

Bu nedenle, araştırmacılar iki değiştirici ile özyinelemeli isim kalıplarının kullanımına dayanarak, SOTA NLP sistemlerinde bu ön bilginin varlığını belirlemek, öğretilebileceğini, NLP sistemlerinin özyinelemeli NP’lerden neler öğrenebileceğini ve bu bilginin aşağı akış uygulamalarına nasıl fayda sağlayabileceğini araştırmayı amaçladı.

Araştırmacılar tarafından kullanılan veri seti dört aşamada oluşturuldu. İlk olarak, 689 örnekten oluşan bir değiştirici sözlüğü oluşturuldu.

Sonraki aşamada, araştırmacılar literatürden, mevcut corporalardan ve kendi yaratıcılıklarından özyinelemeli NP’leri topladı. Metin kaynakları arasında Penn Treebank ve Annotated Gigaword corporası yer aldı.

Daha sonra, araştırmacılar ön seçilmiş üniversite öğrencilerini görevleri gerçekleştirmek için işe aldı ve daha sonra örnekleri 8.260 geçerli örneğe doğruladı.

Son olarak, Amazon Mechanical Turk aracılığıyla daha fazla ön seçilmiş üniversite öğrencisi işe alındı ve her örneği İnsan Zekası Görevi (HIT) olarak adlandırdı ve çoğunluk temelinde anlaşmazlıkları çözdü. Bu, örnekleri 4.567 örneğe düşürdü ve daha sonra 3.790 daha dengeli örneğe indirildi.

Araştırmacılar, çeşitli mevcut veri setlerini üç test hipotezini formüle etmek için uyarladı, MNLI, SNLI, MPE ve ADEPT dahil, tüm SOTA modellerini kendileri eğitti, HuggingFace modeli dışında, burada bir kontrol noktası kullanıldı.

Sonuçlar

Araştırmacılar, tüm modellerin RNPC görevlerinde ‘zorlandığını’ buldu, insanların güvenilir 90%+ doğruluk puanına kıyasla, SOTA modelleri ‘şans’ düzeyinde (i.e. rastgele şansa kıyasla içkin bir yetenek göstermedi) performans gösterdi.

Araştırmacıların testlerinden alınan sonuçlar. Burada, dil modelleri mevcut bir benchmarkte doğruluklarına karşı test ediliyor ve merkezi çizgi görevlerdeki eşdeğer insan performansını temsil ediyor.

İkincil araştırma hatları, bu eksikliklerin bir NLP modelinin eğitim veya fine-tuning aşamasında özyinelemeli isim kalıplarının bilgisini dahil ederek telafi edilebileceğini gösteriyor. Bu ek eğitimi aldıktan sonra, modeller ‘Harm Detection [görevlerinde] güçlü sıfır-şanslı performans gösterdi’.

Araştırmacılar, bu çalışmanın kodunu https://github.com/veronica320/Recursive-NPs adresinde yayınlamayı vaat ediyor.

Önceden 16 Aralık 2021’de yayımlanmıştır – 17 Aralık 2021, 6:55 sabahı GMT+2: Kırık hiper bağlantıyı düzeltildi.

* GPT-3 Ada, serinin en hızlısı ancak en iyisi değil. Ancak, daha büyük ‘showcase’ Davinci modeli, araştırmacıların deneylerinin sonraki aşamasını oluşturan fine-tuning için mevcut değil.

^† İç réféanslardan hiper bağlantılara dönüştürmem.