Model NLP Mengalami Kesusahan untuk Memahami Frasa Nama Berulang

Peneliti dari AS dan Cina telah menemukan bahwa tidak ada model Natural Language Processing (NLP) terkemuka yang tampaknya mampu, secara default, untuk memahami kalimat bahasa Inggris yang memiliki frasa nama berulang (NPs), dan ‘berjuang’ untuk membedakan makna sentral dalam contoh-contoh yang terkait erat seperti film baru favorit saya dan film favorit saya (masing-masing memiliki makna yang berbeda).

Dalam contoh utama dari makalah ini, berikut adalah teka-teki kecil yang sering gagal dipecahkan anak-anak: bola kedua berwarna hijau, tetapi bola kelima adalah ‘bola hijau kedua’. Sumber: https://arxiv.org/pdf/2112.08326.pdf

Para peneliti mengatur Tantangan Frasa Nama Berulang (RNPC) untuk beberapa model bahasa terbuka yang dipasang secara lokal: OpenAI’s GPT-3*, Google’s BERT, dan Facebook’s RoBERTa dan BART, menemukan bahwa model-model ini hanya mencapai ‘kesempatan’ performa. Mereka menyimpulkan^†:

‘Hasil menunjukkan bahwa model bahasa terkemuka (SOTA) yang difine-tuning pada benchmark standar dengan format yang sama semua berjuang pada dataset kami, menunjukkan bahwa pengetahuan target tidak tersedia dengan mudah.’

Contoh pasangan minimal dalam tantangan RNPC di mana model SOTA melakukan kesalahan.

Dalam contoh di atas, model-model gagal, misalnya, untuk membedakan disparitas semantik antara hewan berbahaya yang mati (yaitu predator yang tidak berbahaya karena sudah mati) dan hewan mati yang berbahaya (seperti tikus mati yang mungkin mengandung virus berbahaya dan merupakan ancaman aktif).

(Selain itu, meskipun makalah ini tidak membahasnya, ‘mati’ juga sering digunakan sebagai kata kerja, yang tidak mengatasi kasus mana pun)

Namun, para peneliti juga menemukan bahwa pelatihan tambahan atau suplemen yang mencakup materi RNPC dapat menyelesaikan masalah ini:

‘Model bahasa pra-dilatih dengan kinerja SOTA pada benchmark NLU memiliki penguasaan pengetahuan yang buruk, tetapi masih dapat belajar ketika terpapar sejumlah kecil data dari RNPC.’

Para peneliti berpendapat bahwa kemampuan model bahasa untuk menavigasi struktur berulang seperti ini sangat penting untuk tugas-tugas hilir seperti analisis bahasa, terjemahan, dan membuat kasus khusus untuk pentingnya dalam rutinitas deteksi bahaya:

‘[Kami] mempertimbangkan skenario di mana pengguna berinteraksi dengan agen tugas-berorientasi seperti Siri atau Alexa, dan agen perlu menentukan apakah aktivitas yang terlibat dalam kueri pengguna berpotensi berbahaya [yaitu bagi anak-anak]. Kami memilih tugas ini karena banyak hasil positif palsu berasal dari frasa nama berulang.

‘Misalnya, bagaimana membuat bom buatan sendiri jelas berbahaya sementara bagaimana membuat bom mandi buatan sendiri tidak berbahaya.’

Makalah ini berjudul ‘Apakah “film baru favorit saya” sama dengan “film favorit saya”? Menguji Pemahaman Frasa Nama Berulang, dan berasal dari lima peneliti di University of Pennsylvania dan satu di Peking University.

Data dan Metode

Meskipun pekerjaan sebelumnya telah mempelajari struktur sintaksis dari frasa nama berulang dan kategorisasi semantik dari modifikasi, tidak satu pun dari pendekatan ini cukup, menurut para peneliti, untuk menangani tantangan.

Oleh karena itu, berdasarkan penggunaan frasa nama berulang dengan dua modifikasi, para peneliti telah berusaha untuk menetapkan apakah pengetahuan prasyarat ada di sistem NLP SOTA (tidak ada); apakah dapat diajarkan kepada mereka (bisa); apa yang dapat dipelajari model NLP dari frasa nama berulang; dan dengan cara apa pengetahuan tersebut dapat bermanfaat bagi aplikasi hilir.

Dataset yang digunakan oleh para peneliti dibuat dalam empat tahap. Pertama adalah konstruksi leksikon modifikasi yang berisi 689 contoh yang diambil dari literatur sebelumnya dan karya baru.

Selanjutnya, para peneliti mengumpulkan frasa nama berulang dari literatur, korpus yang ada, dan tambahan ciptaan mereka sendiri. Sumber tekstual termasuk Penn Treebank, dan Annotated Gigaword korpus.

Kemudian, tim mempekerjakan mahasiswa pra-saring untuk membuat contoh untuk tiga tugas yang akan dihadapi model bahasa, memvalidasi mereka setelahnya menjadi 8.260 contoh yang valid.

Akhirnya, lebih banyak mahasiswa pra-saring dippekerjakan, kali ini melalui Amazon Mechanical Turk, untuk menandai setiap contoh sebagai Tugas Intelijen Manusia (HIT), menentukan perselisihan berdasarkan mayoritas. Ini mengurangi contoh menjadi 4.567 contoh, yang kemudian difilter lebih lanjut menjadi 3.790 contoh yang lebih seimbang.

Para peneliti menyesuaikan dataset yang ada untuk merumuskan tiga bagian dari hipotesis pengujian mereka, termasuk MNLI, SNLI, MPE dan ADEPT, melatih semua model SOTA sendiri, kecuali model HuggingFace, di mana checkpoint digunakan.

Hasil

Para peneliti menemukan bahwa semua model ‘berjuang’ pada tugas RNPC, dibandingkan dengan skor akurasi yang dapat diandalkan 90%+ untuk manusia, dengan model SOTA melakukan pada tingkat ‘kesempatan’ (yaitu tanpa bukti kemampuan bawaan versus kesempatan acak dalam respons).

Hasil dari pengujian para peneliti. Di sini, model bahasa diuji terhadap akurasi mereka pada benchmark yang ada, dengan garis tengah yang mewakili kinerja manusia yang setara dalam tugas.

Garisi sekunder investigasi menunjukkan bahwa kekurangan ini dapat dikompensasikan pada fase pelatihan atau fine-tuning pipa model NLP dengan secara khusus memasukkan pengetahuan tentang frasa nama berulang. Setelah pelatihan tambahan ini dilakukan, model-model mencapai ‘kinerja zero-shot yang kuat pada tugas Deteksi Bahaya eksternal’.

Para peneliti berjanji untuk merilis kode untuk pekerjaan ini di https://github.com/veronica320/Recursive-NPs.

Aslinya diterbitkan pada 16 Desember 2021 – 17 Desember 2021, 6:55 pagi GMT+2: Perbaikan tautan yang rusak.

* GPT-3 Ada, yang merupakan yang tercepat tetapi tidak yang terbaik dari seri ini. Namun, model Davinci yang lebih besar tidak tersedia untuk fine-tuning yang merupakan bagian dari fase eksperimen para peneliti.

^† Konversi saya dari kutipan inline ke tautan.