Mendapatkan NLP untuk Menantang Pertanyaan yang Keliru

Beberapa pertanyaan tidak dapat dijawab karena mengandung informasi yang salah – presuposisi yang harus disaring dan dibantah oleh orang yang mendengar pertanyaan tersebut. Ini menganggap, tentu saja, bahwa pendengar memiliki cukup banyak informasi yang benar untuk menantang pertanyaan tersebut, bukan menggunakan pertanyaan itu sendiri sebagai sumber informasi yang salah.

Ini adalah tantangan bagi sistem Pemrosesan Bahasa Alami (NLP) seperti GPT-3, yang memiliki kecenderungan untuk ‘menghalusikan’ informasi untuk mempertahankan dialog.

Saat ini, mengajukan pertanyaan kepada GPT-3 ‘Kapan Marie Curie menemukan Uranium?’ kemungkinan akan mendapatkan jawaban ‘Marie Curie menemukan Uranium pada tahun 1898’.

Sumber: https://beta.openai.com/playground (Da Vinci instruct beta).

Sebenarnya, Uranium ditemukan pada tahun 1789 oleh kimiawan Jerman Martin Heinrich Klaproth, sedangkan penemuan Curies pada tahun 1898 adalah isolasi radium.

Masalah sistem NLP yang mengabaikan presuposisi yang salah telah menjadi fokus dalam beberapa kesempatan publisitas tahun ini, termasuk cara hasil pencarian Google yang dibantu AI mengabaikan informasi yang salah dalam pertanyaan ‘Kapan Neil Armstrong menginjakkan kaki di Mars?’ – kesalahan yang masih terlihat pada saat penulisan artikel ini, dan sama-sama berlaku untuk Buzz Lightyear dari Toy Story, yang tampaknya mendarat di Bulan pada tanggal 21 Juli 1969.

Tom Hanks, alumni Toy Story lainnya, juga dikreditkan oleh Google dengan mendarat di Bulan pada tahun 1970, meskipun karakternya, astronaut Jim Lovell, paling terkenal karena tidak mencapai hal ini.

Mengatasi Masalah Presuposisi dalam Pertukaran NLP

Sekarang, Google Research, bersama dengan peneliti dari Universitas John Hopkins dan Universitas Brown, sedang menyelidiki metode pembelajaran mesin baru yang dapat membuat sistem NLP untuk menantang pertanyaan yang salah secara faktual, sama seperti yang dilakukan oleh guru manusia selama percakapan dengan siswa.

Penelitian terbaru paper Siapa Ahli Bahasa yang Menemukan Lampu? menggarisbawahi upaya untuk mengembangkan sistem baru untuk mengidentifikasi presuposisi dan memeriksa kebenarannya sebelum melanjutkan pertukaran.

Algoritma baru ini secara efektif memproses pertanyaan sebelum kembali ke percakapan, memecah ‘autentikasi’ pertanyaan dalam tiga tahap.

Tidak komputasi! Di sebelah kiri, ‘blok jalan’ yang terjadi bahkan ketika sistem NLP canggih telah dapat mengidentifikasi bahwa pertanyaan tidak masuk akal. Di sebelah kanan, pemecahan algoritma yang diusulkan untuk memperbaiki kesalahan sumber. Sumber: https://arxiv.org/pdf/2101.00391.pdf

Walaupun tampaknya seperti rutinitas verifikasi sederhana yang seharusnya sudah dibangun ke dalam sistem pengetahuan sejak awal, sebagian besar rutinitas pelatihan NLP belajar informasi dengan tingkat kepercayaan yang berlebihan terhadap data sumber, termasuk wacana (seperti berita palsu) yang mungkin telah dipublikasikan di saluran yang sebelumnya dipercaya.

Oleh karena itu, masalah kunci adalah mengidentifikasi konsensus sumber fakta yang dapat diandalkan dalam iklim di mana proliferasi informasi yang salah melalui media sosial akan, secara default, memberikan otoritas di bawah logika generalisasi mesin.

Menentukan Pendekatan Terbaik untuk Pertanyaan yang Tidak Dapat Dijawab

Untuk menentukan pendekatan yang sesuai untuk menyelesaikan pertanyaan yang mengandung informasi yang salah, para peneliti menjalankan 100 pertanyaan tersebut melalui empat model Q&A yang berbeda, dan meminta subjek manusia untuk memilih solusi terbaik atau paling tidak bermasalah yang dihasilkan oleh model tersebut.

Empat hasil arsitektur yang mungkin untuk ‘pertanyaan buruk’ tersebut adalah: ‘Tidak Dapat Dijawab’ – di mana sistem Q&A tertutup efektif menutup pertanyaan tanpa elaborasi lebih lanjut; ‘Penjelasan Kegagalan Presuposisi’ – di mana sistem gagal memverifikasi presuposisi yang salah, efektifnya sebuah respons ‘tidak dapat dijawab’ dengan penjelasan tambahan; ‘Penjelasan Ekstraktif’ – di mana sistem mengambil kutipan Wikipedia yang terkait topik dan menambahkannya ke kalimat ‘Pertanyaan ini tidak dapat dijawab karena…’; dan ‘Penulisan Ulang Domain Terbuka’ – di mana sistem kompetitif mencari sumber tambahan dari Wikipedia.

Contoh ini dari empat jawaban yang mungkin untuk pertanyaan yang tampaknya ‘tidak dapat dijawab’ menggambarkan kompleksitas upaya untuk mencapai solusi domain-basis yang kompetitif untuk masalah ini.

Para peneliti kemudian mengembangkan kerangka baru untuk memecah dan memverifikasi pertanyaan.

Dataset

Presuposisi yang dihasilkan pada tahap awal telah diedit secara manual untuk membuat dataset verifikasi dengan ‘presuposisi emas’. Presuposisi yang muncul dari pertanyaan, tetapi tidak ada dalam pertanyaan asli, telah dihapus.

Dua penulis paper tersebut kemudian mengannotasi 462 presuposisi secara manual dalam hal ya/tidak verifiabilitas, berdasarkan halaman Wikipedia yang relevan dengan setiap pertanyaan. Kasus ketidaksetujuan diselesaikan dalam diskusi pasca-fakta sebelum dianggap ke dalam dataset.

Para peneliti menggunakan zero-shot NLI, tugas klasifikasi premis/hipotesis yang memerlukan dekonstruksi artikel Wikipedia yang terkait dengan pertanyaan.

Hasil dan Formulasi Respon

Hasil yang paling efektif diperoleh dari solusi yang paling banyak memerlukan tenaga kerja: hibrida rule-based/NLI yang lebih halus, dihasilkan dari ALBERT QNLI dengan kalimat Wiki dan presuposisi.

Kinerja model verifikasi, di mana ‘Kalimat Wiki’ menggunakan kalimat yang diperoleh dari artikel Wikipedia yang terkait dengan pertanyaan, dan ‘Presuposisi Wiki’ adalah presuposisi yang dihasilkan dari kalimat tersebut.

Menggunakan formulasi ini, para peneliti mengembangkan sistem template di mana fakta yang menyangkal dari Wikipedia ditambahkan ke ‘Pertanyaan ini tidak dapat dijawab karena…’.

Implikasi

Tergantung pada kinerjanya di dunia nyata, dapat diperdebatkan bahwa pendekatan ini mungkin mengarah pada penggantian ‘tidak dapat diverifikasi’ dengan ‘tidak dapat dijawab’, dalam kasus di mana sistem penelitian pendukung tidak dapat mengevaluasi koreksi yang berguna untuk presuposisi yang salah dari pertanyaan. Secara efektif, tampaknya sedang membangun infrastruktur untuk sistem verifikasi yang lebih baik di masa depan.

Para peneliti sudah mengakui bahwa biaya permintaan API token adalah faktor pembatas ketika merumuskan jawaban yang lebih panjang yang akan dihasilkan oleh sistem ini, dan harus diasumsikan bahwa overhead tambahan ‘penelitian langsung’ ke dalam pertanyaan tampaknya akan menambahkan keterlambatan bahkan ke sistem skala besar seperti GPT-3, karena responsivitas sistem tersebut telah bergantung pada inkorporasi pengetahuan yang umum pada waktu pelatihan, bukan rutinitas verifikasi yang luas.

Para peneliti juga mencatat bahwa sistem ini saat ini memiliki keterbatasan yang terkait dengan penguraian aspek semantik teks:

Sebagai contoh, siapa yang dipercaya oleh pip sebagai ibu Estella memiliki possessive yang tertanam di bawah kata kerja nonfaktif percaya, tetapi generator kami akan tetap menghasilkan ‘Estella memiliki ‘ibu’.

Para peneliti memandang sistem pertanyaan dan jawaban yang lebih fleksibel dan kooperatif yang akan dikembangkan berdasarkan penelitian ini:

Di masa depan, kami berencana untuk membangun pada pekerjaan ini dengan mengusulkan sistem Q&A yang lebih robust dan kooperatif. Sebagai contoh, berbagai jenis kegagalan presuposisi dapat ditangani dengan strategi jawaban yang lebih fleksibel – misalnya, pelanggaran presuposisi unik mungkin lebih baik ditangani dengan memberikan semua jawaban yang mungkin, daripada menyatakan bahwa presuposisi unik telah dilanggar.