Perjuangan untuk Menghentikan AI dari Menipu pada Tes

Temuan penelitian baru dari sebuah universitas di Tiongkok menawarkan wawasan tentang mengapa model pemrosesan bahasa alami generatif seperti GPT-3 cenderung ‘menipu’ ketika ditanya pertanyaan yang sulit, menghasilkan jawaban yang mungkin secara teknis benar, tetapi tanpa pemahaman yang sebenarnya tentang mengapa jawaban itu benar; dan mengapa mereka menunjukkan kemampuan yang sangat terbatas atau tidak ada untuk menjelaskan logika di balik jawaban ‘mudah’ mereka. Peneliti juga mengusulkan beberapa metode baru untuk membuat sistem ‘belajar lebih keras’ selama fase pelatihan.

Masalahnya adalah dua kali lipat: pertama, kita merancang sistem yang berusaha untuk mencapai hasil dengan cepat dan menggunakan sumber daya secara optimal. Bahkan ketika, seperti dengan GPT-3, sumber daya mungkin jauh lebih besar daripada yang biasanya tersedia untuk proyek penelitian NLP, budaya optimisasi yang berorientasi pada hasil masih mendominasi metodologi, karena telah menjadi konvensi akademis.

Akibatnya, arsitektur pelatihan kita menghargai model yang konvergen dengan cepat dan menghasilkan respons yang tampaknya tepat, bahkan jika model NLP kemudian tidak dapat membenarkan responsnya, atau menunjukkan bagaimana ia mencapai kesimpulannya.

Cenderung Menipu Sejak Awal

Hal ini terjadi karena model mempelajari ‘respons jalan pintas’ jauh lebih awal dalam pelatihan daripada mempelajari jenis pengetahuan yang lebih rumit. Karena akurasi yang meningkat sering diberikan secara tidak diskriminatif sepanjang pelatihan, model kemudian memprioritaskan setiap pendekatan yang memungkinkan untuk menjawab pertanyaan ‘ dengan cepat’, dan tanpa wawasan yang sebenarnya.

Karena pembelajaran jalan pintas pasti akan mewakili kesuksesan pertama selama pelatihan, sesi akan secara alami cenderung menjauh dari tugas yang lebih sulit untuk mendapatkan perspektif epistemologis yang lebih berguna dan lengkap, yang mungkin berisi lapisan atribusi dan logika yang lebih dalam dan lebih mendalam.

Memberi AI Jawaban ‘Mudah’

Masalah kedua adalah bahwa meskipun inisiatif penelitian baru-baru ini telah mempelajari kecenderungan AI untuk ‘menipu’ dengan cara ini, dan telah mengidentifikasi fenomena ‘jalan pintas’, belum ada upaya untuk mengklasifikasikan materi ‘jalan pintas’ dalam dataset yang berkontribusi, yang akan menjadi langkah logis pertama dalam mengatasi apa yang mungkin menjadi kelemahan arsitektur fundamental dalam sistem pemahaman membaca mesin (MRC).

Makalah baru, sebuah kolaborasi antara Wangxuan Institute of Computer Technology dan MOE Key Laboratory of Computational Linguistics di Peking University, menguji berbagai model bahasa melawan dataset yang baru saja dianotasi yang termasuk klasifikasi untuk ‘mudah’ dan ‘sulit’ solusi untuk pertanyaan yang mungkin.

Sumber: https://arxiv.org/pdf/2106.01024.pdf

Dataset menggunakan pengubahan kalimat sebagai kriteria untuk jawaban yang lebih rumit dan mendalam, karena pemahaman semantik diperlukan untuk mereformulasikan pengetahuan yang diperoleh. Sebaliknya, jawaban ‘jalan pintas’ dapat menggunakan token seperti tanggal, dan kata kunci lainnya, untuk menghasilkan jawaban yang faktual benar, tetapi tanpa konteks atau alasan.

Komponen jalan pintas dari anotasi fitur pertanyaan kata cocok (QWM) dan pencocokan sederhana (SpM). Untuk QWM, model menggunakan entitas yang diekstrak dari data teks yang disediakan dan membuang konteks; untuk SpM, model mengidentifikasi tumpang tindih antara kalimat jawaban dan pertanyaan, keduanya disediakan dalam data pelatihan.

Data Jalan Pintas Hampir ‘Viral’ dalam Pengaruh dalam Dataset

Peneliti berpendapat bahwa dataset cenderung mengandung proporsi yang tinggi pertanyaan jalan pintas, yang membuat model terlatih bergantung pada trik jalan pintas.

Dua model yang digunakan dalam eksperimen adalah BiDAF dan BERT-base dari Google. Peneliti mengamati bahwa bahkan ketika dilatih pada variasi dataset dengan proporsi ‘sulit’ yang lebih tinggi, kedua model masih berkinerja lebih baik pada pertanyaan jalan pintas daripada pertanyaan yang lebih sulit yang dinyatakan dengan kalimat yang berbeda, meskipun jumlah contoh dalam dataset relatif kecil.

Hal ini menyajikan ‘data jalan pintas’ hampir dalam konteks virus – bahwa hanya sedikit dari itu yang perlu hadir dalam dataset agar dapat diadopsi dan diprioritaskan dalam pelatihan, di bawah standar dan praktik konvensional dalam NLP.

Membuktikan Penipuan

Salah satu metode yang digunakan penelitian untuk membuktikan bagaimana kerapuhan jawaban jalan pintas adalah dengan menggantikan kata entitas ‘mudah’ dengan kata yang tidak biasa. Di mana metode jalan pintas telah digunakan, logika dari respons ‘penipuan’ tidak dapat diberikan; tetapi di mana jawaban diberikan dari konteks yang lebih dalam dan evaluasi semantik dari teks yang lebih luas, memungkinkan sistem untuk menguraikan kesalahan dan membangun kembali jawaban yang benar.

Menggantikan ‘Beyoncé’ (seorang orang) dengan ‘Amerika’ (sebuah lokasi), mengungkapkan apakah model memiliki logika latar belakang untuk jawabannya.

Jalan Pintas Karena Imperatif Ekonomi

Mengenai beberapa alasan arsitektur mengapa jalan pintas sangat diprioritaskan dalam alur kerja pelatihan NLP, penulis mengomentari ‘Model MRC mungkin mempelajari trik jalan pintas, seperti QWM, dengan sumber daya komputasi yang lebih sedikit daripada tantangan pemahaman, seperti mengidentifikasi kalimat yang berbeda’.

Ini, maka, bisa menjadi hasil yang tidak diinginkan dari filosofi optimisasi dan pelestarian sumber daya standar dalam pendekatan pemahaman membaca mesin, dan tekanan untuk mendapatkan hasil dengan sumber daya terbatas dalam kerangka waktu yang ketat.

Peneliti juga mencatat:

‘[Karena] trik jalan pintas dapat digunakan untuk menjawab sebagian besar pertanyaan pelatihan dengan benar, pertanyaan yang belum terpecahkan mungkin tidak memotivasi model untuk mengeksplorasi solusi yang lebih canggih yang memerlukan keterampilan yang menantang.’

Jika hasil makalah ini kemudian dibuktikan, tampaknya bidang pemrosesan data yang sangat luas dan terus berkembang mungkin perlu mempertimbangkan ‘crib tersembunyi’ dalam data sebagai masalah yang perlu diatasi dalam jangka panjang, atau merevisi arsitektur NLP untuk memprioritaskan rutinitas yang lebih menantang untuk penggunaan data. keterampilan g. Jika hasil makalah ini kemudian dibuktikan, tampaknya bidang pemrosesan data yang sangat luas dan terus berkembang mungkin perlu mempertimbangkan ‘crib tersembunyi’ dalam data sebagai masalah yang perlu diatasi dalam jangka panjang, atau merevisi arsitektur NLP untuk memprioritaskan rutinitas yang lebih menantang untuk penggunaan data. keterampilan g.