Mencegah ‘Halusinasi’ pada GPT-3 dan Model Bahasa Kompleks Lainnya

Salah satu karakteristik ‘berita palsu’ adalah bahwa seringkali menyajikan informasi palsu dalam konteks informasi yang benar, dengan data yang tidak benar mendapatkan wewenang yang dirasakan melalui semacam osmosis sastra – demonstrasi yang mengkhawatirkan tentang kekuatan setengah kebenaran.

Model pemrosesan bahasa alami (NLP) generatif yang canggih seperti GPT-3 juga memiliki kecenderungan untuk ‘mengalami halusinasi’ data menipu seperti ini. Sebagian, ini karena model bahasa memerlukan kemampuan untuk mengubah kalimat dan meringkas teks panjang dan sering kali labirin, tanpa batasan arsitektur yang dapat mendefinisikan, mengemas, dan ‘mengunci’ peristiwa dan fakta sehingga mereka dilindungi dari proses rekonstruksi semantik.

Oleh karena itu, fakta tidak sakral bagi model NLP; mereka dapat dengan mudah diobati dalam konteks ‘bata lego semantik’, terutama di mana tata bahasa yang kompleks atau bahan sumber yang tidak biasa membuatnya sulit untuk memisahkan entitas diskrit dari struktur bahasa.

Pengamatan tentang cara bahan sumber yang terstruktur kompleks dapat membingungkan model bahasa yang kompleks seperti GPT-3. Sumber: Paraphrase Generation Using Deep Reinforcement Learning

Masalah ini meluas dari pembelajaran mesin berbasis teks ke penelitian penglihatan komputer, terutama di sektor yang menggunakan diskriminasi semantik untuk mengidentifikasi atau menggambarkan objek.

Halusinasi dan reinterpretasi ‘kosmetik’ yang tidak akurat memengaruhi penelitian penglihatan komputer juga.

Dalam kasus GPT-3, model dapat menjadi frustrasi dengan pertanyaan berulang tentang topik yang telah diatasi sebaik mungkin. Dalam skenario terbaik, itu akan mengakui kekalahan:

Eksperimen baru saya dengan mesin Davinci dasar di GPT-3. Model mendapatkan jawaban yang benar pada upaya pertama, tetapi terganggu ketika ditanya pertanyaan yang sama untuk kedua kalinya. Karena itu mempertahankan memori jangka pendek dari jawaban sebelumnya, dan mengobati pertanyaan berulang sebagai penolakan jawaban, itu mengakui kekalahan. Sumber: https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci dan DaVinci Instruct (Beta) melakukan lebih baik dalam hal ini daripada model GPT-3 lain yang tersedia melalui API. Di sini, model Curie memberikan jawaban yang salah, sementara model Babbage memperluas jawaban yang salah dengan percaya diri:

Hal-Hal yang Tidak Pernah Dikatakan Einstein

Ketika meminta mesin GPT-3 DaVinci Instruct (yang saat ini tampaknya paling mampu) untuk kutipan terkenal Einstein ‘Tuhan tidak bermain dadu dengan alam semesta’, DaVinci Instruct gagal menemukan kutipan dan mengarang kutipan yang tidak ada, kemudian mengalami halusinasi tiga kutipan lain yang relatif masuk akal dan sepenuhnya tidak ada (baik dari Einstein maupun siapa pun) dalam menanggapi pertanyaan serupa:

GPT-3 menghasilkan empat kutipan dari Einstein, tidak satu pun yang menghasilkan hasil dalam pencarian internet teks penuh, meskipun beberapa memicu kutipan lain (asli) dari Einstein tentang topik ‘imajinasi’.

Jika GPT-3 secara konsisten salah dalam mengutip, itu akan lebih mudah untuk menolak halusinasi ini secara programatis. Namun, semakin tersebar dan terkenal sebuah kutipan, semakin mungkin GPT-3 untuk mendapatkan kutipan yang benar:

GPT-3 tampaknya menemukan kutipan yang benar ketika mereka direpresentasikan dengan baik dalam data yang berkontribusi.

Masalah kedua dapat muncul ketika data riwayat sesi GPT-3 bocor ke pertanyaan baru:

Einstein kemungkinan akan tersandung untuk memiliki kutipan ini dikaitkan dengan dia. Kutipan ini tampaknya merupakan halusinasi yang tidak masuk akal dari aforisme Winston Churchill yang nyata. Pertanyaan sebelumnya dalam sesi GPT-3 terkait dengan Churchill (bukan Einstein), dan GPT-3 tampaknya telah salah menggunakan token sesi ini untuk mempengaruhi jawaban.

Mengatasi Halusinasi Secara Ekonomis

Halusinasi adalah hambatan yang signifikan bagi adopsi model NLP canggih sebagai alat penelitian – semakin banyak karena output dari mesin tersebut sangat abstrak dari bahan sumber yang membentuknya, sehingga memastikan kebenaran kutipan dan fakta menjadi bermasalah.

Oleh karena itu, salah satu tantangan penelitian umum saat ini di NLP adalah untuk menetapkan cara mengidentifikasi teks yang mengalami halusinasi tanpa perlu membayangkan model NLP baru yang sepenuhnya yang mengintegrasikan, mendefinisikan, dan mengautentikasi fakta sebagai entitas diskrit (tujuan jangka panjang yang terpisah di sejumlah sektor penelitian komputer yang lebih luas).

Mengidentifikasi dan Menghasilkan Konten Halusinasi

Kolaborasi baru antara Carnegie Mellon University dan Facebook AI Research menawarkan pendekatan baru untuk masalah halusinasi, dengan merumuskan metode untuk mengidentifikasi output yang mengalami halusinasi dan menggunakan teks sintetis yang mengalami halusinasi untuk membuat dataset yang dapat digunakan sebagai baseline untuk filter dan mekanisme yang mungkin akhirnya menjadi bagian inti dari arsitektur NLP.

Sumber: https://arxiv.org/pdf/2011.02593.pdf

Di gambar di atas, bahan sumber telah dipisahkan berdasarkan kata per kata, dengan label ‘0’ yang ditugaskan untuk kata yang benar dan label ‘1’ yang ditugaskan untuk kata yang mengalami halusinasi. Di bawah ini kita lihat contoh output yang mengalami halusinasi yang terkait dengan informasi input, tetapi diperkuat dengan data yang tidak autentik.

Sistem ini menggunakan denoising autoencoder pra-terlatih yang mampu memetakan string yang mengalami halusinasi kembali ke teks asli dari mana versi yang rusak diproduksi (serupa dengan contoh saya di atas, di mana pencarian internet mengungkapkan asal kutipan palsu, tetapi dengan metodologi semantik yang diprogram dan otomatis). Secara khusus, model autoencoder BART dari Facebook digunakan untuk menghasilkan kalimat yang rusak.

Penugasan label.

Proses memetakan halusinasi kembali ke sumber, yang tidak mungkin dalam model NLP tingkat tinggi, memungkinkan pemetaan ‘jarak edit’, dan memfasilitasi pendekatan algoritmik untuk mengidentifikasi konten yang mengalami halusinasi.

Peneliti menemukan bahwa sistem ini bahkan dapat umum dengan baik ketika tidak memiliki akses ke materi referensi yang tersedia selama pelatihan, yang menunjukkan bahwa model konseptualnya solid dan dapat direplikasi secara luas.

Mengatasi Overfitting

Untuk menghindari overfitting dan tiba di arsitektur yang dapat diterapkan secara luas, para peneliti secara acak menghilangkan token dari proses, dan juga menggunakan paraphrasing dan fungsi noise lainnya.

Terjemahan mesin (MT) juga merupakan bagian dari proses pengaburan ini, karena menerjemahkan teks melintasi bahasa kemungkinan akan melestarikan makna dengan kuat dan mencegah over-fitting. Oleh karena itu, halusinasi diterjemahkan dan diidentifikasi untuk proyek ini oleh pembicara dwibahasa dalam lapisan anotasi manual.

Inisiatif ini mencapai hasil terbaik baru dalam sejumlah tes sektor standar, dan merupakan yang pertama untuk mencapai hasil yang dapat diterima menggunakan data yang melebihi 10 juta token.

Kode untuk proyek, yang berjudul Mendeteksi Konten Halusinasi dalam Pembangkitan Urutan Neural Bersyarat, telah dirilis di GitHub, dan memungkinkan pengguna untuk menghasilkan data sintetis mereka sendiri dengan BART dari corpus teks apa pun. Selain itu, juga disediakan kemudahan untuk pembangkitan model deteksi halusinasi selanjutnya.