Bahaya Menggunakan Kutipan untuk Mengotentikasi Konten NLG

Opini Model Generasi Bahasa Alami seperti GPT-3 cenderung menghasilkan ‘halusinasi’ materi yang mereka sajikan dalam konteks informasi faktual. Di era yang sangat peduli dengan pertumbuhan berita palsu berbasis teks, ‘penerbangan imajinasi’ ini mewakili hambatan eksistensial bagi pengembangan sistem penulisan dan ringkasan otomatis, dan untuk masa depan jurnalisme yang didorong oleh AI, di antara berbagai sub-sektor lain dari Pemrosesan Bahasa Alami (NLP).

Masalah utama adalah bahwa model bahasa GPT-style menghasilkan fitur dan kelas kunci dari korpus pelatihan teks yang sangat besar, dan belajar menggunakan fitur-fitur ini sebagai blok bangunan bahasa yang adroit dan autentik, terlepas dari akurasi konten yang dihasilkan, atau bahkan keterimaannya.

Sistem NLG saat ini bergantung pada verifikasi fakta manusia dalam salah satu dari dua pendekatan: bahwa model tersebut digunakan sebagai penghasil teks benih yang segera diteruskan ke pengguna manusia, baik untuk verifikasi atau beberapa bentuk editing atau adaptasi; atau bahwa manusia digunakan sebagai filter mahal untuk meningkatkan kualitas dataset yang dimaksudkan untuk memandu model yang kurang abstrak dan ‘kreatif’ (yang pada gilirannya masih sulit dipercaya dalam hal akurasi faktual, dan yang akan memerlukan lapisan tambahan pengawasan manusia).

Berita Lama dan Fakta Palsu

Model Generasi Bahasa Alami (NLG) mampu menghasilkan output yang meyakinkan dan masuk akal karena mereka telah mempelajari arsitektur semantik, bukan dengan cara yang lebih abstrak mengasimilasi sejarah, ilmu pengetahuan, ekonomi, atau topik lain yang mungkin mereka perlukan untuk memberikan pendapat, yang secara efektif terjalin sebagai ‘penumpang’ dalam data sumber.

Akurasi faktual dari informasi yang dihasilkan model NLG mengasumsikan bahwa input yang mereka latih adalah andal dan mutakhir, yang menyajikan beban luar biasa dalam hal pra-pengolahan dan verifikasi berbasis manusia – hambatan yang mahal yang sektor penelitian NLP saat ini sedang ditangani dari banyak sisi.

Sistem GPT-3-skala memerlukan waktu dan biaya luar biasa untuk dilatih, dan, setelah dilatih, sulit untuk diperbarui pada apa yang mungkin dianggap sebagai ‘tingkat inti’. Meskipun modifikasi lokal berbasis sesi dan pengguna dapat meningkatkan utilitas dan akurasi model yang diterapkan, manfaat bermanfaat ini sulit, terkadang mustahil untuk dikembalikan ke model inti tanpa memerlukan pelatihan ulang penuh atau sebagian.

Oleh karena itu, sulit untuk menciptakan model bahasa terlatih yang dapat menggunakan informasi terbaru.

Dilatih sebelum invasi Ukraina bahkan sebelum COVID, text-davinci-002 – iterasi GPT-3 yang dianggap ‘paling mampu’ oleh pembuatnya OpenAI – dapat memproses 4000 token per permintaan, tetapi tidak tahu apa-apa tentang COVID-19 atau invasi Ukraina 2022 (prompt dan respons ini dari 5 April 2022). Menariknya, ‘tidak diketahui’ sebenarnya adalah jawaban yang dapat diterima dalam kedua kasus kegagalan, tetapi prompt lebih lanjut dengan mudah menetapkan bahwa GPT-3 tidak tahu tentang peristiwa-peristiwa ini. Sumber: https://beta.openai.com/playground

Model terlatih hanya dapat mengakses ‘kebenaran’ yang mereka internalisasi pada saat pelatihan, dan sulit untuk mendapatkan kutipan yang akurat dan relevan secara default, ketika mencoba mendapatkan model untuk memverifikasi klaimnya. Bahaya nyata dari mendapatkan kutipan dari GPT-3 default (misalnya) adalah bahwa kadang-kadang menghasilkan kutipan yang benar, yang menyebabkan kepercayaan diri yang salah pada aspek kemampuan ini:

Atas, tiga kutipan akurat yang diperoleh oleh GPT-3 davinci-instruct-text 2021. Tengah, GPT-3 gagal mengutip salah satu kutipan Einstein yang paling terkenal (“Tuhan tidak bermain dadu dengan alam semesta”), meskipun prompt yang tidak samar. Bawah, GPT-3 mengatribusikan kutipan skandal dan fiktif kepada Albert Einstein, tampaknya dari kebocoran dari pertanyaan sebelumnya tentang Winston Churchill dalam sesi yang sama. Sumber: Artikel penulis sendiri 2021 di https://www.width.ai/post/business-applications-for-gpt-3

GopherCite

Dalam upaya untuk mengatasi kelemahan umum ini dalam model NLG, Google’s DeepMind baru-baru ini mengusulkan GopherCite, model 280-miliar parameter yang mampu mengutip bukti spesifik dan akurat untuk mendukung respons yang dihasilkan terhadap prompt.

Tiga contoh GopherCite mendukung klaimnya dengan kutipan nyata. Sumber: https://arxiv.org/pdf/2203.11147.pdf

GopherCite menggunakan pembelajaran penguatan dari preferensi manusia (RLHP) untuk melatih model kueri yang mampu mengutip kutipan nyata sebagai bukti pendukung. Kutipan-kutipan tersebut diambil langsung dari beberapa sumber dokumen yang diperoleh dari mesin pencari, atau dari dokumen spesifik yang disediakan oleh pengguna.

Performa GopherCite diukur melalui evaluasi manusia dari respons model, yang ditemukan ‘berkualitas tinggi’ 80% dari waktu pada dataset NaturalQuestions Google, dan 67% dari waktu pada dataset ELI5.

Mengutip Kesalahan

Namun, ketika diuji terhadap benchmark TruthfulQA Universitas Oxford, respons GopherCite jarang dinilai sebagai jawaban yang benar, dibandingkan dengan jawaban ‘benar’ yang dikurasi oleh manusia.

Penulis menyarankan bahwa ini karena konsep ‘jawaban yang didukung’ tidak dengan cara objektif mendefinisikan kebenaran itu sendiri, karena kegunaan kutipan sumber mungkin dikompromikan oleh faktor-faktor lain, seperti kemungkinan bahwa penulis kutipan itu sendiri ‘berhalusinasi’ (yaitu menulis tentang dunia fiksi, menghasilkan konten iklan, atau memalsukan materi tidak otentik dengan cara lain.

Kasus GopherCite di mana kemungkinan tidak selalu setara dengan ‘kebenaran’.

Secara efektif, menjadi perlu untuk membedakan antara ‘didukung’ dan ‘benar’ dalam kasus-kasus seperti itu. Budaya manusia saat ini jauh lebih maju dari pembelajaran mesin dalam hal penggunaan metodologi dan kerangka kerja yang dirancang untuk mendapatkan definisi objektif kebenaran, dan bahkan di sana, keadaan asli ‘kebenaran penting’ tampaknya kontroversi dan penolakan marginal.

Masalahnya adalah rekursif dalam arsitektur NLG yang berusaha untuk mengembangkan mekanisme ‘pembuktian’ yang definitif: konsensus yang dipimpin manusia ditekan ke dalam layanan sebagai bench mark kebenaran melalui model AMT, di mana evaluator manusia (dan manusia lain yang memediasi sengketa di antara mereka) adalah partial dan bias.

Sebagai contoh, eksperimen GopherCite awal menggunakan model ‘super rater’ untuk memilih subjek manusia terbaik untuk mengevaluasi output model, memilih hanya rater yang skor setidaknya 85% dibandingkan dengan set kualitas asuransi. Akhirnya, 113 super-rater dipilih untuk tugas tersebut.

Tangkapan layar aplikasi perbandingan yang digunakan untuk membantu mengevaluasi output GopherCite.

Secara argumentatif, ini adalah gambaran yang sempurna dari pengejaran fraktal yang tidak dapat dimenangkan: set kualitas asuransi yang digunakan untuk menilai rater adalah metrik ‘didefinisikan oleh manusia’ lain dari kebenaran, seperti halnya set TruthfulQA Oxford yang GopherCite telah ditemukan kurang.

Dalam hal konten yang ‘didukung’ dan ‘diamankan’, semua yang dapat disintesis oleh sistem NLG dari pelatihan pada data manusia adalah disparitas dan keragaman manusia, yang pada dirinya sendiri merupakan masalah yang tidak terpecahkan. Kami memiliki kecenderungan untuk mengutip sumber yang mendukung pandangan kami, dan untuk berbicara dengan otoritas dan keyakinan dalam kasus di mana informasi sumber kami mungkin sudah ketinggalan zaman, tidak akurat, atau salah disajikan dengan cara lain; dan kecenderungan untuk menyebarkan pandangan ini langsung ke alam liar, dengan skala dan efisiensi yang belum pernah terjadi sebelumnya dalam sejarah manusia, langsung ke jalur kerangka kerja pengumpulan pengetahuan yang memberi makan kerangka NLG baru.

Oleh karena itu, bahaya yang terkait dengan pengembangan sistem NLG yang didukung kutipan tampaknya terkait dengan sifat tidak terduga dari materi sumber. Setiap mekanisme (seperti kutipan langsung dan kutipan) yang meningkatkan kepercayaan pengguna pada output NLG adalah, pada keadaan saat ini, menambahkan secara berbahaya pada otentisitas, tetapi tidak pada kebenaran output.

Teknik-teknik seperti itu kemungkinan akan berguna ketika NLP akhirnya merekayasa kembali ‘kaleidoskop’ penulisan fiksi Orwell’s Nineteen Eighty-Four; tetapi mereka mewakili pengejaran yang berbahaya untuk analisis dokumen objektif, jurnalisme yang berpusat pada AI, dan aplikasi ‘non-fiksi’ lain dari ringkasan mesin dan generasi teks spontan atau terarah.

Dipublikasikan pertama kali 5 April 2022. Diperbarui pukul 15:29 EET untuk memperbaiki istilah.