Metode ‘Zen’ untuk Menghentikan Model Bahasa dari Mengalami Halusinasi

Menginstruksikan ChatGPT untuk memeriksa jawaban acak sebelum menyelesaikan masalah yang sebenarnya membuatnya berpikir lebih keras, dan mendapatkan jawaban yang benar lebih sering – bahkan jika jawaban ‘acak’ sebelumnya tidak ada hubungannya dengan pertanyaan Anda.

Sebuah makalah baru yang menarik dari Cina telah mengembangkan metode yang sangat murah untuk mencegah model bahasa seperti ChatGPT dari halusinasi, dan untuk meningkatkan kualitas jawaban: membuat model memeriksa jawaban dari pertanyaan yang tidak terkait terlebih dahulu:

Contoh pertanyaan yang tidak terkait yang dapat ‘membebaskan pikiran’ dari LLM, dan membantunya fokus pada pertanyaan yang sebenarnya. Sumber

Ini tepukan Zen adalah cara yang sangat murah untuk meningkatkan kinerja, dibandingkan dengan metode lain yang lebih kompleks, seperti fine-tuning, prompt-crafting dan parallel sampling, dan itu bekerja pada model open dan closed-source.

Para penulis menguraikan ekonomi skala yang mungkin dengan meningkatkan output dengan cara ini*:

‘Untuk mengimplementasikan dengan pengetahuan sebelumnya yang minimal, VF hanya perlu menyediakan jawaban acak/trivial dalam prompt. Proses verifikasi ternyata memiliki output token yang lebih sedikit daripada jalur CoT biasa, [kadang-kadang] bahkan tidak ada proses verifikasi eksplisit, sehingga [memerlukan] sangat [sedikit] komputasi tambahan pada waktu tes.’

Dalam tes, pendekatan ini – yang disebut Verification-First (VF) – mampu meningkatkan respons dalam berbagai tugas, termasuk penalaran matematika, di seluruh platform open source dan komersial.

Bagian dari alasan mengapa teknik ini bekerja mungkin berhubungan dengan cara model bahasa menyerap dan menerapkan tren dalam psikologi manusia, sehingga pertanyaan langsung dapat membuat model ‘defensif’ dan ‘gugup’, sedangkan permintaan untuk memverifikasi pekerjaan orang lain tidak mengaktifkan ‘insting bertahan hidup’.

Gagasan inti adalah bahwa memverifikasi jawaban memerlukan lebih sedikit usaha daripada menghasilkan jawaban dari awal, dan dapat memicu jalur penalaran yang berbeda yang melengkapi penalaran standar chain-of-thought.

Menginstruksikan model untuk mengkritik jawaban yang diberikan (yaitu, jawaban yang model tidak terlibat dalam menciptakannya) juga dapat mengaktifkan jenis pemikiran kritis yang membantu menghindari kepercayaan diri yang berlebihan dalam impresi pertama model.

Penelitian ini menggambarkan proses dalam istilah reverse-reasoning path:

Memulai dari jawaban yang diusulkan dan menalar mundur ke arah pertanyaan dapat mengungkapkan jalan pintas atau wawasan yang lebih sulit ditemukan ketika menalar maju dari masalah saja. Jalur ‘mundur’ ini mungkin mengikuti trajektori yang lebih sederhana dan menawarkan informasi yang melengkapi penalaran standar chain-of-thought.

Peneliti telah mengkonkretkan konsep sentral menjadi Iter-VF, metode penskalaan waktu yang berulang-ulang untuk memperbaiki jawaban, menghindari masalah akumulasi kesalahan yang umum dalam strategi self-correcting yang ditemukan dalam arsitektur LLM.

Makalah baru ini berjudul Mengajukan LLM untuk Memverifikasi Terlebih Dahulu Hampir Gratis, dan berasal dari dua peneliti di Departemen Teknik Elektro di Universitas Tsinghua di Beijing.

Metode

Gagasan sentral di balik makalah baru ini adalah untuk membalik aliran penalaran biasa dalam model bahasa. Sebagai gantinya untuk meminta model untuk menyelesaikan masalah dari awal, model diberikan jawaban kandidat (sering salah atau sewenang-wenang) dan diminta untuk memeriksa apakah jawaban tersebut masuk akal.

Ini meminta model untuk menalar mundur, bekerja mundur dari jawaban yang diusulkan ke arah pertanyaan. Setelah verifikasi selesai, model kemudian melanjutkan untuk menyelesaikan masalah asli seperti biasa.

Balikan ini, makalah tersebut menyatakan, mengurangi kesalahan yang ceroboh dan mendorong mode penalaran yang lebih reflektif, membantu LLM menemukan struktur tersembunyi dan menghindari asumsi yang menyesatkan.

Sebagaimana terlihat dalam contoh di bawah, bahkan menginstruksikan model untuk memverifikasi tebakan yang jelas salah seperti ’10’ dapat membantunya pulih dari logika yang rusak dan outperform standar chain-of-thought prompting:

Menginstruksikan model untuk memverifikasi jawaban yang ditebak terlebih dahulu membantunya menemukan inkonsistensi dan terlibat lebih hati-hati dengan masalah. Dalam contoh ini, pendekatan standar menghasilkan solusi yang fasih tetapi salah, sedangkan prompt Verification-First memicu struktur logika yang lebih jelas dan hasil yang benar.

Dalam kaitannya dengan banyak masalah dunia nyata, tidak mudah untuk memberikan tebakan untuk model untuk diperiksa, terutama ketika tugas itu terbuka, seperti menulis kode atau memanggil API. Oleh karena itu, untuk beradaptasi lebih baik, metode ini pertama kali memberikan jawaban terbaik seperti biasa dan kemudian memasukkan jawaban itu kembali ke dalam format Verification-First. Dengan cara ini, model memeriksa dan memperbaiki outputnya sendiri:

Ketika model diminta untuk memverifikasi output sebelumnya, itu menangkap kesalahan dalam logikanya dan menulis ulang solusi dengan benar. Prompt Verification-First membantunya fokus pada kesalahan spesifik daripada mengulangi kesalahan yang sama.

Pendekatan ini merupakan Iter-VF yang disebutkan sebelumnya. Model mengulangi siklus ini, memperbaiki jawabannya setiap kali, tanpa perlu pelatihan ulang atau peralatan khusus. Tidak seperti strategi self-correcting lainnya, yang dapat menumpuk pemikiran sebelumnya dan berisiko membingungkan model, Iter-VF hanya mempertimbangkan jawaban terbaru setiap kali, yang membantu menjaga penalarannya jernih.

Data dan Tes

Penulis mengevaluasi metode ini dalam empat domain: tugas penalaran umum, di mana VF diberi tebakan trivial; tugas waktu-sensitif, di mana Iter-VF dibandingkan dengan metode penskalaan lain; masalah terbuka seperti pengkodean dan panggilan API, di mana VF menggunakan jawaban sebelumnya model; dan model LLM komersial tertutup, di mana langkah-langkah penalaran internal tidak dapat diakses.

Untuk menguji metode ini, peneliti menggunakan tiga benchmark penalaran: GSM8K dan MATH500 untuk masalah matematika; dan GPQA-Diamond untuk pertanyaan sains tingkat pascasarjana.

Dalam setiap kasus, model diberi tebakan trivial, seperti ‘1’ untuk jawaban numerik; atau opsi multiple-choice yang diacak, sebagai titik awal untuk verifikasi. Tidak ada penyetelan khusus atau pengetahuan sebelumnya yang ditambahkan, dan baseline untuk perbandingan adalah prompting chain-of-thought standar.

Tes dijalankan di seluruh model Qwen2.5 dan Llama3 yang disesuaikan dengan instruksi, dari 1B hingga 72B (parameter) dalam ukuran. Model Qwen yang digunakan adalah Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct, Qwen2.5-14B-Instruct, dan Qwen2.5-72B-Instruct. Variasi Llama3 adalah Llama3.2-1B-Instruct, Llama3.2-3B-Instruct, Llama3.1-8B-Instruct, dan Llama3.3-70B-Instruct.

Sebagaimana terlihat di bawah, perbaikan dari prompting Verification-First tetap konsisten di seluruh skala model, dengan keuntungan yang jelas terlihat bahkan pada 1B parameter dan berlanjut hingga 72B:

Di seluruh ukuran model Qwen2.5 dan Llama3, prompting Verification-First secara konsisten outperform prompting chain-of-thought standar pada GSM8K, MATH500, dan GPQA-Diamond.

Efeknya terbukti paling kuat pada benchmark matematika yang berat komputasi seperti GSM8K dan MATH500, di mana memverifikasi jawaban yang salah memicu penalaran yang lebih baik daripada mencoba menyelesaikan dari awal. Pada GPQA-Diamond, yang lebih bergantung pada pengetahuan yang disimpan daripada struktur deduktif, keuntungan lebih kecil tetapi konsisten.

Biaya komputasi dari Verification-First adalah modest: dalam tabel di bawah, kita dapat melihat bahwa menghasilkan langkah verifikasi menambah sekitar 20-50% lebih banyak token output dibandingkan dengan prompting chain-of-thought standar:

Jumlah token output rata-rata yang dihasilkan di bawah setiap metode prompting, di seluruh benchmark GSM8K, MATH500, dan GPQA.

Meskipun demikian, biaya tambahan tetap jauh di bawah strategi yang memerlukan beberapa sampel penyelesaian atau perencanaan rekursif.

Dalam grafik di bawah, kita dapat melihat seberapa sensitif metode ini terhadap kualitas jawaban yang ditebak. Secara mengejutkan, bahkan ketika tebakan itu trivial (‘1’), tidak masuk akal (‘2025’), atau opsi multiple-choice yang diacak, Verification-First masih outperform prompting standar:

Keuntungan akurasi dari prompting Verification-First, ketika model diberi jawaban trivial, tidak masuk akal, atau benar untuk diverifikasi di seluruh GSM8K, MATH500, dan GPQA.

Sebagaimana yang diharapkan, akurasi melompat lebih tinggi ketika tebakan itu benar; tetapi metode ini bekerja dengan baik terlepas dari itu, menunjukkan bahwa keuntungan itu tidak didorong oleh informasi dalam jawaban yang ditebak itu sendiri, tetapi hanya oleh aksi verifikasi.

Iter-VF juga dibandingkan dengan empat strategi penskalaan waktu yang beroperasi tanpa pelatihan ulang atau adaptasi tugas khusus. Dalam Self-Correction, model diprompt untuk merevisi jawabannya dengan merefleksikan langkah-langkah penalaran sebelumnya; dalam PHP, jawaban sebelumnya dilampirkan ke input sebagai petunjuk kontekstual, meskipun tidak ada instruksi tentang cara menggunakannya.

Selain itu, dalam Self-Consistency, beberapa jalur penalaran disampling dan jawaban akhir dipilih oleh suara mayoritas; dan akhirnya, dalam Best-of-N, beberapa output dihasilkan secara independen dan diperingkat menggunakan prompt verifikasi, dengan respons terbaik dipilih.

Dua varian Iter-VF diimplementasikan: satu diinisialisasi dengan tebakan trivial (‘1’), dan lainnya diinisialisasi dengan output CoT standar:

Akurasi dan efisiensi token pada MATH500 di bawah anggaran output yang meningkat, menunjukkan bahwa kedua varian Iter-VF outperform semua baseline di seluruh skala model.

Iter-VF memberikan hasil yang lebih baik daripada semua metode lain ketika komputasi yang tersedia rendah, yang penulis atribusikan pada cara itu memeriksa jawaban, bukan seberapa baik jawaban awal (karena kedua varian VF dan CoT cepat mencapai akurasi yang sama).

PHP berkinerja lebih buruk, meskipun itu menggunakan jawaban sebelumnya sebagai petunjuk, kemungkinan karena LLM tidak memanfaatkan petunjuk tersebut dengan baik.

Sebaliknya, PHP dan Self-Correction, yang mengakumulasi konteks di seluruh iterasi, Iter-VF hanya mempertimbangkan jawaban terbaru setiap kali, yang membantu menghindari kebingungan yang menumpuk – kelemahan yang sangat merusak untuk Self-Correction.

Metode paralel seperti Self-Consistency dan Best-of-N menghindari masalah ini, meskipun perbaikan mereka lebih lambat dan lebih modest.

(n.b. Bagian hasil, meskipun menyeluruh, adalah bacaan yang tidak ramah dan panjang, dan kami harus memotong sebagian besar cakupan yang tersisa, mengacu pembaca ke makalah sumber untuk lebih banyak detail).

Ketika diuji pada GPT-5 Nano dan GPT-5 Mini, model komersial tertutup yang menyembunyikan jejak penalaran penuh dan hanya mengembalikan jawaban akhir, Iter-VF meningkatkan kinerja tanpa bergantung pada output antara. Dalam tabel di bawah kita dapat melihat keuntungan di seluruh MATH500 dan GPQA, mengonfirmasi bahwa pendekatan verifikasi-terlebih-dahulu tetap layak bahkan ketika hanya input dan jawaban akhir yang dapat diakses:

Akurasi pada MATH500 dan GPQA ketika Iter-VF diterapkan pada model GPT-5 dengan jejak penalaran yang disembunyikan.

Kesimpulan

Meskipun makalah baru ini berbelok ke ketidakjelasan dari bagian hasil, penemuan yang tampaknya merupakan ciri umum dalam kelas model AI ini adalah perkembangan yang menarik. Siapa pun yang secara teratur menggunakan LLM pasti telah mengembangkan serangkaian trik untuk bekerja di sekitar kelemahan model, karena setiap kelemahan menjadi jelas seiring waktu, dan pola muncul; dan semua berharap menemukan ‘trik’ yang seberapa umum dan luas ini.

Salah satu masalah terbesar dalam mengimplementasikan dan memperbarui jendela konteks dalam LLM tampaknya adalah menemukan keseimbangan antara pemeliharaan kemajuan sesi dan kemampuan untuk melangkah ke arah baru ketika diperlukan, tanpa jatuh ke dalam halusinasi atau output yang tidak terkait. Dalam kasus yang disajikan oleh makalah baru ini, kita melihat contoh ‘panggilan bangun’ yang lembut tetapi insistent yang tampaknya memfokuskan kembali dan mereset LLM tanpa kehilangan konteks. Akan menarik untuk melihat apakah proyek berikutnya akan mengadaptasi dan mengembangkan metode ini.

Peneliti membuat banyak dari ekonomi metode baru ini – pertimbangan yang akan memiliki bobot yang jauh lebih sedikit bahkan 12 bulan yang lalu. Sekarang, implikasi dari AI hiperskala membuat jelas bahwa penghematan sumber daya yang dulunya dianggap remeh, dalam ‘era penelitian murni’, sekarang menjadi penting dan esensial.

* Perlu diingat bahwa saya terbatas untuk tidak memasukkan jumlah kutipan biasa dari makalah, karena standar bahasa Inggris yang ditemukan di beberapa bagian makalah dapat membingungkan pembaca. Oleh karena itu, saya telah mengambil kebebasan untuk meringkas wawasan kunci sebagai gantinya, dan saya mengacu pembaca ke makalah sumber untuk verifikasi.

Makalah ini pertama kali diterbitkan pada hari Kamis, 4 Desember 2025