Pengurangan Verboseitas Meningkatkan Akurasi pada Model Bahasa Besar

Penelitian baru menemukan bahwa memaksa Model Bahasa Besar untuk memberikan jawaban yang lebih singkat secara signifikan meningkatkan akurasi dan kualitas jawaban mereka.

Siapa pun yang pernah mencoba menghentikan chatbot dari ‘berbicara terlalu banyak’ akan mengenali kesimpulan dari penelitian baru ini: memaksa AI untuk memberikan jawaban yang lebih singkat membuatnya lebih akurat.

Menginvestigasi alasan mengapa model AI yang lebih besar performa lebih buruk dalam hal ini daripada model yang lebih kecil, dalam beberapa kasus (dikenal sebagai inverse scaling), penelitian menemukan bahwa memaksa 31 Model Bahasa Besar (LLM) populer untuk memberikan jawaban yang lebih singkat menyebabkan peningkatan akurasi jawaban mereka hingga 26,3%:

‘Hasil memberikan bukti kuat: batasan keSingkatan meningkatkan akurasi model besar sebesar 26,3 poin persentase dan mengurangi kesenjangan inverse scaling sebesar 67% (dari 44,2% menjadi 14,8%, paired t-test: t = 7,80, p < 0,0001).'

Verbositas yang berlebihan adalah keluhan yang sering di antara pengguna akhir, tidak hanya di antara mereka yang menggunakan model komersial seperti ChatGPT, di mana forum dukungan menampilkan topik ini secara teratur.

Domain yang paling terkena dampak dari perbaikan verbositas dalam respons adalah matematika, di mana AI yang diuji dibatasi untuk menjawab dalam 50 kata atau kurang. Untuk pengertian membaca tugas, mereka dibatasi untuk menjawab dalam 10 kata saja.

Makalah ini mendefinisikan kecenderungan AI untuk verbositas sebagai overthinking, di mana pesan utama tidak hanya tersembunyi oleh kata-kata, tetapi kadang-kadang juga terpengaruh oleh kata-kata tersebut. Semakin kecil modelnya, makalah ini mengamati, semakin sedikit perbaikan yang diperlukan, atau bekerja.

Penelitian ini menyimpulkan bahwa tidak ada yang arsitektural yang perlu diatasi untuk menerapkan solusi ini secara sistematis. Namun, dalam sesi chat pengguna, direktif untuk keSingkatan kemungkinan perlu diulangi, sedangkan sistem prompt global yang diterapkan – yang perlu diimplementasikan sebagai default rekayasa pada platform seperti ChatGPT – dapat membuat jawaban yang lebih singkat menjadi perilaku default.

Angin Kencang

Tidak ada penjelasan yang tepat tentang mengapa model yang lebih besar cenderung menuju verbositas, karena ini adalah sesuatu yang mempengaruhi model sumber terbuka juga. Makalah ini menyarankan bahwa protokol dan praktik umum dalam Reinforcement Learning dari Human Feedback (RLHF) teknik bisa menawarkan penjelasan*:

‘Sebuah asal yang masuk akal adalah pelatihan RLHF, di mana annotator manusia memberikan imbalan yang tidak seimbang pada kelengkapan dalam model yang lebih besar dengan kapasitas yang lebih besar untuk bertindak pada sinyal panjang – konsisten dengan perbedaan verbositas yang lebih besar dalam varian yang disesuaikan dengan instruksi daripada varian dasar.

‘Penelitian sebelumnya mendokumentasikan bias panjang sistematis dalam model imbalan, di mana annotator menggabungkan panjang dengan kualitas.

‘Model yang lebih besar, memiliki kapasitas yang lebih besar untuk memuaskan sinyal panjang, mungkin internalisasi generasi yang lebih verbos lebih dalam daripada model yang lebih kecil, menghasilkan overthinking yang kita amati.’

Pada manusia, verbositas mungkin terjadi untuk mengisi keheningan, atau untuk menyembunyikan perasaan awkward, karena penyakit mental, atau untuk menyembunyikan kurangnya pengetahuan. Pada dasarnya, AI hanya bisa dipengaruhi oleh faktor-faktor ini melalui penyerapan data pelatihan yang mencerminkan/menunjukkan sifat-sifat ini.

Di korpus dataset, motivasi lain ada untuk jawaban yang panjang, seperti insentif SEO untuk menghasilkan konten teks yang lebih panjang, misalnya dalam posting resep, di mana panjang menjadi (sering salah) diasosiasikan dengan otoritas.

Apa yang tidak bisa diabaikan sepenuhnya adalah bahwa platform berbasis API, yang termotivasi untuk mendorong pengguna ke tingkat langganan yang lebih tinggi dan lebih mahal, baik mendorong atau tidak mengawasi verbositas, karena ini meningkatkan penggunaan token dengan cukup murah, tanpa memerlukan penalaran atau RAG yang berlebihan^†.

Makalah baru ini berjudul Batasan KeSingkatan Membalik Hirarki Kinerja pada Model Bahasa, dan berasal dari Departemen Ilmu Komputer di Institut Politeknik Swedia di Chattogram, di Bangladesh.

Metode

Untuk menguji teori makalah ini, 31 model bahasa dievaluasi – terlalu banyak untuk disebutkan dalam bentuk teks di sini, tetapi digambarkan dalam gambar di bawah:

Model Bahasa Besar (LLM) yang diuji dalam berbagai bagian uji coba untuk makalah baru.

Model-model ini dievaluasi melawan lima koleksi benchmark: GSM8K, untuk penalaran matematika; BoolQ, untuk pengertian membaca; CommonsenseQA, untuk penalaran umum; ARC-Easy, yang mencakup pertanyaan ilmiah; dan MMLU-STEM, juga untuk pengetahuan ilmiah.

Jawaban dihasilkan menggunakan greedy decoding untuk memastikan output deterministik, kemudian diekstrak dengan aturan tugas-spesifik, dengan akurasi diukur sebagai bagian dari respons yang benar terhadap kebenaran dasar.

Model-model ini dibagi berdasarkan ukuran, dengan model yang berukuran di bawah 10 miliar parameter dianggap ‘kecil’, dan model yang berukuran di atas 70 miliar parameter dianggap ‘besar’, berdasarkan celah kinerja yang teramati.

Inverse scaling diukur dengan membandingkan kinerja kedua kelompok ini pada setiap masalah, menandai kasus di mana model yang lebih kecil outperform model yang lebih besar; ukuran efek statistik kemudian digunakan untuk mengkonfirmasi bahwa celah-celah ini mencerminkan perbedaan yang konsisten dan bermakna, bukan kebisingan.

Mengesampingkan Pengingatan

Untuk mengesampingkan kemungkinan bahwa model hanya mengingat data pelatihan, tiga pemeriksaan terpisah dilakukan, memeriksa seberapa bervariasi jawaban; seberapa banyak panjangnya berfluktuasi; dan bagaimana kesalahan dibuat. Jika model bergantung pada pola yang diingat, respons akan cenderung berulang atau mengikuti template yang tetap; sebaliknya, jawaban terbukti sebagian besar unik di seluruh model, dengan perubahan yang signifikan dalam panjang, dari satu respons ke respons lain.

Kesalahan juga diperiksa langsung, dengan sebagian besar kegagalan mengambil bentuk penjelasan yang panjang dan salah, bukan jawaban yang singkat dan menghindar – menunjukkan bahwa model tersebut menghasilkan penalaran yang sebenarnya, bukan respons yang disimpan.

Data dan Pengujian

Pengujian untuk pertanyaan individual daripada skor utama, sebagian besar tugas benchmark terbukti tidak informatif, dengan 27,1% gagal memisahkan model sama sekali karena baik setiap sistem berhasil atau setiap sistem gagal, sehingga tidak ada sinyal yang sebenarnya tentang kinerja relatif:

Pembagian tingkat masalah di seluruh lima benchmark menunjukkan bahwa sebagian besar tugas gagal membedakan antara model, sementara sebagian kecil yang konsisten menunjukkan inverse scaling, di mana model yang lebih kecil outperform model yang lebih besar. Distribusi keseluruhan di 1.485 masalah menunjukkan bahwa 7,7% menampilkan inverse scaling. Sumber

Di antara pertanyaan yang membedakan model, sebagian besar berperilaku seperti yang diharapkan, dengan model yang lebih besar berkinerja lebih baik, tetapi sebagian kecil menunjukkan pola yang berlawanan, dengan model yang lebih kecil unggul. Di seluruh masalah, inverse scaling muncul pada 7,7% kasus, menunjukkan bahwa efek ini tidak marginal.

Penampilan Inverse Scaling

Di seluruh lima benchmark, 115 masalah ditemukan di mana model yang lebih kecil outperform model yang lebih besar, membuat 7,7% dari semua 1.485 tugas, menunjukkan bahwa inverse scaling bukanlah kejadian yang jarang atau marginal dalam konteks ini.

Sebenarnya, efek ini muncul di setiap dataset: paling kuat di BoolQ, dan lebih lemah di CommonsenseQA, ARC-Easy, GSM8K, dan MMLU-STEM, menunjukkan bahwa ini adalah fenomena yang luas, tetapi bervariasi menurut tugas:

Inverse scaling muncul di seluruh benchmark, berkisar dari 3,9% di MMLU-STEM hingga 11,3% di BoolQ, dengan 115 masalah secara total. Selisih kinerja mendukung model yang lebih kecil dengan rata-rata 28,4 poin persentase. Akurasi menurun seiring dengan peningkatan ukuran model, dengan model kecil mencapai 66,1%, dibandingkan dengan 41,5% untuk model yang lebih besar.

Ukuran celah terbukti substansial, dengan model yang lebih kecil unggul dengan rata-rata 28,4 poin persentase, dan setiap kasus menunjukkan arah keunggulan yang sama, menunjukkan penurunan kinerja yang konsisten, bukan kesalahan yang tidak teratur atau ad hoc.

Polanya sama berlaku di seluruh keluarga model yang berbeda, termasuk Llama, Qwen, Gemma, dan Mistral, di mana versi yang lebih besar underperform model yang lebih kecil, dengan akurasi cenderung menurun seiring dengan peningkatan ukuran model pada masalah ini.

Celah antara model kecil dan besar cukup besar sehingga kebetulan tidak dapat menjelaskannya; dan karena pola yang sama muncul di seluruh benchmark, tugas, dan keluarga model, inverse scaling muncul sebagai efek yang konsisten, bukan efek yang acak.

Memeriksa di dalam setiap keluarga model, versi yang lebih besar berulang kali berkinerja lebih buruk daripada model yang lebih kecil pada masalah ini, menunjukkan bahwa penurunan ini mungkin terkait dengan skala itu sendiri, bukan perbedaan dalam desain.

Hasil ini juga menunjukkan batas untuk setiap tugas, di mana peningkatan ukuran model mulai merugikan kinerja, menunjukkan bahwa model yang lebih besar tidak selalu menghasilkan hasil yang lebih baik.

Mengamati Overthinking

Setelah membuktikan bahwa model yang lebih besar kadang-kadang berkinerja lebih buruk pada domain tertentu, analisis ini berpindah ke alasan mengapa ini terjadi, mengusulkan bahwa masalahnya bukanlah kurangnya kemampuan, tetapi terlalu banyak penjelasan – yaitu, kasus di mana jawaban yang lebih panjang mulai menyembunyikan penalaran yang benar.

Di seluruh data, jawaban yang lebih panjang terkait dengan akurasi yang lebih rendah pada masalah yang sulit ini, meskipun model besar dan kecil menghasilkan jumlah langkah penalaran yang hampir sama, menunjukkan bahwa masalahnya bukanlah seberapa banyak penalaran yang dilakukan, tetapi bagaimana penalaran itu diekspresikan:

Jawaban yang lebih singkat meningkatkan kinerja model besar dan mengurangi celah dengan model yang lebih kecil, memotong perbedaan dari 44,2 poin persentase menjadi 14,8 (dan dalam beberapa kasus membaliknya sepenuhnya), sementara format jawaban langsung mempersempitnya lebih lanjut. Keuntungan terkuat muncul di GSM8K dan MMLU-STEM, di mana peringkat bergeser mendukung model yang lebih besar, dan pemeriksaan panjang jawaban mengkonfirmasi bahwa intervensi ini bekerja, dengan output menurun dari sekitar 197 token menjadi di bawah 80, menghubungkan verbositas yang berkurang dengan akurasi yang ditingkatkan.

Ketika jawaban dipaksa untuk lebih singkat, model besar meningkat secara signifikan, mengurangi celah kinerja yang cukup besar, dan, dalam beberapa kasus, hampir menghilangkannya. Sebaliknya, model kecil berubah sangat sedikit, menunjukkan bahwa verbositas aktif merugikan sistem yang lebih besar.

Efek ini terbukti bervariasi menurut tugas, dengan beberapa benchmark mendapat manfaat dari jawaban yang lebih singkat, dan yang lain memerlukan derajat penjelasan; tetapi dalam beberapa kasus, peringkat antara model kecil dan besar sepenuhnya berbalik ketika verbositas dibatasi, menunjukkan bahwa model yang lebih besar memiliki kemampuan tersembunyi yang disembunyikan oleh over-elaboration.

Analisis lebih lanjut menunjukkan bahwa model besar cenderung menghasilkan output yang lebih panjang secara keseluruhan, meskipun menggunakan sedikit langkah penalaran yang lebih sedikit, menunjukkan gaya penalaran yang lebih difus dan kurang terstruktur.

Sebaliknya, model kecil memberikan jawaban yang lebih singkat dan langsung, menunjukkan bahwa cara penalaran diekspresikan, bukan jumlah penalaran itu sendiri, yang menyebabkan penurunan kinerja.

Penulis menyimpulkan bahwa batasan keSingkatan membawa manfaat akurasi, dan menganggap bahwa ini bisa menjadi fitur dasar dalam model bahasa, bukan batasan yang berulang-ulang yang diterapkan oleh pengguna yang tidak bertahan di seluruh sesi; dan mereka menyatakan:

‘[Batasan keSingkatan] membantu model besar secara dramatis, sementara hampir tidak mempengaruhi model kecil.

‘Jika verbositas tidak bersifat insidental, perubahan akurasi yang seragam akan diharapkan di seluruh kategori ukuran. Respon yang berbeda mengkonfirmasi bahwa overthinking adalah mode kegagalan yang spesifik skala, bukan efek kesulitan tugas.’

Kesimpulan

Di luar versi sumber terbuka yang diuji oleh peneliti, masalah verbositas tampaknya muncul dengan frekuensi yang cukup tinggi di banyak model besar lainnya, termasuk Claude, Gemini, dan Grok.

Apakah atau tidak platform ini mengabaikan masalah verbositas karena ini meningkatkan penggunaan token dan mendorong pengguna untuk menghabiskan lebih banyak, tidak tampaknya masuk akal bahwa mereka akan menerima penurunan akurasi yang menyertainya.

Akan menarik untuk melihat apakah ada metode empiris yang dapat menentukan dengan pasti dari mana kecenderungan untuk verbositas berasal. Siapa pun yang pernah mencoba membuat chatbot untuk benar-benar berbicara, bukan ‘memblogging’ jawaban yang panjang dan multi-langkah, akan menyadari bahwa model telah diimprint dengan ‘pedoman lengkap’ dan ‘solusi yang diterima’ dalam data pelatihannya.

Akan sangat menarik untuk melihat apakah model yang secara khusus dilatih pada percakapan langkah demi langkah dapat menghindari kecenderungan untuk menjadi verbos dan meringkas. Namun, tampaknya beberapa batasan atau filter harus diterapkan pada bobot yang model dilatih untuk memberikan pada ‘jawaban yang diputuskan’, sehingga model tersebut dilatih langsung pada materi sebelumnya – pada dasarnya, penalaran eksplisit dalam percakapan berbasis giliran.

Karena data yang sesuai tampaknya langka, mungkin satu-satunya cara untuk melanjutkan dengan pendekatan ini adalah melalui data sintetis, di mana ‘kesimpulan yang diputuskan’ dipecah menjadi percakapan – ironisnya, dengan cara yang sama seperti AI podcast yang Google NotebookLM dapat interpretasikan dari input teks biasa.

* Konversi saya dari kutipan inline penulis ke tautan.

^† Tapi mari kita jujur, kesenjangan antara biaya penyediaan AI yang sebenarnya dan biaya langganan saat ini sangat besar sehingga ini hanya akan merusak reputasi basis pengguna tanpa menyelesaikan ekonomi yang mendasarinya dalam fase ‘konversi’ dan ‘konvergensi’ AI ini.

Dipublikasikan pertama kali pada hari Minggu, 5 April 2026