Model Chat AI Dapat Meningkatkan Biaya Melalui Pembicaraan yang Tidak Berakhir

Model chat AI populer secara diam-diam membuang sejumlah besar token berbayar pada kata-kata yang tidak berguna. Model yang terkena dampak sebenarnya tahu bahwa mereka melakukan ini, tetapi tidak dapat menghentikan diri mereka sendiri.

Model Alasan Besar (LRMs) seperti ChatGPT-5 dan Google Gemini mengenakan biaya lebih untuk alasan – berjalan melalui suatu masalah langkah demi langkah, yang menggunakan daya komputasi yang jauh lebih besar daripada hanya memprediksi kata berikutnya. Proses alasan yang disimulasikan membutuhkan waktu lebih lama dan lebih mahal untuk dijalankan; akibatnya, pengguna akhirnya membayar untuk ‘waktu berpikir tambahan’ itu.

Namun, jika Anda telah menggunakan model bahasa terbaru, Anda mungkin telah memperhatikan bahwa alokasi token Anda sering dibelanjakan pada kata-kata yang tidak berguna dan tidak fokus pada memecahkan masalah yang Anda ajukan kepada model. Ini dapat mengambil bentuk sycophancy yang berlebihan, jawaban yang panjang dan/atau berulang – atau bahkan semacam ‘pembicaraan yang tidak berakhir’, seolah-olah AI telah terjebak dan mencoba berbicara untuk menghindari situasi yang tidak nyaman.

Secara alami, kita akan lebih suka jika model bahasa kita mengakui kekalahan, mengikuti atau menawarkan jalur alternatif, atau meminta klarifikasi. Tapi bahkan membuat AI seperti itu mengakui bahwa mereka tidak tahu jawaban adalah tantangan yang cukup besar itu sendiri.

Sementara itu, pengguna pada tingkat yang lebih rendah atau gratis dapat menemukan bahwa mereka telah membakar token mereka dengan kecepatan yang cepat, tidak peduli seberapa terarah atau ekonomis pertanyaan dan interaksi mereka, karena AI itu sendiri suka berbicara; dan, dalam hal ini, berbicara tidaklah murah.

Salad Kata

Dalam kaitannya dengan ‘pembicaraan yang tidak berakhir’ yang disebutkan sebelumnya, sebuah kolaborasi akademis baru menawarkan rasional dan solusi, dengan mengusulkan bahwa model bahasa dengan kemampuan alasan cenderung membakar token ketika mereka terjebak dalam loop ‘salad kata’ – keadaan bingung di mana proses alasan kehilangan diri dalam jalan buntu rekursif – dengan biaya pengguna*.

Peneliti di balik makalah baru ini menemukan bahwa sebagian besar token yang diproses dalam model bahasa terdiri dari pengulangan dan redundansi – dan bahwa model itu sendiri seems to understand that it is in trouble, meskipun tidak dapat menghentikan loop yang mahal.

Makalah tersebut menyatakan:

‘Kami menunjukkan bahwa sebagian besar token ini adalah pengulangan diri yang tidak berguna – yang kami sebut “salad kata” – yang menghabiskan anggaran dekoding tanpa menambah nilai. Menariknya, kami mengamati bahwa model alasan besar (LRMs) menyadari ketika terjebak dalam loop ini: keadaan tersembunyi dari token yang mengikuti setiap bagian alasan menampilkan pola yang memungkinkan kami untuk mendeteksi perilaku “salad kata” secara langsung melalui klasifikasi linier satu lapis.

‘Setelah dideteksi, pemotongan sederhana yang diikuti dengan prompt regenerasi yang sederhana menghasilkan penghematan panjang yang substansial dengan kerugian kualitas minimal.’

Solusi yang ditawarkan oleh karya baru ini adalah intervensi yang dapat memotong proses alasan model yang salah dalam cara langsung, tanpa perlu pelatihan data atau kerusakan yang dapat dihasilkan dari fine-tuning. Kerangka kerja, yang disebut WordSaladChopper, telah dirilis secara publik di GitHub.

Meskipun pekerjaan awal ini berkonsentrasi pada DeepSeek varian seperti entri dalam seri Qwen dan Llama, makalah tersebut menyatakan bahwa perilaku yang tidak diinginkan ini kemungkinan berlaku untuk model alasan yang lebih luas (termasuk penawaran API-only populer seperti ChatGPT dan Google Gemini).

Seperti yang disebutkan dalam makalah tersebut, penawaran sebelumnya seperti Demystifying Long Chain-of-Thought Reasoning in LLMs dan Small Models Struggle to Learn from Strong Reasoners juga menggunakan jumlah kecil model alasan Chain-of-Thought (CoT) yang tersedia secara publik untuk menetapkan masalah yang lebih luas dalam kelas model ini^†:

‘[Model alasan besar] cenderung membuang sejumlah besar anggaran dekoding, hanya dengan mengulangi diri secara verbatim, dengan variasi kecil, atau terlibat dalam enumerasi kasus yang tidak berakhir sampai semua anggaran telah [dibelanjakan] – kami menyebut perilaku ini sebagai Salad Kata, istilah yang sering digunakan untuk mengolok-olok juru bicara publik yang memberikan respons yang panjang, penuh jargon, dan tidak memiliki substansi atau makna yang jelas.

‘Kolom “Asli” dalam [tabel di bawah’] menunjukkan bahwa ketika menjawab GPQA-Diamond, kami mengamati 55%+ token yang dihasilkan oleh model DeepSeek-R1-Distill adalah token “salad kata”, yang tidak menambah nilai dari sudut pandang semantik.’

Bagian dari token output yang diidentifikasi sebagai redundan semantik saat menjawab GPQA-Diamond. WordSaladChopper mengurangi overhead ini dari lebih dari 55% menjadi kurang dari 6% di semua model DeepSeek-R1-Distill yang diuji, menurut penulis. Sumber

Penulis mencatat bahwa upaya untuk mempersingkat proses alasan sambil mempertahankan kualitas jawaban telah menjadi sub-strand yang kuat dalam literatur penelitian, yaitu long-to-short (L2S); dan lebih lanjut mengamati bahwa sementara tujuan proyek mereka mirip dengan beberapa inisiatif sebelumnya, proyek mereka adalah yang pertama menawarkan solusi ad hoc yang tidak memerlukan intervensi dalam proses pelatihan, pengeditan model, atau imposisi lain pada arsitektur model bahasa; dan sampai batas itu, mereka percaya bahwa pendekatan mereka harus menjadi umum di antara sistem yang dapat diterapkan^†:

‘Kami percaya bahwa [WordSaladChopper] – atau komponen serupa – adalah suatu keharusan untuk semua aplikasi model alasan besar dengan pengalaman pengguna dalam pikiran ‘

Makalah baru ini berjudul WordSaladChopper: Model Alasan Membuang Sejumlah Besar Anggaran Dekoding pada Pengulangan yang Tidak Berguna, Sadar Diri, dan berasal dari enam peneliti di Universitas Minnesota, Universitas Rice, Stevens Institute of Technology, dan Lambda, Inc.

Pertimbangan Sebelumnya

Untuk melacak kecenderungan model alasan untuk mengulangi diri, penulis membagi output model menjadi bagian di mana ada jeda baris ganda, lalu memeriksa seberapa mirip setiap bagian dengan bagian sebelumnya:

Bagian dari bagian alasan yang diberi label sebagai ‘salad kata’ di bawah dua suhu dekoding (τ = 0,0, 0,6). Klasifikasi menandai bagian sebagai ‘salad kata’ ketika bagian tersebut sangat mirip dengan bagian sebelumnya dari output model, menunjukkan pengulangan daripada kemajuan. Hasil menunjukkan bahwa perilaku ini tersebar luas di seluruh dataset dan ukuran model.

Jika suatu bagian terlalu mirip, maka diberi label sebagai ‘salad kata’ (secara efektif pengulangan yang tidak berguna).

Peneliti mencatat bahwa sekali model memasuki mode ‘salad kata’, sangat tidak mungkin untuk keluar dari mode tersebut tanpa bantuan eksternal, dan tetap berada dalam loop yang mahal sampai anggaran dekoding pengguna habis^††:

‘Tentu saja, ini menyajikan masalah yang sangat serius bagi pengguna, karena bagian pemikiran yang idealnya sangat singkat sekarang dimaksimalkan dengan pengulangan yang tidak berguna. Jadi, pengguna pada dasarnya membayar biaya maksimum untuk jawaban yang salah, sambil menanggung latensi ujung-ke-ujung yang terpanjang.’

Bagian dari bagian ‘salad kata’ yang muncul sebelum dan sesudah titik pemotongan (yaitu, saat output berulang mulai mendominasi). Sebagian besar pengulangan terjadi setelah titik ini, menunjukkan bahwa sekali model memasuki loop ‘salad kata’, jarang pulih tanpa intervensi.

Penulis mengingat kembali kejutan mereka ketika mereka menemukan bahwa model alasan menampilkan tanda-tanda bahwa mereka menyadari keadaan ‘salad kata’ mereka. Namun, kesadaran ini, dan cara itu memasuki keadaan alasan model yang mungkin, memungkinkan sistem intervensi:

‘Keringanan klasifikasi linier ini membuka pintu untuk deteksi langsung, di mana kami dapat secara efektif mengintervensi dengan operasi yang berbeda untuk menangani model yang terjebak dalam loop ‘salad kata’.’

Metode

Untuk mendeteksi kehadiran ‘salad kata’ selama inferensi, penulis melatih klasifikasi linier sederhana yang berjalan pada keadaan tersembunyi dari setiap token baris ganda.

Setiap bagian yang terjadi setelah model memasuki loop pengulangan diberi label sebagai ‘salad kata’, dengan titik potong (yang disebut titik pemotongan) digunakan untuk menandai data pelatihan. Seribu jejak alasan dihasilkan menggunakan S1 benchmark, dan setiap jejak dibagi menjadi bagian yang dipisahkan oleh baris ganda.

Skema konseptual untuk WordSaladChopper. Selama generasi, keadaan tersembunyi pada setiap token baris ganda dianalisis untuk mendeteksi segmen berulang. Setelah dua bagian ‘salad kata’ diberi label, generasi dihentikan. Prompt regenerasi yang sederhana kemudian ditambahkan, memungkinkan model untuk melanjutkan dan menyelesaikan jawabannya tanpa melebihi anggaran.

Jika suatu bagian ditemukan sangat mirip dengan bagian sebelumnya, maka diberi label sebagai ‘salad kata’. Setelah bagian pengulangan pertama yang berkelanjutan diidentifikasi, semua bagian berikutnya juga diberi label sebagai ‘salad kata’ untuk mencerminkan kelanjutan loop ini.

Klasifikasi ini diimplementasikan sebagai lapisan terhubung penuh tunggal dan dilatih pada keadaan tersembunyi dari token yang mengikuti blok transformer terakhir. Klasifikasi terpisah dilatih untuk setiap model, menggunakan data ini, dan tidak ada fine-tuning yang dilakukan selama evaluasi.

Data dan Pengujian

Pelatihan dan inferensi menggunakan empat GPU NVIDIA A100 (80G VRAM), di bawah Adam optimizer, dengan tingkat pembelajaran 1×10^-2, selama 50 epoch.

Dataset evaluasi adalah ‘Grade School Math’ 8000, juga dikenal sebagai GSM8K; MATH-500; GPQA-DIAMOND; dan AIME25 (2025).

Model yang diuji adalah DeepSeek-R1-Distill-Qwen-1.5B; DeepSeek-R1-Distill-Qwen-7B; dan DeepSeek-R1-Distill-Llama-8B, semua di bawah lisensi MIT.

Metrik yang digunakan adalah Akurasi dan AUROC.

Akurasi dan AUROC dari klasifikasi ‘salad kata’ pada Qwen-7B di seluruh empat benchmark dan dua suhu dekoding. Skor tinggi mengkonfirmasi bahwa awal pengulangan dapat dideteksi secara andal dari keadaan tersembunyi token baris ganda.

Dari hasil yang ditampilkan di sini, penulis mengomentari:

‘[Tabel hasil di atas] menunjukkan bahwa klasifikasi linier sangat akurat dalam mendeteksi bagian ‘salad kata’; namun [tabel hasil di bawah] menunjukkan bahwa prompt regenerasi membantu memulihkan akurasi tugas yang hilang dari pemotongan kasar.’

Akurasi Qwen-7B pada setiap benchmark pada τ = 0,6, membandingkan kinerja sebelum ‘salad kata’ (Asli), setelah pemotongan (Dipotong), dan setelah regenerasi (Diregenerasi). Keuntungan dari regenerasi adalah modest tetapi konsisten, memulihkan kinerja sebelum loop di sebagian besar kasus.

Di tabel hasil di bawah kita dapat melihat bahwa WordSaladChopper meningkatkan atau mempertahankan akurasi sambil secara signifikan mengurangi panjang output model, hingga 57%:

Ketika WordSaladChopper digunakan pada dekoding serak (τ = 0), itu mengurangi panjang output model, terkadang lebih dari setengah, sambil mempertahankan akurasi yang sama atau sedikit lebih baik, kinerja yang tetap konsisten di antara model dan tugas yang berbeda (AIME25 dihilangkan karena hasil yang tidak stabil di bawah pengaturan ini).

Keuntungan terbesar muncul pada jawaban yang lebih panjang, terutama pada GPQA-Diamond, di mana hampir setengah teks dihilangkan tanpa mengganggu kinerja. Di bawah kita dapat melihat hasil serupa ketika keacakan ditambahkan selama generasi:

Pada suhu yang lebih tinggi (τ = 0,6), WordSaladChopper terus mengurangi output menjadi 10-30 persen, dengan akurasi yang tetap stabil atau sedikit ditingkatkan di semua model dan benchmark (hasil AIME25 dirata-rata untuk mengurangi varians).

Di sini akurasi tetap stabil, dengan output yang lebih singkat dicapai. Secara keseluruhan, sistem terus bekerja bahkan ketika jawaban model menjadi lebih berulang; dan penulis mencatat bahwa karena klasifikasi hanya memeriksa satu token per kalimat, itu berjalan sangat cepat, bahkan saat digunakan selama generasi langsung.

Makalah tersebut mengamati bahwa strategi tambahan dalam penelitian di masa depan sepanjang garis ini dapat mendapat manfaat dari memberikan model anggaran regenerasi kecil setelah intervensi; penerapan berkelanjutan WordSaladChopper-gaya sistem selama regenerasi; dan memaksa token ‘akhir berpikir’ pada model, untuk menuntut jawaban terbaik saat ini.

Akhirnya, peneliti mengomentari kualitas negara saat ini dalam mengevaluasi model alasan, dengan nada kritis^†:

‘[Ini] adalah keyakinan kami bahwa banyak metode alasan yang efisien tampaknya efektif sebagian karena benchmark evaluasi alasan saat ini memiliki banyak ruang untuk perbaikan.

‘Jika kita mengembangkan suite evaluasi yang lebih komprehensif evaluasi suite – yang pasti kita lakukan di masa depan – kita berharap untuk melihat banyak metode alasan yang efisien gagal, atau berperilaku sangat berbeda dari model alasan besar (LRM) vanilla.’

Kesimpulan

Pada skala yang dicapai oleh sistem terkemuka seperti ChatGPT, bahkan pergeseran kecil dalam konsumsi sumber daya pengguna dapat memiliki implikasi infrastruktur, logistik, dan biaya yang signifikan. Ini membuat efisiensi menjadi prioritas bersama bagi penyedia dan komunitas penelitian yang lebih luas.

Jika diimplementasikan, sistem baru dan ringan yang diusulkan dalam makalah ini (yang harus dilatih khusus untuk setiap arsitektur model baru) dapat mencegah pembakaran token yang tidak berguna – yang dapat memberikan kesan kepada pelanggan bahwa penyedia ‘menghabiskan’ alokasi mereka dengan cara yang boros atau menipu. Sebenarnya, penyedia lebih baik dengan menyediakan output yang berguna daripada redundan, yang biayanya sama dalam hal komputasi, seperti ‘salad kata’.

* Meskipun kami tidak akan memperluas ini di sini, ini juga berlaku untuk model yang dihosting secara lokal, yang mungkin juga perusahaan serta hobi, dan di mana kehilangan listrik dan produktivitas ‘salad kata’ mungkin menjadi faktor yang patut diperhatikan.

^† Sebagaimana biasa, semua penekanan adalah milik penulis, dan bukan milik saya. Di mana berlaku, kutipan inline mereka telah diubah menjadi tautan oleh saya.

^†† Di sini kita harus mengakui bahwa kerangka kerja dan API dapat mengalokasikan ‘sub-anggaran’ untuk pertanyaan, sehingga satu pertanyaan tidak harus membakar alokasi token sehari – tetapi ini bukan praktik umum, atau biasa dibahas di antara penyedia API-saja.

^††† Saya tidak biasanya siap untuk mengadopsi penggunaan ‘LRMs’ oleh penulis, karena ini bukanlah singkatan yang umum digunakan saat ini, jadi saya akan menggunakan terminologi lain dalam artikel ini, jika perlu.

Publikasi pertama pada hari Kamis, 6 November 2025