Jalan Memutar AI yang Seharusnya Tidak Perlu Anda Bayar

Bukan berarti perusahaan AI terdepan tidak akan berusaha memanipulasi perhitungan saat menjual token kepada kita jika mereka bisa melakukannya tanpa ketahuan. Lagi pula, Anthropic menerapkan kenaikan harga efektif sebesar 30% pada Juni; DeepSeek menaikkan harga API pada Agustus; dan OpenAI dengan enggan membatalkan penurunan jatah token tingkat menengahnya pada akhir September. Jadi, kecenderungan menuju penghematan kini sudah cukup jelas.

Memang, pikiran itu kerap muncul kembali ketika agen AI Anda menghabiskan jatah token harian dalam 45 menit, menghasilkan kode yang belum tentu mengesankan, lalu menyuruh Anda kembali dalam 3-4 jam. Pada saat yang membuat frustrasi seperti itu, kita mau tak mau bertanya-tanya apakah sebagian proses di balik aktivitas tersebut dirancang untuk menguntungkan penyedia. Lagi pula, ini cara yang bagus untuk membuat kita merogoh kocek demi tambahan token khusus—atau bahkan mengaktifkan ‘isi ulang otomatis’.

Jika memang demikian, pada masa ini, perusahaan-perusahaan terdepan dapat bersembunyi dengan cukup meyakinkan di balik anggapan bahwa kita tidak sepenuhnya memahami bagaimana token digunakan dalam beban kerja berbasis agen, di berbagai model dan kerangka kerja. Mereka pun tidak memahaminya. Selain alur pembayaran mereka—yang memang sangat lancar—semuanya masih berada pada tahap pra-alfa dan tetap menjadi bahan penelitian mutakhir, meskipun produk ini telah menjadi komoditas yang tersedia luas.

Mengelola Pemborosan

Fakta bahwa agen AI membuang-buang token (dan akibatnya uang Anda) saat melakukan penalaran dalam alur kerja berbasis agen sudah terbukti dengan baik: tepat setahun lalu, saya menulis tentang penelitian baru yang menunjukkan sejauh mana model AI penalaran cenderung menghabiskan token dengan ‘bertele-tele’; awal tahun ini, saya menulis tentang penelitian lebih lanjut yang menunjukkan bahwa penalaran berantai hanyalah ‘hiasan’; dan pekan lalu, Nils Bunge, Kepala Produk Tsuga, dalam artikel yang menawarkan wawasan kepemimpinan di sini, menyatakan:

‘Tim yang menggunakan token dua kali lebih banyak belum tentu menciptakan nilai dua kali lipat. Mereka mungkin menangani pekerjaan yang lebih sulit, menggunakan model yang terlalu canggih, atau mengandalkan agen yang berulang kali mencoba kembali tugas yang gagal.’

Yang belum banyak diketahui adalah cara token terbuang untuk tugas atau proses yang tidak perlu; hal inilah yang menjadi fokus makalah baru yang kembali menarik perhatian saya pada topik ini hari ini.

Berjudul Bagaimana Agen AI Menghabiskan Uang Anda?, kolaborasi akademis baru dari Amerika Serikat ini* menawarkan kerangka terpadu yang mampu mengukur seberapa boros proses berbasis agen dalam menggunakan token. Untuk model sumber tertutup, metodologi ‘bayangan’ dipadukan dengan statistik dan metrik resmi dari penyedia untuk memberikan uraian terperinci yang setara tentang apa yang terjadi pada token saat AI melakukan penalaran dan bertindak:

Metode baru untuk mengukur token AI yang terbuang. Penalaran, tindakan, dan biaya setiap agen dicatat, lalu diperiksa untuk menemukan pengulangan, permintaan yang tidak perlu, dan jalan memutar yang dapat dihindari. Pemborosan yang teridentifikasi dihilangkan, lalu kemampuan agen untuk menyelesaikan tugas awal diuji kembali. Sumber

Seperti ditunjukkan di atas, agen diizinkan bekerja seperti biasa, sementara komunikasinya dengan penyedia AI disadap dan dicatat, termasuk penalaran, penggunaan alat, konsumsi token, dan biaya. Catatan tersebut kemudian diperiksa oleh penilai Large Language Model (LLM) untuk memisahkan pekerjaan yang berguna dari pengulangan, pencarian yang tidak perlu, dan jalan memutar. Setelah itu, pemborosan yang diduga terjadi dihilangkan, penghematan token dihitung, dan pekerjaan agen dilanjutkan untuk melihat apakah tugas tersebut masih dapat diselesaikan dengan sukses.

Dalam pengujian, para peneliti menemukan bahwa sekitar 18% token keluaran agen terbuang. Pada lebih dari 45% tugas, token yang terbuang oleh satu agen lebih banyak daripada token yang dibutuhkan agen lain untuk menyelesaikan pekerjaan yang sama dengan sukses. Mereka juga menemukan bahwa menghilangkan 41–46% penalaran yang tidak perlu hampir tidak memengaruhi kinerja, yang menunjukkan bahwa penghematan besar dapat dilakukan tanpa mengorbankan hasil secara signifikan.

Makalah tersebut menyatakan:

‘Dari seluruh rangkaian proses yang dikumpulkan, sekitar 18% token keluaran teridentifikasi sebagai pemborosan.

‘Yang mencolok, pada lebih dari 45% tugas, token keluaran yang terbuang oleh satu agen saja melebihi seluruh token keluaran agen lain yang berhasil menyelesaikan tugas yang sama.’

Selain itu, penelitian tersebut menemukan bahwa agen membuang sumber daya paling banyak saat menggunakan alat yang belum dikenal dan menempuh pendekatan yang pada akhirnya tidak membuahkan hasil; penelitian itu juga menemukan bahwa peningkatan upaya penalaran tidak selalu menghasilkan perbaikan yang konsisten: pada tingkat upaya maksimum, Kimi-K3 diketahui menghasilkan token penalaran 6.6 kali lebih banyak daripada pada tingkat upaya rendah, tanpa jaminan bahwa hasilnya akan lebih baik.

Hasil pengujian yang menunjukkan performa Kimi-K3 pada empat tingkat upaya penalaran di lima tolok ukur. Upaya penalaran yang lebih besar tidak selalu meningkatkan tingkat keberhasilan, dan upaya maksimum terkadang menghasilkan kinerja yang lebih buruk daripada pengaturan yang lebih rendah.

Sebagai analogi, alih-alih mengendarai mobil bertenaga tinggi yang kemampuannya tidak pernah benar-benar dimanfaatkan, sesi agen AI ini lebih mirip mengendarai mobil yang akan melaju hingga kecepatan maksimumnya di setiap perjalanan, meskipun hal itu tidak membawa manfaat dan dapat menimbulkan dampak negatif.

Makalah ini juga mengkaji peran berbagai kerangka kerja dalam menghasilkan pemborosan token. Ditemukan bahwa model AI yang sama, Kimi-K3, dapat menghasilkan penalaran lebih dari empat kali lipat untuk tugas yang identik, bergantung pada kerangka kerja yang digunakan, tanpa selalu memperoleh hasil yang lebih baik.

Sebagian pemborosan disebabkan oleh masalah perangkat lunak mendasar: OpenCode, Kimi Code CLI, dan OpenClaw berulang kali menjalankan tugas dalam lingkungan Python yang keliru, sehingga menimbulkan kesalahan dan percobaan ulang yang menghabiskan token. Kimi Code CLI juga membolehkan AI meminta batas waktu yang akan ditolak oleh perangkat lunaknya sendiri, sehingga memaksa AI melakukan lebih banyak percobaan yang memakan biaya.

Berlawanan dengan dugaan, kerangka kerja yang menyediakan lebih banyak alat belum tentu lebih boros, dan beberapa inefisiensi berulang tampaknya berasal dari model itu sendiri, apa pun kerangka kerja yang mengendalikannya.

‘[Several] sifat-sifat kerangka kerja yang tampaknya jelas tidak selalu menjelaskan perbedaan pemborosan yang teramati. Sebagai contoh, seperti yang ditunjukkan [below], kerangka kerja yang menyediakan lebih banyak alat belum tentu lebih boros. OpenClaw menyediakan jauh lebih banyak alat daripada kerangka kerja lainnya, tetapi tingkat pemborosannya hanya sedang. Selain itu, tidak semua pemborosan berubah bergantung pada kerangka kerja.

‘[Below right] menunjukkan bahwa pada SWE-bench Verified, ada penyimpangan berulang ketika Kimi-K3 menuliskan apa yang diyakininya sebagai perbaikan asli proyek tersebut, lalu mengabaikannya. ‘

Hasil pengujian yang membandingkan token terbuang di berbagai kerangka kerja agen AI. Kiri: menyediakan lebih banyak alat tidak selalu meningkatkan pemborosan. Kanan: Kimi-K3 berulang kali mencoba lalu mengabaikan perbaikan perangkat lunak yang dianggapnya sebagai perbaikan asli, apa pun kerangka kerjanya, tetapi jarang melakukannya pada jenis tugas yang berbeda.

Untuk mengatasi masalah ini, para penulis menyarankan agar kerangka kerja agen mengenali saat pembatasan lingkungan membuat kemajuan lebih lanjut mustahil, menyampaikan keterbatasan tersebut dengan jelas kepada model AI, dan menghentikan eksekusi alih-alih membiarkan percobaan berulang yang gagal menghabiskan lebih banyak token. Mereka juga mengusulkan penggunaan pengukuran token terbuang untuk meningkatkan pelatihan model, strategi penalaran, dan desain kerangka kerja.

Metode

Untuk merekonstruksi aktivitas agen AI, para peneliti melacak setiap interaksi antara model dan perangkat lunak yang mengendalikannya, serta mencatat penalaran, respons, permintaan alat, dan biaya tokennya—dengan tingkat perincian yang berbeda-beda menurut penyedia: Kimi-K3 mengungkap seluruh proses penalarannya; Gemini 3.1 Pro hanya mengungkap ringkasannya; sedangkan Claude tidak mengungkapkannya sama sekali.

Hasil dari setiap alat dikirim kembali ke agen, sehingga para peneliti dapat mengikuti prosesnya hingga selesai atau hingga batas operasinya tercapai.

Empat contoh penggunaan token oleh agen AI. Mengulang informasi yang sudah diketahui, melakukan pencarian identik, dan menambahkan permintaan maaf yang tidak perlu dihitung sebagai pemborosan, sedangkan pencarian yang tidak berhasil belum tentu merupakan pemborosan karena agen mungkin punya alasan kuat untuk mencobanya.

Permintaan agen diarahkan melalui proksi untuk melacak aktivitasnya, dengan hanya sedikit perubahan kode yang diperlukan, dan setiap permintaan diberi tag yang menunjukkan tolok ukur, proses, tugas, dan uji cobanya (kecuali OpenClaw, yang tidak mendukung tag semacam itu—dalam hal ini, proksi terpisah yang dibangun di atas LiteLLM digunakan untuk setiap pengujian).

Empat Pola

Studi ini mengidentifikasi empat pola berulang sebagai bentuk pemborosan token: Pengulangan (mengulang informasi yang sudah diketahui); Pengambilan Duplikat (mengulangi permintaan alat yang tidak perlu); Pengisi (menambahkan teks yang tidak relevan); dan Penyimpangan (menempuh pendekatan yang masuk akal tetapi pada akhirnya tidak membuahkan hasil).

Setiap sesi yang direkam diperiksa oleh LLM-as-a-Judge (LLMaJ**), yang diberi tugas awal, catatan lengkap, dan kriteria untuk mengidentifikasi keempat pola pemborosan. Teks yang dicurigai sebagai pemborosan ditandai dan dihapus, lalu jumlah token yang tersisa dihitung ulang untuk mengetahui proporsi dan biaya pemborosan. Jumlah tersebut kemudian dicocokkan dengan tokenizer atau alat penghitung milik masing-masing penyedia serta penggunaan keluaran yang dilaporkan (dengan hanya perbedaan kecil dalam pemformatan yang dilaporkan).

Pengujian

Model yang diuji dalam penelitian ini mencakup Kimi-K3; Gemini 3.1 Pro; GPT-5.6 Terra; GPT-6 Astra; Claude Sonnet 5; dan Claude Fable 5.1. Pengujian dilakukan menggunakan tolok ukur τ²-bench (layanan pelanggan maskapai penerbangan dan ritel); SWE-bench Verified (rekayasa perangkat lunak); Claw-Eval; dan MCP-Atlas (penggunaan alat untuk keperluan umum).

Selain itu, Kimi-K3 diuji pada berbagai tingkat penalaran, dan lima kerangka kerja agen dibandingkan: OpenCode; OpenClaw; OpenHands; Hermes; dan Kimi Code CLI. Perbandingan ini digunakan untuk menilai pengaruh model, tugas, upaya penalaran, dan rancangan kerangka kerja terhadap pemborosan token (serta untuk menguji pengaruhnya terhadap kinerja dengan menghapus pemborosan yang dicurigai dalam pengujian lanjutan).

Untuk mengetahui jumlah uang yang terbuang oleh setiap model, biaya teks dan pemanggilan alat yang tidak perlu dibandingkan dengan total biaya keluaran, lalu hasilnya dirata-ratakan di empat tolok ukur. Penalaran internal dinilai secara terpisah untuk Kimi-K3—satu-satunya model yang mengungkapkan seluruh proses penalarannya:

Hasil pengujian yang membandingkan biaya keluaran yang terbuang pada enam model AI, dirata-ratakan di empat tolok ukur. Kiri: tingkat pemborosan keseluruhan, dengan penalaran internal Kimi-K3 ditampilkan secara terpisah. Kanan: tingkat pemborosan pada tugas yang berhasil dan gagal; tugas yang gagal umumnya menghasilkan lebih banyak pemborosan.

Seperti terlihat di atas, 11% hingga 24,9% dari uang yang digunakan untuk menghasilkan jawaban dan memakai alat dinilai terbuang, dengan GPT-6 Astra mencatat kinerja terbaik dan Claude Sonnet 5 terburuk. Pada Kimi-K3, sekitar satu dari enam token terbuang untuk jawaban dan penggunaan alat, sementara proporsinya meningkat menjadi lebih dari satu dari empat token selama penalaran internal.

Secara umum, pemborosan lebih besar ditemukan saat tugas gagal, meskipun hasil sebaliknya terlihat pada penalaran Kimi-K3. Tidak ada bukti jelas bahwa penggunaan lebih banyak token untuk pekerjaan yang tidak perlu meningkatkan peluang keberhasilan.

Dalam pengujian lain, peneliti berupaya mengurangi token yang terbuang saat AI masih bekerja: pada setiap tahap, seorang juri AI** digunakan untuk menghapus informasi berulang dan teks yang tidak berguna dari penalaran model sebelum tugas dilanjutkan:

Hasil pengujian yang menunjukkan pengaruh penghapusan penalaran AI yang tidak perlu terhadap tingkat keberhasilan pada dua tolok ukur. Penghapusan 41–46% penalaran hanya sedikit memengaruhi kinerja, sedangkan penghapusan seluruh penalaran menyebabkan jauh lebih banyak kegagalan.

Pada SWE-bench Verified, 41% penalaran dihapus tanpa menurunkan kinerja; tingkat keberhasilan bahkan sedikit meningkat, dari 89% menjadi 89,5%. Pada MCP-Atlas, 46% penalaran dihapus, dan tingkat keberhasilan hanya sedikit menurun, dari 65% menjadi 62,3%.

Dengan kata lain, hampir setengah dari penalaran dapat dibuang saat AI bekerja tanpa mengurangi secara serius kemampuannya untuk menyelesaikan tugas.

Terakhir^†, Kimi-K3 diuji dengan tugas yang sama menggunakan kerangka kerja agen yang berbeda. Dalam pengujian ini, keluaran penalaran bervariasi lebih dari empat kali lipat tanpa peningkatan kinerja yang konsisten, seperti ditunjukkan di bawah ini:

Hasil pengujian yang membandingkan konsumsi token Kimi-K3 pada berbagai kerangka kerja agen dalam dua tolok ukur. Penalaran internal ditampilkan dengan warna biru, sedangkan jawaban dan pemanggilan alat ditampilkan dengan warna jingga. Pada tugas pemrograman, penalaran yang dihasilkan dengan Mini-SWE lebih dari empat kali lipat dibandingkan dengan Hermes.

Sebagian pemborosan disebabkan oleh kesalahan perangkat lunak mendasar. OpenCode, Kimi Code CLI, dan OpenClaw menjalankan pengujian pemrograman di lingkungan Python yang keliru sehingga memicu kesalahan dan percobaan ulang.

Kesimpulan

Ini hanya sekilas tentang sebuah makalah yang panjang dan disusun dengan saksama, sehingga layak dibaca lebih mendalam.

Topik ini memang mengingatkan saya pada sesuatu yang sering saya sadari: jurang besar antara apa yang sebenarnya kita pahami tentang proses-proses ini dan apa yang dipahami para pemasok terdepan, serta kesediaan perusahaan untuk mengemas produk tersebut seolah-olah produk itu telah menjalani pemeriksaan dengan alat analisis kode selama tiga bulan terakhir dan lulus dengan gemilang.

Dalam kondisi saat ini, untuk sementara, jika hasilnya buruk, kita hanya bisa menyalahkan diri sendiri karena kita membeli produk yang hampir kita semua tahu masih sangat eksperimental dan tidak dapat diprediksi.

* Dengan kontribusi yang secara tegas dinyatakan setara dari University of Illinois Urbana-Champaign, Northeastern University, University of California (Los Angeles), dan seorang peneliti independen.

* Sejauh yang dapat saya ketahui, makalah ini tidak menyebutkan model yang digunakan.

^† Untuk artikel ini, bukan makalahnya, yang lebih panjang daripada yang biasanya sanggup saya bahas dan memuat lebih banyak pengujian serta pembahasan mendalam daripada yang dapat kami tampung di sini. Untuk informasi lebih lanjut, silakan merujuk ke PDF sumber yang ditautkan di atas.

Pertama kali diterbitkan pada Jumat, 6 November 2026