Penelitian Baru Mempertanyakan Harga ‘Token’ untuk Obrolan AI

Penelitian baru menunjukkan bahwa cara layanan AI memungut biaya berdasarkan token menyembunyikan biaya sebenarnya dari pengguna. Penyedia dapat diam-diam meningkatkan biaya dengan memanipulasi jumlah token atau menyelipkan langkah-langkah tersembunyi. Beberapa sistem menjalankan proses tambahan yang tidak mempengaruhi output tetapi masih muncul di tagihan. Alat pemantau telah diusulkan, tetapi tanpa pengawasan yang sebenarnya, pengguna dibiarkan membayar lebih dari yang mereka sadari.

Hampir semua kasus, apa yang kita sebagai konsumen bayar untuk antarmuka obrolan yang ditenagai AI, seperti ChatGPT-4o, saat ini diukur dalam token: unit teks yang tidak terlihat selama penggunaan, tetapi dihitung dengan presisi yang tepat untuk tujuan penagihan; dan meskipun setiap pertukaran diberi harga berdasarkan jumlah token yang diproses, pengguna tidak memiliki cara langsung untuk mengonfirmasi jumlah token.

Meskipun pemahaman kita yang tidak sempurna (pada yang terbaik) tentang apa yang kita dapatkan untuk unit ‘token’ yang kita beli, penagihan berbasis token telah menjadi pendekatan standar di seluruh penyedia, beristirahat pada apa yang mungkin terbukti menjadi asumsi kepercayaan yang rapuh.

Kata Token

Token tidak sepenuhnya sama dengan kata, meskipun sering memainkan peran yang serupa, dan sebagian besar penyedia menggunakan istilah ‘token’ untuk menggambarkan unit teks kecil seperti kata, tanda baca, atau fragmen kata. Misalnya, kata ‘tidak percaya’ mungkin dihitung sebagai satu token oleh satu sistem, sementara yang lain mungkin membaginya menjadi tidak, percaya, dengan setiap bagian meningkatkan biaya.

Sistem ini berlaku untuk teks yang diinput pengguna dan jawaban model, dengan harga berdasarkan jumlah total unit-unit ini.

Kesulitan terletak pada kenyataan bahwa pengguna tidak dapat melihat proses ini. Sebagian besar antarmuka tidak menampilkan jumlah token selama percakapan berlangsung, dan cara token dihitung sulit untuk direproduksi. Bahkan jika jumlah token ditampilkan setelah jawaban, sudah terlambat untuk menentukan apakah itu adil, menciptakan ketidaksesuaian antara apa yang dilihat pengguna dan apa yang mereka bayar.

Penelitian terbaru menunjukkan masalah yang lebih dalam: satu studi menunjukkan bagaimana penyedia dapat melakukan penagihan berlebih tanpa pernah melanggar aturan, hanya dengan memanipulasi jumlah token dengan cara yang tidak terlihat oleh pengguna; yang lain mengungkapkan ketidaksesuaian antara apa yang ditampilkan antarmuka dan apa yang sebenarnya dikenakan biaya, meninggalkan pengguna dengan ilusi efisiensi di mana tidak ada; dan yang ketiga mengungkap bagaimana model secara rutin menghasilkan langkah-langkah penalaran internal yang tidak pernah ditampilkan kepada pengguna, tetapi masih muncul di tagihan.

Temuan tersebut menggambarkan sistem yang seolah-olah presisi, dengan angka-angka yang tepat yang mengimplikasikan kejelasan, tetapi logika yang mendasarinya tetap tersembunyi. Apakah ini disengaja atau cacat struktural, hasilnya sama: pengguna membayar lebih dari yang mereka lihat, dan sering lebih dari yang mereka harapkan.

Lebih Murah dengan Belasan?

Dalam penelitian pertama – berjudul Apakah LLM Anda Mengenakan Biaya Berlebihan kepada Anda? Tokenisasi, Transparansi, dan Insentif, dari empat peneliti di Max Planck Institute for Software Systems – penulis berpendapat bahwa risiko penagihan berbasis token meluas ke luar ketidakjelasan, menunjuk ke insentif bawaan bagi penyedia untuk memanipulasi jumlah token:

‘Inti masalahnya terletak pada kenyataan bahwa tokenisasi sebuah string tidak unik. Misalnya, pertimbangkan bahwa pengguna mengirimkan prompt “Di mana NeurIPS berikutnya diadakan?” kepada penyedia, penyedia memasukkannya ke dalam LLM, dan model menghasilkan output “|San| Diego|” yang terdiri dari dua token.

‘Karena pengguna tidak menyadari proses generatif, penyedia yang mementingkan diri sendiri memiliki kapasitas untuk melaporkan tokenisasi output kepada pengguna tanpa mengubah string yang mendasarinya. Misalnya, penyedia dapat berbagi tokenisasi “|S|a|n| |D|i|e|g|o|” dan mengenakan biaya kepada pengguna untuk sembilan token bukan dua!’

Makalah ini mempresentasikan heuristik yang dapat melakukan perhitungan yang tidak jujur tanpa mengubah output yang terlihat, dan tanpa melanggar kemungkinan dalam pengaturan dekoding yang normal. Diuji pada model dari LLaMA, Mistral dan Gemma series, menggunakan prompt nyata, metode ini mencapai penagihan berlebih yang dapat diukur tanpa tampak anomali:

Inflasi token menggunakan ‘pelaporan yang masuk akal’. Setiap panel menunjukkan persentase token yang dikenakan biaya berlebih yang dihasilkan oleh penyedia yang menerapkan Algoritma 1 ke output dari 400 prompt LMSYS, di bawah parameter sampling yang bervariasi (m dan p). Semua output dihasilkan pada suhu 1,3, dengan lima pengulangan per pengaturan untuk menghitung interval kepercayaan 90%. Sumber: https://arxiv.org/pdf/2505.21627

Untuk mengatasi masalah ini, peneliti menyerukan penagihan berbasis jumlah karakter daripada token, dengan alasan bahwa ini adalah satu-satunya pendekatan yang memberikan penyedia alasan untuk melaporkan penggunaan secara jujur, dan berpendapat bahwa jika tujuan adalah harga yang adil, maka mengikat biaya ke karakter yang terlihat, bukan proses tersembunyi, adalah satu-satunya pilihan yang dapat dipertahankan. Penagihan berbasis karakter, mereka berpendapat, akan menghilangkan motif untuk melaporkan secara tidak benar sementara juga menghargai output yang lebih singkat dan efisien.

Di sini ada beberapa pertimbangan tambahan, bagaimanapun (dalam sebagian besar kasus diakui oleh penulis). Pertama, skema berbasis karakter yang diusulkan memperkenalkan logika bisnis tambahan yang mungkin menguntungkan vendor daripada konsumen:

‘[Sebuah] penyedia yang tidak pernah melaporkan secara tidak benar memiliki insentif yang jelas untuk menghasilkan urutan token output yang sesingkat mungkin, dan meningkatkan algoritma tokenisasi saat ini seperti BPE, sehingga mereka dapat mengompresi urutan token output sebanyak mungkin’

Motif optimis di sini adalah bahwa vendor dengan demikian didorong untuk menghasilkan output yang ringkas dan lebih bermakna dan berharga. Dalam prakteknya, ada cara yang kurang bermoral bagi penyedia untuk mengurangi jumlah teks.

Kedua, masuk akal untuk mengasumsikan, penulis menyatakan, bahwa perusahaan kemungkinan besar akan memerlukan legislasi untuk beralih dari sistem token yang kuno ke metode penagihan berbasis teks yang lebih jelas; di masa depan, sebuah startup pemberontak mungkin memutuskan untuk membedakan produk mereka dengan meluncurkannya dengan model harga ini; tetapi siapa pun dengan produk yang benar-benar kompetitif (dan beroperasi pada skala yang lebih rendah daripada EEE kategori) tidak termotivasi untuk melakukan ini.

Akhirnya, algoritma yang licik seperti yang diusulkan oleh penulis akan datang dengan biaya komputasi mereka sendiri; jika biaya menghitung ‘biaya tambahan’ melebihi manfaat keuntungan yang berpotensi, skema tersebut jelas tidak memiliki nilai. Namun peneliti menekankan bahwa algoritma yang diusulkan efektif dan ekonomis.

Penulis menyediakan kode untuk teori mereka di GitHub.

Perubahan

Makalah kedua paper – berjudul Token Tersembunyi, Tagihan yang Terlihat: Kebutuhan Mendesak untuk Memantau Operasi Tersembunyi di Layanan LLM yang Tidak Transparan, dari peneliti di University of Maryland dan Berkeley – berpendapat bahwa insentif yang tidak sejalan dalam API model bahasa komersial tidak terbatas pada pemisahan token, tetapi meluas ke kelas operasi tersembunyi.

Ini termasuk panggilan model internal, penalaran spekulatif, penggunaan alat, dan interaksi multi-agents – semuanya dapat dikenakan biaya kepada pengguna tanpa visibilitas atau upaya.

Harga dan transparansi API LLM penalaran di seluruh penyedia utama. Semua layanan yang terdaftar mengenakan biaya kepada pengguna untuk token penalaran internal tersembunyi, dan tidak ada yang membuat token tersebut terlihat saat runtime. Biaya bervariasi secara signifikan, dengan model o1-pro OpenAI mengenakan biaya sepuluh kali lebih banyak per juta token daripada Claude Opus 4 atau Gemini 2.5 Pro, meskipun memiliki ketidakjelasan yang sama. Sumber: https://www.arxiv.org/pdf/2505.18471

Tidak seperti penagihan konvensional, di mana kuantitas dan kualitas layanan dapat diverifikasi, penulis berpendapat bahwa platform LLM saat ini beroperasi di bawah ketidakjelasan struktural: pengguna dikenakan biaya berdasarkan laporan token dan penggunaan API, tetapi tidak memiliki cara untuk mengonfirmasi bahwa metrik ini mencerminkan pekerjaan yang nyata atau perlu.

Makalah ini mengidentifikasi dua bentuk manipulasi utama: inflasi kuantitas, di mana jumlah token atau panggilan meningkat tanpa manfaat bagi pengguna; dan penurunan kualitas, di mana model atau alat yang performa lebih rendah digunakan secara diam-diam sebagai gantinya:

‘Dalam API LLM penalaran, penyedia sering memelihara beberapa varian dari keluarga model yang sama, yang berbeda dalam kapasitas, data pelatihan, atau strategi optimasi (misalnya, ChatGPT o1, o3). Penurunan model mengacu pada penggantian model yang lebih murah secara diam-diam, yang mungkin memperkenalkan ketidaksesuaian antara kualitas layanan yang diharapkan dan yang sebenarnya.

‘Misalnya, prompt mungkin diproses oleh model yang lebih kecil, sementara penagihan tetap tidak berubah. Praktik ini sulit dideteksi oleh pengguna, karena jawaban akhir masih mungkin tampak masuk akal untuk banyak tugas.’

Makalah ini mendokumentasikan contoh di mana lebih dari sembilan puluh persen token yang dikenakan biaya tidak pernah ditampilkan kepada pengguna, dengan penalaran internal yang memperbesar penggunaan token dengan faktor lebih dari dua puluh. Sah atau tidak, ketidakjelasan langkah-langkah ini menyangkal pengguna dasar untuk mengevaluasi relevansi atau legitimasi.

Dalam sistem agen, ketidakjelasan meningkat, karena pertukaran internal antara agen AI dapat mengakibatkan biaya tanpa mempengaruhi output secara signifikan:

‘Di luar penalaran internal, agen berkomunikasi dengan menukar prompt, ringkasan, dan instruksi perencanaan. Setiap agen baik menerjemahkan input dari yang lain dan menghasilkan output untuk memandu alur kerja. Pesan antar agen ini dapat mengonsumsi token yang substansial, yang sering tidak terlihat oleh pengguna.

‘Semua token yang dikonsumsi selama koordinasi agen, termasuk prompt yang dihasilkan, respons, dan instruksi terkait alat, biasanya tidak disajikan kepada pengguna. Ketika agen itu sendiri menggunakan model penalaran, penagihan menjadi lebih tidak jelas’

Untuk mengatasi masalah ini, penulis mengusulkan kerangka pemantauan berlapis yang melibatkan bukti kriptografis dari aktivitas internal, tanda verifikasi identitas model atau alat, dan pengawasan independen. Masalah yang mendasarinya, bagaimanapun, adalah struktural: skema penagihan LLM saat ini bergantung pada asimetri informasi yang persisten, meninggalkan pengguna terpapar pada biaya yang tidak dapat mereka verifikasi atau pecah.

Menghitung yang Tidak Terlihat

Makalah terakhir, dari peneliti di University of Maryland, membingkai masalah penagihan bukan sebagai pertanyaan tentang penyalahgunaan atau pelaporan yang tidak benar, tetapi tentang struktur. Makalah paper – berjudul CoIn: Menghitung Token Penalaran yang Tidak Terlihat di API LLM Komersial yang Tidak Transparan, dan dari sepuluh peneliti di University of Maryland – mengamati bahwa sebagian besar layanan LLM komersial saat ini menyembunyikan penalaran intermediate yang menyumbang pada jawaban akhir model, tetapi masih mengenakan biaya untuk token tersebut.

Makalah ini menyatakan bahwa ini menciptakan permukaan penagihan yang tidak terlihat di mana seluruh urutan dapat dibuat, disuntikkan, atau diperbesar tanpa deteksi:

‘[Ini] ketidakjelasan memungkinkan penyedia untuk melaporkan jumlah token secara tidak benar atau mensuntikkan token penalaran yang dibuat secara tidak benar untuk memperbesar jumlah token secara tidak benar. Kami menyebut praktik ini sebagai inflasi jumlah token.

‘Misalnya, satu jalankan ARC-AGI yang efisien yang dijalankan oleh model o3 OpenAI mengonsumsi 111 juta token, dengan biaya $66.772,3 Diberikan skala ini, bahkan manipulasi kecil dapat menyebabkan dampak keuangan yang signifikan.

‘Praktik ini memungkinkan perusahaan AI untuk mengenakan biaya berlebihan kepada pengguna, sehingga merugikan kepentingan mereka.’

Untuk mengatasi asimetri ini, penulis mengusulkan CoIn, sebuah sistem pemantauan pihak ketiga yang dirancang untuk memverifikasi token tersembunyi tanpa mengungkapkan isinya, dan yang menggunakan sidik jari yang dihash dan pemeriksaan semantik untuk mendeteksi tanda-tanda inflasi.

Gambaran sistem pemantauan CoIn untuk LLM komersial yang tidak transparan. Panel A menunjukkan bagaimana embedding token penalaran dihash ke dalam pohon Merkle untuk verifikasi jumlah token tanpa mengungkapkan isi token. Panel B menggambarkan pemeriksaan validitas semantik, di mana jaringan neural ringan membandingkan blok penalaran dengan jawaban akhir. Bersama, komponen-komponen ini memungkinkan auditor pihak ketiga untuk mendeteksi inflasi token tersembunyi sambil menjaga kerahasiaan perilaku model yang dipatenkan.

Satu komponen memverifikasi jumlah token secara kriptografis menggunakan pohon Merkle; yang lain menilai relevansi konten tersembunyi dengan membandingkannya dengan embedding jawaban. Ini memungkinkan auditor untuk mendeteksi padding atau irrelevansi – tanda-tanda bahwa token disisipkan hanya untuk meningkatkan tagihan.

Ketika diterapkan dalam tes, CoIn mencapai tingkat deteksi sebesar hampir 95% untuk beberapa bentuk inflasi, dengan paparan data yang mendasarinya yang minimal. Meskipun sistem ini masih bergantung pada kerja sama sukarela dari penyedia, dan memiliki resolusi yang terbatas dalam kasus tepi, poin yang lebih luas adalah tak terbantahkan: arsitektur penagihan LLM saat ini mengasumsikan kejujuran yang tidak dapat diverifikasi.

Kesimpulan

Selain keuntungan mendapatkan pembayaran sebelumnya dari pengguna, sistem scrip-based (seperti sistem ‘buzz’ di CivitAI) membantu untuk mengabstraksi pengguna dari nilai sebenarnya dari mata uang yang mereka belanjakan, atau komoditas yang mereka beli. Demikian pula, memberikan penyedia kebebasan untuk mendefinisikan satuan pengukuran mereka sendiri lebih lanjut meninggalkan konsumen dalam kegelapan tentang apa yang mereka belanjakan, dalam hal uang yang sebenarnya.

Seperti kurangnya jam di Las Vegas, langkah-langkah ini sering ditujukan untuk membuat konsumen ceroboh atau acuh tak acuh terhadap biaya.

Kata yang kurang dipahami, yang dapat dikonsumsi dan didefinisikan dengan banyak cara, mungkin bukan unit pengukuran yang sesuai untuk konsumsi LLM – tidak hanya karena dapat menghabiskan banyak token untuk menghitung hasil LLM yang lebih buruk dalam bahasa non-Inggris, dibandingkan dengan sesi berbasis Inggris.

Namun, output berbasis karakter, seperti yang diusulkan oleh peneliti Max Planck, kemungkinan besar akan menguntungkan bahasa yang lebih ringkas dan menghukum bahasa yang secara alami lebih panjang. Karena indikasi visual seperti penghitung token yang menurun kemungkinan akan membuat kita sedikit lebih boros dalam sesi LLM kita, tampaknya tidak mungkin bahwa penambahan GUI yang berguna seperti itu akan segera hadir – setidaknya tanpa tindakan legislatif.

* Penekanan penulis. Konversi saya dari kutipan inline penulis ke tautan.

Publikasi pertama kali pada hari Kamis, 29 Mei 2025