Yeni Araştırma Makaleleri AI Sohbetlerinin ‘Token’ Fiyatlandırmasını Sorguluyor

Yeni araştırmalar, AI hizmetlerinin token başına faturalandırma yönteminin gerçek maliyeti kullanıcılardan gizlediğini gösteriyor. Sağlayıcılar, token sayılarını gizlice artırarak veya gizli adımları ekleyerek sessizce ücretleri artırabilirler. Bazı sistemler, çıktıya etki etmeyen ancak faturaya yansıyan ek işlemler gerçekleştirir. Denetim araçları önerildi, ancak gerçek denetim olmadan kullanıcılar gerçekleştirdiklerinden daha fazla ödemek zorunda kalıyor.

AI güçlendirilmiş sohbet arayüzleri için, örneğin ChatGPT-4o, genellikle faturalandırma tokenler temelinde yapılır: görünmeyen metin birimleri, kullanımı sırasında dikkat çekmez ancak faturalandırma amaçları için kesin bir şekilde sayılır; ve her alışveriş token sayısıyla fiyatlandırılır, ancak kullanıcı token sayısını doğrudan doğrulayamaz.

Token tabanlı faturalandırma, sağlayıcılar arasında standart yaklaşım haline geldi, ancak bu, güvenin belki de tehlikeli bir varsayımı üzerine kuruluyor.

Token Kelimeleri

Bir token, kelimenin aynı role sahip olmasına rağmen tam olarak aynı şey değildir ve çoğu sağlayıcı, küçük metin birimleri olarak kelimeler, noktalama işaretleri veya kelime parçalarını tanımlamak için “token” terimini kullanır. Örneğin, ‘inanılmaz’ kelimesi, bir sistem tarafından tek bir token olarak sayılabilirken, başka bir sistem tarafından in, an ve ılmaz olarak bölünebilir ve her parça maliyeti artırır.

Bu sistem, hem kullanıcı tarafından girilen metin hem de modelin cevabına uygulanır ve fiyat toplam token sayısına göre belirlenir.

Zorluk, kullanıcıların bunu görememesi gerçeğinde yatıyor. Çoğu arayüz, sohbet sırasında token sayılarını göstermez ve tokenlerin hesaplanması zor bir işlemdir. Bir sayı sonra gösterilse bile, adil olup olmadığını belirlemek için çok geç olur, bu da kullanıcıların gördüğü şey ile ödediği şey arasında bir uyumsuzluk yaratır.

Yakın zamanda yapılan araştırmalar, daha derin sorunlara işaret ediyor: bir çalışma, sağlayıcıların kuralları hiç ihlal etmeden token sayılarını nasıl artırabileceğini gösteriyor; diğer bir çalışma, arayüzlerin gösterdiği şey ile实际 olarak faturalandırılan şey arasındaki uyumsuzluğu ortaya koyuyor, bu da kullanıcıların verimsizlik izlenimi yaratıyor; ve üçüncü bir çalışma, modellerin genellikle kullanıcıya gösterilmeyen içsel akıl yürütme adımları ürettiğini ve bu adımların faturaya yansıdığını ortaya koyuyor.

Bulunanlar, precisa gibi görünen ancak temel mantığının gizli olduğu bir sistemi gösteriyor: kullanıcılar, göremedikleri şeyden daha fazla ödemek zorunda kalıyor ve genellikle daha fazla ödemek zorunda kalıyor.

Onlarca İle Daha Ucuz?

Bu makalelerin ilkinde – LLM’niz Sizi Fazla mı Faturalandırıyor? Tokenization, Şeffaflık ve Teşvikler adlı makale, Max Planck Yazılım Sistemleri Enstitüsü’nden dört araştırmacı tarafından yazılmıştır – yazarlar, token tabanlı faturalandırmanın risklerinin, saydamlık eksikliğinin ötesine geçtiğini, sağlayıcıların token sayılarını artırma teşvikini vurguluyor:

‘Sorunun özü, bir dizenin tokenleştirilmesinin benzersiz olmamasında yatıyor. Örneğin, kullanıcı “Sonraki NeurIPS nerede yapılacak?” sorusunu sağlayıcıya gönderdiğinde, sağlayıcı bunu bir LLM’ye besler ve model “San Diego” cevabını verir, bu da iki token oluşur.

‘Kullanıcı, üretken süreci bilmediği için, bir sağlayıcı, çıktı tokenlerinin tokenleştirilmesini kullanıcıya bildirerek token sayısını artırabilir, örneğin “S|a|n| |D|i|e|g|o|” tokenleştirilmesini paylaşabilir ve kullanıcıya dokuz token yerine iki token için fazla ücret tahsil edebilir!’

Makale, bu tür bir hesaplama yapabilen bir yöntem sunar ve bu yöntemin, tipik kodlama ayarları altında plausibl olabilecek bir hesaplamayı yapabileceğini kanıtlar. LLaMA, Mistral ve Gemma serilerinden modeller üzerinde test edilen yöntem, gerçek.prompt’lar kullanarak, anomali gibi görünmeden ölçülebilir fazla ücretlendirmeler elde eder:

İnançlı yanlış bildirim kullanarak token enflasyonu. Her panel, bir sağlayıcının 400 LMSYS promt’ının çıkışlarına Algoritma 1’i uygulaması sonucu oluşan fazla faturalandırılan tokenlerin yüzdesini gösterir, çeşitli örnek parametreleri (m ve p) altında. Tüm çıkışlar, 1.3 sıcaklıkta ve her ayar için 90% güven aralığını hesaplamak için beş tekrarla oluşturuldu. Kaynak: https://arxiv.org/pdf/2505.21627

Sorunu çözmek için araştırmacılar, karakter sayısına dayalı faturalandırma öneriyorlar, çünkü bu yaklaşımın sağlayıcılara, kullanımın doğru bir şekilde bildirilmesini teşvik edeceğini savunuyorlar ve adil fiyatlandırma amaçları için, görünmeyen işlemler yerine görünür karakterlere dayalı maliyetin tek doğru seçenek olduğunu iddia ediyorlar. Karakter tabanlı fiyatlandırma, mereka göre, yanlış bildirimlerin motivasyonunu ortadan kaldırır ve aynı zamanda daha kısa, daha verimli çıkışları ödüllendirir.

Ancak burada birkaç ek consideration vardır (çoğu durumda yazarlar tarafından kabul edilen). İlk olarak, önerilen karakter tabanlı şema, tedarikçiye karşı tüketicinin lehine olan ek iş mantığını tanır:

‘[Bir] sağlayıcı, token dizisini mümkün olduğunca sıkıştırmak için tokenleştirme algoritmalarını geliştirmek için net bir teşvike sahiptir, böylece çıkış token dizisi mümkün olduğunca kısadır’

İyi niyetli motif, tedarikçinin böylece daha kısa, daha anlamlı ve değerli çıkışlar üretmeye teşvik edildiği yönündedir. Uygulamada, metin sayısını azaltmak için daha az erdemli yollar da vardır.

İkincisi, yazarlar, şirketlerin, token sisteminden daha açık bir metin tabanlı faturalandırma yöntemine geçmek için muhtemelen yasaya ihtiyaç duyacaklarını belirtiyorlar. Gelecekte, bir startup, ürününü bu tür bir fiyatlandırma modeliyle piyasaya sürerek ayırt edebilir; ancak gerçekten rekabetçi bir ürüne sahip olan ve EEE kategorisi altında olmayan herhangi biri, bunu yapmak için teşvik edilmeyecektir.

Son olarak, yazarlar tarafından önerilen gibi larcenous algoritmalar, kendi hesaplama maliyetleriyle gelebilir; eğer “fazla ücret” hesaplamanın maliyeti, potansiyel kar avantajını aşarsa, planın hiçbir değeri olmayacaktır. Ancak araştırmacılar, önerdikleri algoritmanın etkili ve ekonomik olduğunu vurguluyorlar.

Araştırmacılar, teorileri için kodu GitHub’da paylaşıyor.

Değişim

İkinci makale – Görünmeyen Tokenler, Görünür Faturalar: Şeffaf Olmayan LLM Hizmetlerinde Gizli İşlemlerin Acil Denetimi adlı makale, Maryland Üniversitesi ve Berkeley’den araştırmacılar tarafından yazılmıştır – ticari dil modeli API’lerinde, token bölme ile sınırlı olmayan, gizli işlemlerin yanlış teşviklerine dikkat çekiyor.

Bunlar, iç model çağrıları, spekülatif akıl yürütme, araç kullanımı ve çoklu aracı etkileşimleri içerir – tüm bunlar, kullanıcıya görünmeksizin faturalandırılabilir.

Önde gelen sağlayıcılar arasında akıl yürütme LLM API’lerinin fiyatlandırması ve şeffaflığı. Listelenen tüm hizmetler, kullanıcıya görünmeyen iç akıl yürütme tokenleri için ücret tahsil eder ve hiçbiri bunları çalışma zamanında görünür kılmaz. Maliyetler önemli ölçüde farklılık gösterir, OpenAI’nin o1-pro modeli, Claude Opus 4 veya Gemini 2.5 Pro’ya kıyasla milyonlarca token başına on kat daha fazla ücret tahsil eder, şeffaflık eşit olmasına rağmen. Kaynak: https://www.arxiv.org/pdf/2505.18471

Geleneksel faturalandırma ile karşılaştırıldığında, burada, kullanıcılar hizmetlerin miktarı ve kalitesini doğrulayamadıkları için, bugünün LLM platformları yapısal şeffaflık altında çalışıyor: kullanıcılar, bildirilen token ve API kullanımına göre ücretlendiriliyor, ancak bu metriklerin gerçek veya gerekli işleri yansıttığını doğrulamak için hiçbir yol yok.

Makale, iki tür manipülasyonu tanımlar: miktar enflasyonu, token veya çağrı sayısının kullanıcıya fayda sağlamadan artırılması; ve kalite düşürme, daha düşük performanslı modellerin veya araçların premium bileşenlerin yerine sessizce kullanılması:

‘Akıl yürütme LLM API’lerinde, sağlayıcılar genellikle aynı model ailesinin birden fazla varyantını korur, kapasite, eğitim verisi veya optimizasyon stratejisi bakımından farklılık gösterir (örneğin, ChatGPT o1, o3). Model düşürme, daha düşük maliyetli modellerin sessizce değiştirilmesini ifade eder, bu da beklenen ve gerçek hizmet kalitesi arasında uyumsuzluk yaratabilir.

‘Örneğin, bir promt daha küçük bir model tarafından işlenebilir, ancak faturalandırma değişmez. Bu uygulama, final cevabı birçok görev için masih makul görünse bile, kullanıcılar tarafından tespit edilmesi zordur.’

Makale, faturalandırılan tokenlerin %90’ının kullanıcıya gösterilmediği ve iç akıl yürütmenin token kullanımını yirmi katından fazla artırdığı örnekleri belgeliyor. Haklı olsun veya olmasın, bu adımların şeffaflığının olmaması, kullanıcıların bunların alakalı veya meşru olup olmadığını değerlendirmesi için herhangi bir temel bırakmıyor.

Ajantik sistemlerde, iç değişimler arasında her biri ücretlendirilebilecek ve final çıktıyı anlamlı bir şekilde etkilemeyen değişimler meydana gelebilir:

‘İç akıl yürütme ötesinde, ajantlar, promt’ları, özetleri ve planlama talimatlarını değiştirerek iletişim kurar. Her ajant, diğerlerinden girdileri yorumlar ve iş akışını yönlendirmek için çıktılar üretir. Bu ajantlararası iletişimler, önemli miktarda token tüketebilir ve genellikle kullanıcıya görünmez.’

‘Ajantların kendileri akıl yürütme modellerini kullandığında, faturalandırma daha da şeffaf olur’

Bu sorunları ele almak için araştırmacılar, iç faaliyetin kriptografik kanıtları, model veya araç kimliklerinin doğrulanabilir işaretleri ve bağımsız denetim içeren katmanlı bir denetim çerçevesi öneriyorlar. Ancak temel endişe, yapısal: mevcut LLM faturalandırma şemaları, kullanıcıların maliyetlerini doğrulayamadığı veya ayıramadığı bilgi asimetrisine dayanır.

Görünmeyenleri Saymak

Son makale, Maryland Üniversitesi’nden araştırmacılardan – CoIn: Ticari Şeffaf Olmayan LLM API’lerinde Görünmeyen Akıl Yürütme Tokenlerini Saymak adlı makale – faturalandırma sorununu, suistimal veya yanlış bildirim olarak değil, yapısal olarak ele alır. Makale, çoğu ticari LLM hizmetinin artık ara akıl yürütmeyi gizlediğini, ancak bunlar için hala ücret tahsil edildiğini gözlemliyor.

Makale, bu durumun, tüm dizilerin üretilip, enjekte edilip veya şişirilebileceği görünmeyen bir faturalandırma yüzeyi oluşturduğunu iddia ediyor:

‘[Bu] görünmezlik, sağlayıcıların token sayılarını yanlış bildirmesine veya daha düşük maliyetli, üretilen akıl yürütme tokenlerini token sayılarını suni olarak artırmak için enjekte etmesine izin verir. Buna token sayısı enflasyonu diyoruz.

‘Örneğin, OpenAI’nin o3 modeli tarafından yürütülen tek bir yüksek verimli ARC-AGI çalışması, 111 milyon token tüketmiş ve 66,772.3$ maliyeti olmuştur. Bu ölçekte, küçük manipülasyonlar bile önemli mali etkiye neden olabilir.

‘Bu bilgi asimetrisi, AI şirketlerinin kullanıcıları önemli ölçüde fazla ücretlendirmesine, böylece onların çıkarlarına zarar vermelerine izin verir.’

Buna karşı, araştırmacılar CoIn adlı, gizli tokenleri içeriğini açığa çıkarmadan doğrulayan bir üçüncü taraf denetim sistemi öneriyorlar ve bu, token sayılarını doğrulamak için kriptografik bir ağaç kullanarak ve anlam geçerlilik kontrolleri yaparak token enflasyonunun işaretlerini tespit ediyor.

Şeffaf Olmayan Ticari LLM’ler için CoIn Denetim Sisteminin Genel Bakışı. Panel A, token sayısı doğrulaması için token embeddings’in bir Merkle ağacına nasıl hashed edildiğini gösterir, token içeriğini açığa çıkarmadan. Panel B, hafif sinir ağlarının, akıl yürütme bloklarını final cevaba karşılaştırarak semantik geçerlilik kontrollerini nasıl gerçekleştirdiğini gösterir. Bu bileşenler birlikte, üçüncü taraf denetleyicilerin, token enflasyonunu tespit etmesine, aynı zamanda özel model davranışının gizliliğini korurken olanak sağlar. Kaynak: https://arxiv.org/pdf/2505.13778

Bir bileşen, kriptografik olarak bir Merkle ağacı kullanarak token sayılarını doğrular; diğeri, gizli içeriğin ilgiliğini, çıktı gömme ile karşılaştırarak değerlendirir. Bu, denetleyicilerin, tokenlerin yalnızca faturayı artırmak için eklenerek doldurulduğunu gösteren işaretleri – yani tokenlerin gereksiz veya alakasız olduğunu – tespit etmesine olanak tanır.

Testlerde, CoIn, bazı enflasyon formları için neredeyse %95’lik bir tespit başarısı oranı elde etti ve alt düzeyde veri açıklaması sağladı. Sistem, vẫn poskytıcıların gönüllü işbirliğine bağlı olsa da ve kenar vakalarında sınırlı çözünürlüğe sahip olsa da, daha geniş noktası nettir: mevcut LLM faturalandırma mimarisi, doğrulanamayan bir dürüstlük varsayımı üzerine kuruludur.

SONUÇ

Kullanıcılardan ön ödeme almak avantajının yanı sıra, bir scrip-tabanlı para birimi (örneğin, CivitAI‘deki “buzz” sistemi), kullanıcıları harcadıkları para veya satın aldıkları malın gerçek değerinden uzaklaştırarak, onlara soyunma veya maliyetten bağımsız olma hissini verir.

Benzer şekilde, bir satıcıya kendi ölçüm birimlerini tanımlama izni vermek, tüketiciyi ne ödediği konusunda daha da kör bırakır.

Konusu az anlaşılan token, birçok şekilde tüketilebilen ve tanımlanabilen bir birim, belki de LLM tüketimi için uygun bir ölçüm birimi değildir – en azından çünkü bu, non-English dillerde daha kötü LLM sonuçlarını hesaplamak için İngilizce tabanlı bir oturumdan çok daha fazla token maliyeti gerektirebilir.

Ancak, Max Planck araştırmacılarının önerdiği gibi karakter tabanlı çıktı, daha kısa dilleri tercih edecek ve doğal olarak daha uzun dilleri cezalandıracaktır. Görsel işaretler, bir token sayacının azalan değerinin muhtemelen LLM oturumlarımızda daha cimri olmamıza neden olacağı düşünülüyor, ancak böyle faydalı GUI eklemelerinin yakın zamanda gelmesi olası görünmüyor – en azından yasal eylem olmadan.

* Yazarların vurguları. Yazarların iç citaslarını hyperlink’lere çevirdiğim.

İlk olarak 29 Mayıs 2025 Perşembe günü yayımlandı