Parasını Ödememeniz Gereken Yapay Zekâ Sapmaları

Sınırdaki yapay zekâ şirketlerinin, bunu yanlarına kâr kalacağını bilseler token satarken terazinin kefesini kendi lehlerine bastırmayacakları söylenemez. Nitekim Anthropic haziranda fiilen %30’luk bir fiyat artışına gitti; DeepSeek ağustosta API fiyatlarını artırdı; OpenAI ise eylül sonunda orta segmentteki token kotasını azaltma kararından isteksizce geri adım attı. Dolayısıyla kemer sıkma eğilimi artık oldukça açık.

Nitekim yapay zekâ ajanınız, her gün kullanabileceğiniz token kotasını 45 dakika içinde pek de görkemli sayılmayabilecek bir kod üretme maratonunda tüketip size 3-4 saat sonra yeniden denemenizi söylediğinde bu düşünce aklınıza sık sık gelir. Böyle can sıkıcı bir anda, bu faaliyetin arkasındaki bazı işlemlerin sağlayıcıların lehine olacak şekilde ayarlanıp ayarlanmadığını düşünmeden edemezsiniz. Sonuçta bu, bize özel bir token paketi satın aldırmanın, hatta “otomatik yükleme” özelliğini açtırmanın iyi bir yolu.

Eğer durum gerçekten böyleyse, bu dönemde öncü şirketler, ajan tabanlı iş yüklerinde farklı modeller ve altyapılar arasında tokenların nasıl kullanıldığını tam olarak anlamadığımız varsayımının arkasına son derece inandırıcı biçimde saklanabilir. Onlar da anlamıyor. Ödeme alma süreçleri (ki bu süreçler gerçekten çok sorunsuz işliyor) dışında, her şey alfa öncesi aşamada ve ürünün yaygın biçimde metalaşmasına rağmen en ileri düzey araştırmaların konusu olmaya devam ediyor.

İsrafı Yönetmek

Yapay zekâ ajanlarının ajan tabanlı iş akışlarında akıl yürütürken tokenları (ve dolayısıyla paranızı) boşa harcadığı zaten iyice kanıtlanmış bir gerçektir: Tam bir yıl önce, akıl yürütme modellerinin “uzun uzun gevezelik ederek” token harcamaya ne kadar yatkın olduğunu gösteren yeni bir araştırmadan söz etmiştim; bu yılın başlarında, düşünce zinciriyle akıl yürütmenin “süs” niteliğinde olduğunu ortaya koyan başka bir araştırmadan bahsetmiştim; geçen hafta ise Tsuga’nın Ürün Başkanı Nils Bunge, burada yayımlanan bir fikir önderliği yazısında şunları söyledi:

“İki kat fazla token tüketen bir ekip, mutlaka iki kat fazla değer yaratıyor değildir. Daha zor bir işle uğraşıyor, gereğinden güçlü bir model kullanıyor ya da başarısız görevleri tekrar tekrar deneyen bir ajana bel bağlıyor olabilir.”

Daha az bilinen, tokenların gereksiz görevlerde veya süreçlerde nasıl boşa harcandığıdır; bugün dikkatimi bu konuya yeniden çeken yeni bir makale de tam olarak buna odaklanıyor.

Yapay Zekâ Ajanları Paranızı Nasıl Boşa Harcıyor? başlıklı bu yeni ABD’li akademik ortak çalışma*, ajan tabanlı süreçlerin tokenları gerçekte ne ölçüde boşa harcadığını nicel olarak belirleyebilecek birleşik bir çerçeve sunuyor. Modellerin kapalı kaynaklı olduğu durumlarda, “gölge” yöntem sağlayıcıların resmî istatistik ve ölçümleriyle birleştirilerek, yapay zekâ akıl yürütüp eyleme geçerken tokenlara neler olduğuna ilişkin ayrıntılı bir döküm elde ediliyor:

Boşa harcanan yapay zekâ tokenlarını ölçmek için yeni yöntem. Her ajanın akıl yürütme süreçleri, eylemleri ve maliyetleri kaydediliyor; ardından tekrarlar, gereksiz istekler ve önlenebilir sapmalar açısından inceleniyor. Tespit edilen israf ayıklanıyor ve ajanın ilk görevi tamamlama becerisi yeniden sınanıyor. Kaynak

Yukarıda gösterildiği gibi, ajanın normal biçimde çalışmasına izin veriliyor; akıl yürütme örnekleri, araç kullanımı, token tüketimi ve maliyetler de dâhil olmak üzere yapay zekâ sağlayıcısıyla kurduğu iletişim yakalanıp kaydediliyor. Ardından kayıtlar, yararlı çalışmaları tekrarlardan, gereksiz aramalardan ve sapmalardan ayırmaları için Büyük Dil Modeli (LLM) değerlendiricileri tarafından inceleniyor. Bu aşamadan sonra, israf olduğu düşünülen kısımlar çıkarılıyor, token tasarrufu hesaplanıyor ve görevin hâlâ başarıyla tamamlanıp tamamlanamayacağını görmek için ajanın çalışmasına devam etmesi sağlanıyor.

Testlerde araştırmacılar, ajanların çıktı tokenlarının yaklaşık %18’inin boşa harcandığını buldu. Görevlerin %45’inden fazlasında, bir ajan aynı işi başarıyla tamamlamak için diğerinin ihtiyaç duyduğundan daha fazla token harcadı. Ayrıca, gereksiz akıl yürütmenin %41–46’sını kaldırmanın performans üzerinde çok az etkisi olduğunu ve sonuçlardan önemli ölçüde ödün vermeden kayda değer tasarruflar sağlanabileceğini ortaya koydular.

Makalede şöyle deniyor:

“Toplanan tüm süreç kayıtlarında, çıktı tokenlarının yaklaşık %18’i israf olarak belirleniyor.

“Dikkat çekici biçimde, görevlerin %45’inden fazlasında tek bir ajanın boşa harcadığı çıktı, aynı görevi başarıyla tamamlayan başka bir ajanın ürettiği toplam çıktıyı aşıyor.”

Araştırma ayrıca, ajanların en çok kaynağı tanımadıkları araçlarda gezinirken ve sonunda hiçbir yere varmayan yaklaşımları izlerken harcadığını ortaya koydu. Akıl yürütme çabasını artırmanın tutarlı iyileşmeler sağlamadığı da görüldü: En yüksek çaba düzeyinde Kimi-K3, düşük çaba düzeyine kıyasla 6,6 kat daha fazla akıl yürütme tokenı üretti; ancak bu, daha iyi sonuçlar elde edileceğine dair bir güvence sunmadı.

Kimi-K3’ün beş kıyaslamada dört farklı akıl yürütme çabası düzeyinde nasıl performans gösterdiğini ortaya koyan test sonuçları. Daha fazla akıl yürütme çabası başarı oranlarını tutarlı biçimde artırmadı; en yüksek çaba düzeyi bazen daha düşük ayarlardan daha kötü sonuçlar verdi.

Bir benzetmeyle, bu ajan oturumları, güçlü bir arabayı tüm kapasitesini kullanmadan sürmekten ziyade, hiçbir fayda sağlamadığı ve olası olumsuz sonuçlara yol açabileceği hâlde, her yolculukta mümkün olan en yüksek hıza çıkacak şekilde hızlanan bir araba kullanmaya benziyor.

Makale, farklı yürütme ortamlarının token israfına katkısını da inceliyor ve kullanılan ortama bağlı olarak aynı yapay zekâ modeli Kimi-K3’ün, aynı görevlerde mutlaka daha iyi sonuçlar elde etmeksizin, dört katından fazla akıl yürütme üretebildiğini ortaya koyuyor.

İsrafın bir kısmının temel yazılım hatalarından kaynaklandığı görüldü: OpenCode, Kimi Code CLI ve OpenClaw, görevleri tekrar tekrar yanlış Python ortamında başlatarak hatalara ve token tüketen yeniden denemelere yol açıyordu. Kimi Code CLI ayrıca yapay zekânın, yazılımın kendisinin reddedeceği zaman aşımları talep etmesine izin veriyor ve bu da daha fazla maliyetli denemeyi zorunlu kılıyordu.

Beklenenin aksine, daha fazla araç sunan yürütme ortamları mutlaka daha fazla israfa yol açmıyordu; ayrıca yinelenen bazı verimsizlikler, hangi yürütme ortamının kullanıldığından bağımsız olarak doğrudan modellerden kaynaklanıyor gibi görünüyordu.

‘[Several] Yürütme ortamlarına ilişkin ilk bakışta bariz görünen özellikler, israfta gözlemlenen farklılıkları tutarlı biçimde açıklamıyor. Örneğin, [below] gösterildiği üzere, daha fazla araç sunan yürütme ortamları mutlaka daha fazla israfa yol açmıyor. OpenClaw, diğer yürütme ortamlarından çok daha fazla araç sunmasına karşın yalnızca orta düzeyde israfa neden oluyor. Üstelik israfın tamamı yürütme ortamına göre değişmiyor.

‘[Below right] SWE-bench Verified’da Kimi-K3’ün projenin ilk çözümü olduğuna inandığı bir düzeltmeyi yazıp daha sonra bundan vazgeçtiği yinelenen bir sapma yaşandığını gösteriyor. ‘

Yapay zekâ ajanı yürütme ortamlarında boşa harcanan tokenları karşılaştıran test sonuçları. Sol: Daha fazla araç sunmak israfı mutlaka artırmıyor. Sağ: Kimi-K3, yürütme ortamından bağımsız olarak yazılıma yönelik ilk çözüm olduğunu varsaydığı bir düzeltmeyi tekrar tekrar deneyip bırakıyor; ancak farklı türdeki bir görevde bunu nadiren yapıyor.

Yazarlar, düzeltici önlem olarak, ajan yürütme ortamlarının çevresel kısıtlamalar nedeniyle daha fazla ilerlemenin imkânsız hâle geldiğini fark etmesini, bu kısıtları yapay zekâ modeline açıkça bildirmesini ve yinelenen başarısız denemelerin daha fazla token tüketmesine izin vermek yerine yürütmeyi durdurmasını öneriyor. Ayrıca, boşa harcanan tokenlara ilişkin ölçümlerini model eğitimini, akıl yürütme stratejilerini ve yürütme ortamlarının tasarımını geliştirmek için kullanmayı öneriyorlar.

Yöntem

Araştırmacılar, bir yapay zekâ ajanının faaliyetlerini yeniden oluşturmak için model ile onu kontrol eden yazılım arasındaki her etkileşimi izleyerek akıl yürütme süreçlerini, yanıtlarını, araç taleplerini ve token maliyetlerini kaydetti; ancak ayrıntı düzeyi sağlayıcıya göre değişiyordu: Kimi-K3 akıl yürütme sürecinin tamamını, Gemini 3.1 Pro yalnızca özetleri sunarken Claude hiçbirini açıklamıyor.

Araştırmacıların süreci tamamlanana ya da çalışma sınırına ulaşılana kadar izleyebilmesi için her aracın sonuçları ajana geri iletildi.

Yapay zekâ ajanlarının tokenları nasıl kullandığına ilişkin dört örnek. Bilinen bilgileri tekrarlamak, aynı aramaları yinelemek ve gereksiz özürler eklemek israf sayılırken başarısız bir arama mutlaka israf olarak değerlendirilmiyor; çünkü ajanın bu aramayı denemek için geçerli bir nedeni olabilir.

Ajanların faaliyetlerini izlemek için istekleri bir vekil sunucu üzerinden yönlendirildi; bunun için yalnızca küçük kod değişiklikleri gerekti ve her istek kıyaslama testi, çalıştırma, görev ve deneme bilgileriyle etiketlendi (bu tür etiketleri desteklemeyen OpenClaw hariç; bu durumda her test için ayrı bir vekil sunucu kullanıldı ve bu sunucu LiteLLM üzerine kuruldu).

Dört Etken

Çalışma, token israfını dört yinelenen örüntüyle tanımlıyor: Yineleme (bilinen bilgileri tekrarlama); Yinelenen Getirme (gereksiz araç isteklerini yineleme); Dolgu (konuyla ilgisiz metin ekleme); ve Sapma (makul görünen ancak sonuçta verimsiz yaklaşımların peşinden gitme).

Kaydedilen her oturum, özgün görevin, eksiksiz kaydın ve dört atık örüntüsünün tümünü belirlemeye yönelik ölçütlerin verildiği LLM-as-a-Judge (LLMaJ**) tarafından incelendi. Atık olduğu düşünülen kısımlar işaretlenip çıkarıldı; ardından boşa harcanan oranı ve maliyeti hesaplamak için geriye kalan jetonlar yeniden sayıldı. Sayımlar daha sonra her sağlayıcının kendi jetonlayıcıları veya sayım araçları ve bildirdiği çıktı kullanımıyla karşılaştırılarak doğrulandı (yalnızca küçük biçimlendirme farklılıkları olduğu bildirildi).

Testler

Çalışmada şu modeller test edildi: Kimi-K3; Gemini 3.1 Pro; GPT-5.6 Terra; GPT-6 Astra; Claude Sonnet 5 ve Claude Fable 5.1. Modeller şu kıyaslama testlerinde değerlendirildi: τ²-bench (havayolu ve perakende müşteri hizmetleri); SWE-bench Verified (yazılım mühendisliği); Claw-Eval ve MCP-Atlas (genel amaçlı araç kullanımı).

Ayrıca Kimi-K3 farklı akıl yürütme düzeylerinde test edildi ve beş ajan çalışma altyapısı karşılaştırıldı: OpenCode; OpenClaw; OpenHands; Hermes ve Kimi Code CLI. Bu son karşılaştırmalar, modellerin, görevlerin, akıl yürütme çabasının ve çalışma altyapısı tasarımının jeton israfını nasıl etkilediğini değerlendirmek için kullanıldı (ayrıca, performansa etkisini incelemek üzere sonraki testlerde atık olduğu düşünülen kısımlar çıkarıldı).

Her modelin ne kadar para harcadığını belirlemek için gereksiz metin ve araç çağrılarının maliyeti toplam çıktı maliyetleriyle karşılaştırıldı; sonuçların ortalaması dört kıyaslama testi üzerinden alındı. İçsel akıl yürütme ise ayrı değerlendirildi; bu sürecin tamamını görünür kılan tek model Kimi-K3’tü:

Altı yapay zekâ modelinde boşa harcanan çıktı maliyetlerini karşılaştıran ve dört kıyaslama testinin ortalamasını gösteren test sonuçları. Sol: Kimi-K3’ün içsel akıl yürütmesi ayrı gösterilerek genel israf oranları. Sağ: başarılı ve başarısız görevlerdeki israf oranları; başarısızlıkların genellikle daha fazla israfa yol açtığı görülüyor.

Yukarıda görüldüğü üzere, yanıt üretmek ve araçları kullanmak için harcanan paranın %11 ila %24,9’unun boşa gittiği değerlendirildi. En iyi performansı GPT-6 Astra, en kötü performansı ise Claude Sonnet 5 gösterdi. Kimi-K3’te yanıtlar ve araç kullanımı sırasında yaklaşık her altı jetondan biri, içsel akıl yürütme sırasında ise her dört jetondan birinden fazlası boşa harcandı.

Görevler başarısız olduğunda genellikle daha fazla israf görüldü; ancak Kimi-K3’ün akıl yürütmesinde bunun tersi geçerliydi. Ayrıca, gereksiz işlere daha fazla jeton harcamanın başarı olasılığını artırdığına dair net bir kanıt bulunmadı.

Başka bir testte, yapay zekâ çalışmayı sürdürürken boşa harcanan jetonları azaltmaya çalışıldı: her adımda, görevin devam etmesine izin verilmeden önce modelin akıl yürütmesindeki tekrarlanan bilgiler ve gereksiz metinler bir yapay zekâ hakemi** tarafından çıkarıldı:

İki kıyaslama testinde gereksiz yapay zekâ akıl yürütmesinin çıkarılmasının başarı oranlarını nasıl etkilediğini gösteren test sonuçları. Akıl yürütmenin %41-46’sının çıkarılması performans üzerinde çok az etki yaratırken, akıl yürütmenin tamamının çıkarılması başarısızlıkları önemli ölçüde artırdı.

SWE-bench Verified’da akıl yürütmenin %41’i çıkarıldı ve performans kaybı yaşanmadı; başarı oranı ise %89’dan %89,5’e çıkarak hafifçe arttı. MCP-Atlas’ta akıl yürütmenin %46’sı çıkarıldı ve başarı oranı yalnızca sınırlı ölçüde, %65’ten %62,3’e düştü.

Başka bir deyişle, yapay zekâ çalışırken akıl yürütmenin neredeyse yarısı çıkarılabiliyordu ve bu, görevi tamamlama becerisine ciddi zarar vermiyordu.

Son olarak^†, Kimi-K3 aynı görevlerde farklı ajan çalışma altyapıları kullanılarak test edildi. Aşağıda görüldüğü üzere, akıl yürütme çıktısı dört kattan fazla değişirken performansta tutarlı bir iyileşme görülmedi:

İki kıyaslama testinde farklı ajan çalışma altyapılarının Kimi-K3’ün jeton tüketimini karşılaştıran test sonuçları. İçsel akıl yürütme mavi, yanıtlar ve araç çağrıları turuncu renkle gösterilmiştir. Kodlama görevlerinde Mini-SWE ile Hermes’e kıyasla dört kattan fazla akıl yürütme üretildi.

İsrafın bir kısmının temel yazılım hatalarından kaynaklandığı belirlendi. OpenCode, Kimi Code CLI ve OpenClaw kodlama testlerini yanlış Python ortamında başlattı; bu da hatalara ve yeniden denemelere yol açtı.

Sonuç

Bu, uzunluğu ve titiz yöntemi daha yakından okunmayı hak edebilecek bir makaleye yalnızca kısa bir bakış.

Konu, sık sık aklıma gelen bir şeyi de hatırlattı: bizimle öncü tedarikçilerin bu süreçler hakkında gerçekten anladıkları arasındaki uçurumu ve şirketlerin ürünü, sanki son üç ayını bir kod denetleyicisinde geçirmiş ve kusursuz bir sonuç almış gibi sunmaya ne kadar istekli olduklarını.

Şimdilik, kötü sonuçlar ortaya çıktığında suçlayabileceğimiz tek kişi kendimiziz; çünkü neredeyse hepimizin son derece deneysel ve öngörülemez olduğunu bildiği bir ürünü satın alıyoruz.

* University of Illinois Urbana-Champaign, Northeastern University, University of California (Los Angeles) ve bağımsız bir araştırmacının açıkça eşit katkılarıyla.

* Anlayabildiğim kadarıyla makalede hangi modelin kullanıldığı belirtilmiyor.

^†Bu not, makale için değil, genellikle ele almayı kendime uygun gördüğümden daha uzun olan ve burada yer verebileceğimizden daha fazla test ve ayrıntı içeren bu yazı içindir. Daha fazla bilgi için yukarıda bağlantısı verilen kaynak PDF’ye başvurun.

İlk yayımlanma tarihi: 6 Kasım 2026 Cuma