Kenar Cihazınız Tek Bir İleri Geçişte Ölçüldü. Ajanınız Bir Döngü Çalıştıracak.

Kenar AI donanım tartışması son bir yılda çok daha dürüst bir hâl aldı. Bu sitedeki son makale, eski tasarım hiyerarşisinin — “verimliliği maksimize et, ardından güç ve termalleri ona göre yönet” — tersine döndüğünü ve endüstriyel dağıtımlarda gücün artık en ön planda, ham verimliliğin ise en sona geldiğini savundu. Bu, bu yayının bir süredir savunduğu bir argümana dayanıyor: kenar cihazları “termal sınırlı, MIPS/hesaplama sınırlı değil” ve akıllı telefonların zaten bu sınırlarda olduğu. İkisi de gerçek düzeltmeler ve gecikmiş durumdalar.

Ancak hâlâ düzelttiği dünyadan bir varsayımı taşıyor. Bu hiyerarşideki her öğe, varsayılan bir iş yüküne göre bütçelenir ve neredeyse herkesin hâlâ bütçelendirdiği iş yükü tek bir ileri geçiştir: model bir girdi alır, bir çıktı üretir ve silikonun soğuması için bir an bekler.

Bu, bir ajanın yaptığı şey değildir. Bir ajan karar verir, bir aracı çağırır, geri geleni okur ve tekrar karar verir. Bu döngüyü kaç kez döndüğü donanımınızın bir özelliği değildir ve modelinizin de gerçek bir özelliği değildir. Bu, ona o sabah verilen sorunun bir özelliğidir. Kenar donanımda çalışan ajanlarım var ve beni en çok ikna eden şey, yavaş olmaları değildi. Tasarım aşamasında göremediğim bir yerde çalıştırma maliyetinin belirleniyor olmasıydı.

Döngü, Birisi Bir Sayı Girene Kadar Sınırsızdır

Bu bir retorik çerçeve değildir; çerçevelerin gerçekte nasıl inşa edildiğidir. OpenAI’nin Agents SDK’sında, çalıştırıcı “bir döngü çalıştırır” ve model araç çağrıları ürettiğinde çalışma zamanı “bu araç çağrılarını çalıştırır, sonuçları ekler ve döngüyü yeniden çalıştırır”. Tek durdurma noktası bir tur sınırıdır — max_turns aşılırsa bir istisna oluşur — ve belgelerde max_turns=None geçirilerek sınırın tamamen devre dışı bırakılabileceği belirtilir.

Bir sunucuda, bu sayı faturalama kararını temsil eder. Birisi faturayı fark eder.

Bir cihazda, bu sayı termal bir karardır, çünkü döngü uzunluğu görev döngüsüdür. Ve görev döngüsü, pasif soğutmanın karşı koyamayacağı tek değişkendir.

Sürekli Yük, Bir Telefon Üzerinde Benchmark’ten Farklı Bir Şekilde Davranır

Bir Mart 2026 benchmarkı, dört platformu tam da bu tür bir yük altında test etti: nicemlenmiş 1.5 milyar parametreli bir model, sabit 258 tokenlik bir istem, ardışık yirmi çalışma ve her birinde verimlilik, güç ve sıcaklık ölçümü. Bu bir ön baskıdır ve tek bir modeli dört cihazda benchmark eder, bu yüzden belirli sayıları doğa kanunu olarak değil, bu platformların bir karakterizasyonu olarak değerlendirin. Sonucun şekli önemlidir.

Bir iPhone 16 Pro, saniyede 40.35 token ile zirve yaptı ancak bunu sürdüremedi. Bozulma iki çıkarım içinde ortaya çıktı. Saniyede 22.56 token’e (%%44 azalma) geriledi ve benchmarkın %%65’inde kısıtlamalı kaldı. Dinamik voltaj ve frekans ölçeklendirmesi, eklem sıcaklığı yükseldiğinde saat hızlarını düşüren mekanizma, tam da var olduğu işi yaptı.

Galaxy S24 Ultra ise farklı ve daha kötü bir şekilde başarısız oldu. Bozulmak yerine, Android termal yöneticisi altıncı yinelemede, 78.3°C’de sabit bir GPU frekans alt sınırı uyguladı ve çıkarım durdu. Yazarlar burada, benim söyleyebileceğimden daha iyi bir noktaya değiniyor: ajan dağıtımları için bu, “zarif bir bozulmadan daha yıkıcıdır”, çünkü sistem yavaşlamaz; kullanılamaz hâle gelir.

Şimdi bu durumu sadece ilginç olmaktan ziyade damgalayıcı kılan detayı ele alalım. O yirmi çalışmanın her biri aynı aynı istemi kullandı. Bu, bir ajanın donanımının görebileceği en dostane iş yüküdür ve iki amiral gemisi telefon bile bunu yirmi tekrar boyunca sürdüremez. Bu da yeni bir bulgu değil — MELTing point, 2024’te MobiCom’da sunuldu, enerji ve termal açıdan “LLM’lerin sürekli çalıştırılması hâlâ ulaşılamaz” sonucuna vardı. İki yıl ve birkaç proses düğümü farkı, aynı duvar.

İki Eğri Birbirine Yaklaşıyor ve Ürününüz Kesiştiği Noktada Bozuluyor

Bir ajanın döngüsü, tekrarlanan bir istemden belirli, mekanik bir açıdan daha kötüdür.

Kod çözme, bellek bant genişliğine bağlıdır: verimlilik, çipin teorik olarak yapabileceği işlem sayısı değil, modelin anahtar-değer önbelleğini ne kadar hızlı okuyabildiğiyle belirlenir. Bu önbellek bağlamla büyür. Her döngü adımı bir araç sonucunu, bir gözlemi, kısmi bir planı ekler — bu yüzden onuncu adım, birinci adımın kullandığından çok daha büyük bir önbelleğe karşı token üretir.

Bu arada cihaz ısınıyor ve yöneticisi saat hızlarını düşürüyor.

Dolayısıyla adım başı maliyet, cihazın bunu ödeyebileceği kapasitenin düştüğü anda artar. İki eğri birleşir ve kesiştikleri nokta, ürününüzün başarısız olduğu yerdir. Bu asla birinci adım değildir. Birinci adım, test yaptığınız yerdir.

Bunun altında da bir ölçek sorunu var. Üretken iş, kenar silikonunun on yıl boyunca harcadığından farklı bir harcama düzenidir: 88 modelde ölçülen verilere göre, metin sınıflandırma maliyeti bin çıkarım başına yaklaşık 0.002 kWh iken, metin üretimi için 0.047 kWh — döngüyle çarpılmadan önce yaklaşık yirmi kat daha fazla. Bu ölçümler bir veri merkezi GPU’sunda alındı, bir el cihazında değil, bu yüzden bunları cihazınızın güç değeri olarak değil, iş türleri arasındaki oran olarak değerlendirin. Ölçek açısından aynı çalışma, tam bir akıllı telefon şarjını 0.022 kWh olarak belirtiyor.

Tamamlanan Görev Başına Joule Üzerinden Satın Alın, Saniyede Token Sayısı Üzerinden Değil

2026 benchmarkındaki en faydalı sonuç, en az etkileyici görünenidir.

Bir Hailo-10H NPU, 2 wattın altında 6.9 token/saniye başardı. Yavaş — gerçekten yavaş ve yazarlar da bunu belirtiyor. Ancak verimlilik varyans katsayısı %%0.04 idi, test edilen diğer her şeyden iki mertebe daha istikrarlı. Aynı çalışmadaki dizüstü GPU ise 34.1 wattta saniyede 131.7 token üretti.

Ardından iki cihazı hız yerine enerji açısından karşılaştırın: küçük NPU’da token başına 270.5 milijoule, GPU’da 297.3 milijoule. Verimlilikte on dokuz katlık fark olmasına rağmen, küçük parça joule başına biraz daha fazla hesaplama yaptı — ve bunu neredeyse hiç varyans olmadan gerçekleştirdi.

Donanımı saniyede token sayısına göre seçerseniz, hızlı olanı alırsınız. Ancak bir ajanın gerçekten ihtiyaç duyduğu, sınırlı bir döngüyü öngörülebilir bir maliyetle tamamlama yeteneğine göre seçerseniz, sıralama değişir. Teknik özellik sayfasında yer alması gereken birim, tamamlanan görev başına joule olmalı ve yanına bir varyans değeri eklenmelidir. Zirve verimliliği raporlayan bir benchmark, günün ilk çıkarımını size anlatır.

Dürüst İtiraz ve Çözmediği Şey

Açık yanıt, bunun geçici bir sorun olduğudur: silikon gelişir, NPU’lar olgunlaşır ve 2026 telefon hakkında yazılan her şey eski moda görünecektir. Ya da daha pratik olarak, pahalı adımları bir sunucuya yükleyin.

Ben de donanım riskini kendim alırdım. Ancak dışa yükleme, kenara taşımak için kaçındığınız aynı geri dönüş yoludur ve bir ajan bunu bir kez ödemez — her döngü adımı için öder ve döngü uzunluğu tahmin edilemeyen şeydir. Hibrit tasarımlar varyansı ortadan kaldırmaz; onu bir ağa kaydırır.

Daha derin asimetri, süreç düğümleriyle hareket etmez. Bir cihazın bütçesi tasarım aşamasında sabittir. Bir ajanın talebi, kullanıcı ne isterse çalışma zamanında belirlenir. Daha iyi silikon üst sınırı yükseltir. Ancak ajana bu üst sınırın nerede olduğunu söylemez.

Dolayısıyla ona söyleyin. Dönüş sınırını bir kod incelemesinde keşfetmek yerine ürün spesifikasyonunda belirleyin ve sayıyı termal kısıtlamadan seçin: kaç adımın sığacağını karar verin, ardından ajanın ideal bir yanıt yerine bu sınırda en iyi mevcut yanıtı üretmesini tasarlayın. Bunu bir hedef değil, bir son tarih olarak değerlendirin.

Ardından ajana bütçeyi bir girdi olarak verin. Kalan boşluk, batarya durumu, platformun zaten kısıtlama yapıp yapmadığı — bunlar mevcut zaman gibi bağlamda yer almalı. On adımın sekizinci adımında olduğunu bilen bir ajan özetleyip karar verebilir. Bilmeyen bir ajan ise işletim sistemi ona karar verene kadar keşfetmeye devam eder.

Ve ortalamayı değil, kuyruğu test edin; bu fiziksel bir cihazda simülasyonda test etmek anlamına gelir. Başarısızlık durumu asla temiz bir çalışma değildir. Üçüncü adımda bir araç belirsiz bir şey döndürdüğü için on dört adım süren çalışmadır ve bu adımları soğuma ihtiyacı olan bir telefonda elle sayamazsınız. Kendi sistemlerim büyük ölçüde bu yüzden simülasyonlarla eğitilir: ilginç davranış uzun çalışmalarda ortaya çıkar ve uzun çalışmalar, donanımın elinizle örneklemenize izin vermediği şeydir.

Bunun hiçbiri daha hızlı bir çip gerektirmez. İş yükünün şekil değiştirdiğini kabul etmeyi gerektirir. Kimse bataryası bir fotoğraf için tasarlanmış bir cihaz göndermez. Hâlâ bir çıkarım için tasarlanmış termal bütçeye sahip cihazlar gönderiyoruz.