Raporlar
Çıkarım Ekonomisi Karnesi, GPU Kullanımını Yapay Zekâ Performans Ölçütü Olarak Sorguluyor

Öne çıkan noktalarGPU kullanımı, verimli çıktıyı pahalı bağlam yeniden oluşturmadan ayırt edemez.
Daha fazla göster
- GPU kullanımı, verimli çıktıyı pahalı bağlam yeniden oluşturmadan ayırt edemez.
- Skor kartı, yonga etkinliği yerine faydalı iş hacmini güç, raf alanı ve maliyete göre ölçer.
- Paylaşılan NVMe önbelleği, kıyaslamada bağlam yeniden hesaplamasını ön doldurma döngülerinin %6,8'ine düşürdü.
GPU’nun yoğun çalışması, mutlaka verimli olduğu anlamına gelmez. Çıkarım Ekonomisi Karnesinin temelindeki görüş bu. NAND Research ve WEKA tarafından yürütülen bu yeni araştırma, üretimde kullanılan yapay zekâ altyapısını değerlendirmek için daha kapsamlı bir yöntem öneriyor.
Bu çerçeve, dikkati çip etkinliğinden uzaklaştırıp hizmet hedefleri içinde sunulan yararlı çıktıya yöneltiyor; bu çıktı elektrik tüketimi, raf alanı ve maliyet karşısında ölçülüyor. Yapay zekâ ajanları uzun konuşmaları sürdürdükçe, araçları kullandıkça ve önceki bağlama tekrar tekrar döndükçe bu yaklaşım daha da önem kazanıyor. Bir çıkarım sunucusu, kullanım panosu hâlâ iyi göründüğü hâlde bu bağlamı yeniden oluşturmak için kayda değer miktarda işlem gücü harcayabilir.
Duyurunun yanı sıra WEKA, Nebius ile NVIDIA HGX B300 donanımı üzerinde gerçekleştirdiği sekiz saatlik bir kıyaslama testini öne çıkarıyor; başkalarının karşılaştırmayı yeniden üretebilmesi için iş yükü izlerini ve araçları da yayımlıyor. Karne, yerleşik bir sektör standardı değil, önerilen bir değerlendirme çerçevesi. Depolama teknolojisi bu çerçeveden yarar sağlayan WEKA, araştırmaya sponsor oldu.
GPU Kullanımı, Tekrarlanan Maliyetli İşleri Neden Gizleyebilir?
Çıkarım, eğitilmiş bir modelin yanıt üretmek için çalıştırılmasıdır. Yeni belirteçler üretmeden önce model, ön doldurma adı verilen bir aşamada girdiyi ve konuşma geçmişini işler. Bu sırada, konuşma devam ettiğinde önceki hesaplamaları yeniden kullanmasını sağlayan ara dikkat verilerini içeren bir anahtar-değer önbelleği, yani KV önbelleği oluşturur.
Bu önbellek için en hızlı bellek, HBM olarak bilinen GPU’nun yüksek bant genişlikli belleğidir. Ancak HBM’de model ağırlıkları ve diğer çalışma verileri için de yer bulunmalıdır. Uzun oturumlar ve aynı anda çalışan kullanıcılar, sunucuyu yer açmak için önbelleğe alınmış bağlamı bellekten çıkarmaya zorlayabilir.
Kullanıcı veya ajan geri döndüğünde, eksik önbelleği oluşturmak için eski belirteçlerin yeniden işlenmesi gerekebilir. Bu, modelin konuşmayı kalıcı olarak kaybettiği anlamına gelmez. Altyapının yeniden kullanılabilir bir temsili attığı ve onu yeniden oluşturmak için kaynak harcaması gerektiği anlamına gelir.
Bu durum bir ölçüm tuzağı yaratır. Dünkü bağlamı yeniden işlemek de tıpkı yararlı bir yanıt üretmek gibi GPU’yu etkin tutar. Kullanım oranı değerli bir tanılama göstergesi olmayı sürdürür, ancak müşterilerin ne kadar verimli iş aldığına tek başına yanıt veremez.
Çıkarım Ekonomisi Karnesi Neleri Ölçüyor?
Karne, kısa tanıtımlarda gözden kaçabilecek davranışları ortaya çıkaracak kadar uzun, en az sekiz saat süren kesintisiz testler yapılmasını öngörüyor. Karşılaştırmalarda model, hassasiyet, iş yükü, eşzamanlılık, önbellek koşulları, kalite eşiği ve hizmet seviyesi hedefleri sabit tutulmalı. Ölçüm sınırı, soğutma ve tesis genel giderleri açıklanmak kaydıyla, sunum yığınını kapsıyor.
Yalnızca kalite ve hizmet hedeflerini karşılayan başarılı çıktılar yararlı iş hacmine dâhil edilir. Başarısız istekler, yeniden denemeler, zaman aşımları ve atılan çıktılar hesaplamadan çıkarılmamalı; görünür kalmalıdır.
| Ölçüt | Ortaya çıkarmaya yardımcı olduğu noktalar |
|---|---|
| Watt başına belirteç | Gücün yararlı model çıktısına ne kadar verimli dönüştürüldüğü. |
| Raf başına belirteç | Dağıtımın fiziksel alan içinde ne kadar çıktı sunduğu. |
| Çıkarım başına maliyet | Sistem genelinde başarılı bir isteği karşılamanın maliyeti. |
| GPU başına yararlı çıktı | Ham çip etkinliği yerine, hizmet hedefleri içinde sunulan verimli çıktı. |
| İlk belirtece kadar geçen süre ve uçtan uca gecikme | Kullanıcıların yanıtın başlaması ve tamamlanması için ne kadar beklediği. |
| Bellek verimliliği | Sistemin kısıtlı bellek kapasitesini ne kadar etkili kullandığı. |
| Operasyonel yoğunluk | Dağıtım ve işletim kısıtlarının kullanılabilir kapasiteyi nasıl etkilediği. |
| Ajan eşzamanlılığı | Sistemin aynı anda etkin olan birden fazla ajan iş yükünü ne kadar iyi desteklediği. |
| Bağlamı koruma | İş yükleri büyürken oturum bağlamının ne kadar etkili biçimde yeniden kullanılabilir kaldığı. |
İş hacmi ile yararlı çıktı arasındaki ayrım özellikle önemlidir. Daha fazla belirteç üreten ancak müşterinin yanıt için belirlenen son tarihini kaçıran bir sunucu, daha yavaş görünen ama bu süreye sürekli uyan bir sistemden daha az yararlı olabilir. Benzer şekilde, daha büyük bir önbellek ancak sağladığı fayda ek depolama, ağ ve işletim maliyetlerini aşıyorsa ekonomik açıdan caziptir.
Paylaşımlı Depolama KV Önbelleğini Nasıl Genişletiyor?
WEKA’nın kıyaslama testine ilişkin teknik açıklaması, yeniden kullanılabilir KV verilerini GPU’nun kendi belleğinin ötesinde, paylaşımlı NVMe depolama üzerinde tutan Augmented Memory Grid ile NeuralMesh’i anlatıyor. NVMe, yaygın olarak flash bellek sürücüleriyle kullanılan yüksek performanslı bir arayüzdür.
Bu tasarımda önbellek, GPU’da tekrar tekrar yeniden oluşturulmak yerine sunum altyapısının ağ üzerinden erişebildiği bir kaynağa dönüşür. Uzak doğrudan bellek erişimi (RDMA) ve NVIDIA GPUDirect Storage, CPU’nun katkısını azaltarak verilerin depolamadan GPU’ya doğrudan aktarılmasına yardımcı olur.
Bu, mevcut verileri taşımakla onları yeniden hesaplamak arasında bir tercihtir. Yeterince hızlı bir depolama yolu, verileri geri almayı uzun geçmişleri yeniden oluşturmaktan daha düşük maliyetli hâle getirebilir. Bu avantaj; önbelleğin yeniden kullanımına, bağlam uzunluğuna, eşzamanlılığa ve tüm veri yolunun hızına bağlıdır. Çalışma verileri zaten HBM’ye sığan kısa bir istekte ise farklı bir sorun söz konusudur.
Sekiz Saatlik Benchmarkın Gerçekte Ortaya Koydukları
Nebius ve WEKA’nın ortak testi, DeepSeek-V4-Pro çalıştıran, sekiz GPU’lu tek bir HGX B300 sunucu düğümü kullandı. Yeniden oynatma iş yükü 5.000’den fazla gerçek ajan izinden yararlandı, 512 etkin oturumluk bir havuzu korudu ve 32 eşzamanlı isteğe izin veren bir zamanlayıcı kullandı. Etkin oturum sayısı ile eşzamanlı istek sayısı farklı ölçümlerdir.
WEKA’nın bildirdiğine göre, sekiz saat boyunca paylaşımlı önbellek kullanıldığında GPU-saat başına üretilen çıktı tokenı sayısı, yalnızca HBM kullanan sunuma kıyasla 3,7 kat daha fazlaydı. Başarıyla tamamlanan isteklerin %97’sinde ilk token beş saniye içinde üretildi; temel yapılandırmada bu oran %44’tü. Daha önce karşılaşılan bağlamın yeniden hesaplanması, temel yapılandırmada ön doldurma (prefill) döngülerinin %60’ını tüketirken paylaşımlı önbellekte bu oran %6,8 oldu.
Ek önbellek, sekiz düğümlü bir kümedeki NVMe sürücülerini kullandı; ancak bildirilen sunum sonucu tek bir GPU düğümünden elde edildi. Dolayısıyla GPU başına normalize edilen bu kazanç, toplam maliyetin veya enerji tüketiminin aynı oranda azaldığını göstermez: bu hesaplamalara destekleyici kaynaklar da dâhil edilmelidir.
Temel yapılandırma da önemlidir. Teknik açıklamada, testler yapıldığı sırada bu model için uygun bir DRAM’e boşaltma uygulamasının mevcut olmadığı belirtiliyor. Bu sonuçlar, test edilen yapılandırmayı yalnızca HBM kullanan sunumla karşılaştırıyor; her alternatif önbellek mimarisinden üstün olduğunu kanıtlamıyor.
Açık İzler Karşılaştırmayı Daha Yararlı Kılıyor
WEKA’nın açık kaynaklı kvlab projesi, özgün konuşma veya kaynak kodu içeriğini dağıtmadan, zamanlama ve önbelleğin yeniden kullanım örüntüleri de dâhil olmak üzere ajan oturumlarının yapısını kaydedip yeniden oynatıyor. Yükleyicisi NVIDIA’nın AIPerf araçlarında belgeleniyor; duyuruda ayrıca SemiAnalysis’ın AgentX benchmarkıyla entegrasyona da yer veriliyor.
Duraklamaları, giderek büyüyen geçmişleri ve bunlarla bağlantılı ajan etkinliklerini korumak, ilgisiz sentetik istemlerden oluşan bir akışın gözden kaçıracağı önbellek baskısını ortaya çıkarmaya yardımcı olur. Bu tür yeniden oynatmalar sunum davranışını ölçer; ancak tek başlarına bir ajanın iş görevini doğru biçimde tamamlayıp tamamlamadığını göstermez.
Kuruluşlar açısından Çıkarım Ekonomisi Puan Kartı’nın temel katkısı, başarının daha net bir tanımını sunmasıdır: mevcut kaynaklar dâhilinde, gereken kalite ve hızda yararlı yanıtlar üretmek. Ajanlar daha fazla bağlam tüketip daha uzun süre çalıştıkça GPU’yu meşgul tutmak yalnızca başlangıç niteliğinde bir gözlem hâline geliyor. Ticari açıdan önemli olan, müşteriye ulaşan iştir.












