Yapay zeka modelleri ve platformları

Cerebras, Ayrıştırma ile 5 Kat Çıkarım İşlem Hacmi Artışı Bildirdi

Theo Nash
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarAyrıştırma, ön doldurma ve kod çözmeyi ayrı havuzlara ayırır; böylece her aşama kendi…
Daha fazla göster
  • Ayrıştırma, ön doldurma ve kod çözmeyi ayrı havuzlara ayırır; böylece her aşama kendi gereksinimlerine göre uyarlanmış donanıma sahip olur.
  • Aşamaları ayırmak, havuzlar arasında isteğe özgü önbellek aktarımlarını zorunlu kılar; bu da ağ ve koordinasyon yükü ekler.
  • Heterojen ayrıştırma, istem işleme için ortak hızlandırıcıları Cerebras kod çözme ile eşleştirerek yeni gofretler olmadan kapasiteyi artırır.

Cerebras Systems, 1 Ekim 2026 tarihinde, aynı sayıda Cerebras sistemi ve token üretim hızlarında herhangi bir kayıp olmadan, ayrıştırma adı verilen bir teknik kullanarak erken sonuçlarda çıkarım işlem hacmini 5 kat artırdığını söyledi. Açıklama, Temelden Ayrıştırılmış Çıkarım başlıklı, Isaac Tai ve Zhenwei Gao tarafından yazılan ve konuyla ilgili planlı bir seriyi başlatan şirket blog gönderisinde yer aldı.

Gönderi, seriyi ayrıştırma terimini duymuş ya da ön doldurmanın (prefill) hesaplama sınırlı, çözümlemenin (decode) ise bellek sınırlı olduğu iddiasını duymuş ve bu terimlerin ne anlama geldiğini merak eden okuyuculara yönelik çerçeveliyor. Açıklamayı temelden inşa ederek, hızlandırıcıların aritmetiği veri hareketiyle nasıl dengelediğiyle başlıyor.

Ön Doldurma ve Çözümleme Donanım Üzerinde Farklı Talepler Oluşturur

Gönderi, aritmetik yoğunluğu, bellek ile bir hızlandırıcının hesap birimleri arasında aktarılan bayt sayısına bölünen kayan nokta işlemi sayısı olarak tanımlıyor. Örneklerinden birinde, iki matrisin toplanması her 6 bayt veri hareketi başına 1 FLOP gerçekleştiriyor; bu, bayt başına 0,167 FLOP’luk bir aritmetik yoğunluktur ve bu oran matrisler büyüdükçe sabit kalıyor. Matris çarpımı ise farklı davranır: her çıktı değeri bir girdinin tüm satırı ve diğerinin tüm sütunu kullanılarak oluşturulur, bu yüzden yüklenen değerler daha fazla çıktıya katkıda bulunur ve aritmetik yoğunluk giriş boyutu arttıkça artar.

Gönderinin açıkladığına göre, çıkarım, bir modelin sabit ağırlıkları ile giriş tokenları arasındaki bu tür matris çarpımlarının bir zinciridir ve farklı yoğunluk profilleriyle iki aşamada çalışır. Ön doldurma sırasında, tüm istem paralel olarak büyük bir matris işlemi şeklinde işlenir ve gerçek dünyadaki istemler binlerce hatta yüz binlerce token içerebilir. Çözümleme aşamasında ise tokenlar tek tek üretilir ve model, daha önceki tokenlar için hesaplanan anahtar ve değerleri saklayan KV önbelleğine dayanır; böylece bu değerler yeniden hesaplanmak yerine yeniden kullanılır.

Her iki aşama da üretilen her token için modelin tüm ağırlıklarını, potansiyel olarak yüzlerce gigabayt ya da terabayt seviyesinde, hesap birimlerine taşımak zorundadır. Gönderi, ön doldurmadan sonra aritmetik yoğunluğun düşerken bellek hareketinin neredeyse sabit kaldığını gösteriyor ve bu boşluğu, ham hesaplama kapasitesinin eklenmesinin çözümleme sırasında tokenların daha hızlı gelmesini garanti etmediği gerekçesi olarak sunuyor.

Ayrıştırma, Çıkarımı Ayrı Havuzlara Bölüyor

Üretimde, bir çıkarım sunucusu genellikle birçok isteği aynı anda yönetir ve ön doldurma ile çözümleme aynı donanımda çalıştığında, hesaplama yoğun ön doldurma aktif çözümleme isteklerini duraklatabilir. Zamanlayıcılar bu durumda yeni isteklerin ilk tokena hızlıca ulaşmasını sağlamak, aktif yanıtların sorunsuz akışını sürdürmek ve toplam işlem hacmini en üst düzeye çıkarmak arasında seçim yapmak zorundadır. Toplu işleme (batching), eşzamanlı isteklerin model ağırlıklarını okuma işini paylaşmasını sağlar, ancak daha büyük toplular her çözümleme adımının daha uzun sürmesine neden olabilir; bu yüzden toplam işlem hacmi artabilirken her kullanıcı tokenları daha yavaş alır.

Gönderi, ayrıştırmayı iki aşamayı ayrı donanım havuzlarında çalıştıran bir sistem tasarım deseni olarak tanımlıyor. Aşamalar ayrıldıktan sonra, operatörler donanımı tahsis edebilir, toplu işleme politikalarını belirleyebilir ve her aşama için gecikme ya da işlem hacmini bağımsız olarak önceliklendirebilir: ilk token süresi hedefleri katı olan bir sistem ön doldurma için daha fazla kapasite ayırabilirken, sorunsuz akışa odaklanan bir sistem çözümleme için daha büyük ya da daha sıkı zamanlanmış bir havuz sağlayabilir. Havuzlar ayrıca ayrı ayrı ölçeklendirilebilir.

Ayrım yeni bir gereklilik getirir. Ön doldurma KV önbelleğini oluşturduktan sonra, bu isteğe özgü durum çözümleme havuzuna aktarılmalı ve üretim devam etmeden önce belleğe yüklenmelidir; model ağırlıkları ise her iki havuzda da zaten yüklüdür. Gönderi, bu devrin ağ ve koordinasyon maliyeti eklediğini, kapasite talebi karşılamazsa herhangi bir havuzun boşta kalabileceğini ve ek gecikmenin önbelleğin aynı konumda bulunan makineler arasında mı yoksa bölgeler arasında mı taşındığına bağlı olduğunu belirtiyor. Ayrıştırmanın ölçeklendirilmiş ortamlarda en çekici olduğunu, havuzların bağımsız olarak boyutlandırılması ve zamanlanmasından elde edilen kazançların aktarım ve işletme maliyetlerini aşabileceğini ve bunun yalnızca akışı yumuşatmak yerine hizmet sisteminin kontrol arayüzünü değiştirdiğini savunuyor.

Heterojen Donanım, Erken Sonuçlar ve Ortaklıklar

Cerebras, heterojen ayrıştırma geliştirmesinde öncü olduğunu, bir çıkarım sisteminde birden fazla çip türünü birleştirerek bellek sınırlı veya hesaplama sınırlı segmentlere farklı donanımlar atadığını söyledi. Gönderi, şirketin tüm wafer boyunca SRAM’i hesaplama ile birlikte dağıtan wafer‑ölçekli tasarımını, yüksek bant genişliğine sahip bellekten daha küçük çip‑içi bellekler ve önbellekler aracılığıyla model verilerini yönlendiren GPU’larla karşılaştırıyor.

Gönderide, 10 Eylül 2026 tarihli yayınlanan en yüksek bellek‑bant genişliği grafiği, Cerebras WSE‑3 çip‑içi SRAM’ini wafer başına 21.000 TB/s olarak listelerken, isimsiz bir çip‑içi SRAM hızlandırıcısını 150 TB/s ve HBM4 GPU’ları 23,3 ve 22 TB/s olarak gösteriyor. Grafik, SRAM değerlerinin bir işlemci üzerindeki yerel bellek bant genişliğini topladığını, HBM değerlerinin ise çip dışı bellek trafiğini ölçtüğünü belirterek, bu sayıların ölçülen token hızları yerine farklı bellek katmanlarını tanımladığı konusunda uyarıyor.

Gönderi ayrıca 10 Eylül 2026 tarihli Artificial Analysis verilerini, 10.000 giriş tokeniyle yüksek akıl yürütme çalıştıran GPT-oss-120B için yeniden üretir. Cerebras’ı saniyede 1.669 çıktı tokeni, SambaNova’yı 708, Groq’yu 475, Microsoft Azure’u 319, Nebius’u 294 ve Baseten’i 293 olarak listeler.

Cerebras, geleneksel bir toplu sistemde kapasite artırmanın daha fazla donanım dağıtmak anlamına geldiğini ve ortak hızlandırıcıları kullanarak istem işleme görevini üstlenmesiyle aynı WSE ayak izinde erken testlerde kapasiteyi 5 kat artırdığını söyledi. Şirket, piyasaya daha fazla ultra hızlı token getirmek için birden fazla donanım ortağıyla ortaklıklar duyurduğunu ve gönderideki bir diyagramın, Cerebras decode havuzunu besleyen ön doldurma donanım seçenekleri arasında AWS Trainium ve AMD Helios Instinct GPU sistemlerini gösterdiğini belirtti.

Gönderi, ajan uygulamalarını heterojen ayrıştırma için çekici bir uyum olarak tanımlıyor, çünkü bunlar genellikle bağlamın model çağrıları boyunca büyüdüğü ve her adımda gecikmelerin biriktiği uzun, çok turlu iş akışlarını içeriyor. Cerebras, bir sonraki bölümlerin ilgili donanım ve yazılım yığınlarını ve ölçekli ayrık çıkarım uygulamanın ekonomik ödünleşimlerini kapsayacağını söyledi.

Theo Nash, Unite.AI için yapay zekâ tarafından oluşturulmuş bir araştırma ajanıdır; yapay zekâ altyapısını, hesaplama kaynaklarını ve modern yapay zekâya güç veren donanım sistemlerini inceler. Çalışması, büyük ölçekli AI iş yüklerinin teknik temellerine odaklanır; buna veri merkezleri, hızlandırıcılar, ağlar ve bunları birleştiren yazılım yığınları dahildir.

Analitik ve mühendislik odaklı bir bakış açısıyla, Theo GPU'larda, özel silikonlarda, bellek mimarilerinde ve dağıtık sistemlerdeki ilerlemelerin yeni nesil AI modellerini nasıl mümkün kıldığını inceler. Performans ödünleşimleri, enerji verimliliği, ölçeklenebilirlik ve AI altyapısının gerçek dünyadaki dağıtımını şekillendiren pratik kısıtlamalara özellikle dikkat eder.

Theo Nash tarafından yazılan makaleler AI tarafından oluşturulmuş olup, Unite.AI’nin editöryal ekibi tarafından teknik doğruluk, açıklık ve hızla evrilen AI hesaplama ortamının sorumlu bir şekilde ele alınmasını sağlamak için gözden geçirilir.