IBM, Spyre Hızlandırıcısını Birinci Sınıf PyTorch Arka Ucu Haline Getiriyor

IBM, 26 Ekim 2026’da yayımlanan bir IBM Research blog yazısında, 2026’nın ikinci yarısında PyTorch ekosistemi genelinde sunulan yazılım güncellemelerinin Spyre veri akışı hızlandırıcısını birinci sınıf bir PyTorch arka ucu haline getirdiğini ve böylece IBM ile PyTorch Foundation’ın Ekim 2025’te ana hatlarını çizdiği planın hayata geçirildiğini söyledi.

IBM, Spyre’ı çıkarım için optimize edilmiş ve yapay zekâyı uygulama ve verileriyle birlikte IBM Z, LinuxONE ve Power sistemlerinde çalıştıran kurumsal ekipler için tasarlanmış veri akışlı yapay zekâ hızlandırıcısı olarak tanımlıyor. Düşük hassasiyetli hesaplama yetenekleri, dil üretimi ve gömme modellerindeki matris ağırlıklı işlemleri hedefliyor. Zamanlanmış iş parçacığı grupları arasında komut akışları halinde çekirdekler çalıştıran geleneksel GPU’lardan farklı olarak Spyre, hesaplama motorlarına veri ulaştıkça hesaplamayı tetikliyor.

Yazıda belirtildiğine göre, 2026’nın ikinci yarısında IBM, Red Hat ve Meta ile Hugging Face’in de aralarında bulunduğu PyTorch Foundation işbirlikçileri; ilk günden model desteği, vLLM’de donanımdan bağımsız modeller, sürekli gerileme ve sürüm testleri ile yerel aygıt entegrasyonunu kapsayan güncellemeler sundu. IBM, 21 Ekim 2025 tarihli bir IBM Research gönderisinde, PyTorch Conference 2025’te Spyre desteğini 2026’da daha da derinleştirmeyi planladığını; Spyre’ın açık kaynaklı çıkarım iş akışlarında birinci sınıf bir arka uç olarak yer alacağını ve birleşik derleyici yollarına, optimize edilmiş çekirdek üretimine ve şeffaf çoklu hızlandırıcı zamanlamasına odaklanılacağını söylemişti. IBM o tarihe kadar Spyre gibi hızlandırıcıları entegre etmek için çıkarım çalışma zamanı olarak vLLM’yi, ön uç derleyici olarak da torch.compile’ı benimsemişti. Ayrıca büyük dil modeli çıkarımı için sayfalanmış dikkat mekanizmasını etkinleştiren bir Spyre eklentisini vLLM’ye katkı olarak sunmuştu.

Inductor Üzerinde Yeniden Kurulan Bir Derleyici

Entegrasyonun merkezinde, sıradan PyTorch kodunu Spyre için çalıştırılabilir bir plana derleyen torch-spyre adlı PyTorch arka ucu yer alıyor. Bir modelin mantığının büyük bölümü PyTorch derleyicisinden değiştirilmeden geçiyor; bir işlem henüz etkili biçimde daha alt düzey bir gösterime dönüştürülemiyorsa, bir adaptör bu işlemi derleyicinin işleyebileceği, matematiksel olarak eşdeğer bir biçimle değiştirebiliyor.

13 Ekim 2026’da yayımlanan bir PyTorch Foundation gönderisinde Dave Grove, Olivier Tardieu ve IBM Spyre Ekibi, torch-spyre’ın torch.compile arka ucunu, tümüyle sıfırdan oluşturulmuş bir derleme yığını olan sendnn’den, PyTorch’un kendi Inductor’ını genişleterek oluşturulmuş açık kaynaklı bir arka uç olan backend=inductor’a taşıdıklarını anlattı. Yazarların bildirdiğine göre, lizard kod çözümleyicisiyle yapılan ölçümde sendnn, 6.170 işlev genelinde yaklaşık 273.000 satır C++ ve Python kodundan oluşurken Inductor uzantısı, 1.878 işlev genelinde yaklaşık 38.600 satır Python kodundan oluşuyor. Bu, satır sayısının yaklaşık 7 kat daha az ve işlev başına karmaşıklığın daha düşük olduğu anlamına geliyor.

Spyre, halka biçiminde birbirine bağlanmış 32 küçük çekirdekten oluşan, PCIe üzerinden bağlanan 75 watt’lık bir hızlandırıcıdır. Her çekirdeğin paylaşılan önbellek yerine kendine ait 2 MB’lık bir çalışma belleği vardır ve veri, stick adı verilen sabit boyutlu 128 baytlık parçalar halinde taşınır. Yazıda belirtildiğine göre, derleyici çalışmaları stick düzeyinde veri taşımaya, çalışma belleği planlamasına ve derleme sırasında çekirdek atamasına odaklandı.

Bildirilen ölçümler arasında, döşeme ve veri yerleşimi tercihlerinin matmul çekirdeğinin çalışma süresini %29–69 azaltması; çalışma belleğini dikkate alan zamanlama sayesinde softmax çekirdeğinin ortanca çalışma süresinin 32,51 mikrosaniyeden 23,67 mikrosaniyeye düşerek %27 azalması ve MLP tarzı birleştirilmiş çekirdeğin çekirdek kullanımını yaklaşık üçte ikiden yaklaşık %80’e yükseltirken çekirdek çalışma süresini yaklaşık %17 kısaltması yer alıyor. Bu tercihleri sınamak üzere oluşturulmuş sentetik bir grafikte, yonga üzerindeki yeni veri yeniden düzenleme yöntemi, aygıt belleğine gidip geri dönmek için gereken 80 mikrosaniyelik süreyi çekirdekler arasındaki 1,1 mikrosaniyelik veri aktarımıyla değiştirdi. Yazıda ayrıca, torch-spyre’ın aygıta özgü ayrıştırma kurallarını kaydetme gereksiniminin, PyTorch 2.12’de birleştirilmiş iki çekme isteğiyle ana projeye eklenen harici Inductor arka uç desteğinde yapılan iyileştirmelere katkı sağladığı belirtiliyor.

Yerel Aygıt Entegrasyonu

Spyre, PrivateUse1 kaydı aracılığıyla yerel bir PyTorch aygıtına dönüşüyor. Bu kayıt, tensor.to(“spyre”) ifadesine gerçek bir aygıt kimliği kazandırıyor: PyTorch bellek ayırıcısının tahsis ettiği alan, tensörleri aygıtta tutuyor; akışlar sıralama kurallarını sağlıyor ve çalışma zamanı olayları, akışlar arasındaki bağımlı işleri birbirine bağlıyor. Kartta, yüksek bant genişlikli bir halka üzerinden birbirine bağlanan 32 çekirdek bulunuyor; her çekirdeğin 2 MB yerel çalışma belleği var. Ayrıca tensörler ve programlar için 128 GB’a kadar LPDDR5 bellek sunuluyor. Mevcut çalışma zamanı, başlatma sırasında programlara yama uygulayarak sembolik tensör adreslerini sıralı üç adımda gerçek adreslerle değiştiriyor.

Ekibin bildirdiğine göre, Granite 3.3 8B üzerinde, toplu iş boyutu 1 ve dizi uzunluğu 1024 olan bir gösterimde, grafik oluşturma işleminin veri aktarım yolundan çıkarılması ön doldurma hızını %9,9, çözümleme hızını ise %13,6 artırdı. Bu işlemin hesaplama gönderiminden de kaldırılmasıyla toplam hız artışı ön doldurmada 1,7 kat, çözümlemede 2,4 kat oldu; kazanımın yaklaşık dörtte üçü hesaplama yolundan kaynaklandı.

Yazarlar, 8 Ekim 2026’da yayımlanan Spyre’ı Yerel Bir PyTorch Aygıtı Olarak Oluşturmak başlıklı yazıda, “Kazanç, ne Spyre’ın ne de PyTorch’un başka bir şeymiş gibi davranmak zorunda kalması,” diye yazdı ve Spyre’ın veri akışı yürütme modelini korurken kullanıcıların alışıldık tensör yerleşimi, akışlar ve derleme özelliklerine sahip yerel bir PyTorch aygıtı edindiğini ekledi.

vLLM Taşınabilirliği ve Llm-D Bağlantısı

Spyre, yapay zekâ yazılımlarının en yaygın desteklediği GPU platformlarından biri değil, ana kod ağacının dışında geliştirilen bir hızlandırıcıdır. Model grafiğini izlemek için TorchDynamo’ya, bu grafiği hedef donanım için derleyip optimize etmek içinse TorchInductor’a dayanır. vLLM’de CustomOp ve PluggableLayer gibi genişletme mekanizmaları, donanım eklentilerinin yazılım yığınının büyük bölümlerini baştan uygulamadan davranışı özelleştirmesine olanak tanır.

IBM, Meta ve Hugging Face’ten yazarların 22 Eylül 2026’da yayımladığı vLLM’de Donanımdan Bağımsız Modeller başlıklı yazıda ekip, vLLM’nin donanıma özgü “düz” model tanımlarına yönelişini anlattı ve dört tasarım ilkesine dayanan donanımdan bağımsız katmanları tanıttı: derlenebilirlik, genişletilebilirlik, donanıma özgü yollardan yalıtılmışlık ve taşınabilirlik. Bu özellik için ilk destek vLLM’nin ana dalına eklendi; transformers arka ucunda USE_HW_AGNOSTIC=1 ayarıyla etkinleştirilebiliyor. Yazarların bildirdiğine göre bu yöntem, Gemma 4, Qwen3 ve Granite 4.2 dahil modellerde Spyre’ın ana kod ağacının dışında geliştirilen eklentisiyle doğrulandı. Ayrıca NVIDIA H100 GPU’larında donanımdan bağımsız katmanlar, son dönemde yayımlanan üç modelin geometrik ortalaması alınarak ölçülen toplam belirteç aktarım hızında yerel uygulamanın yüzde 3,4’ü içinde sonuç verdi.

IBM’in yazısında belirtildiğine göre Spyre’ın PyTorch entegrasyonu, llm-d ile bağlantı kurmasını da sağlıyor: llm-d, vLLM üzerinde birden fazla hızlandırıcı türünde dağıtık çıkarım gerçekleştiriyor; vLLM her hızlandırıcıya PyTorch üzerinden erişiyor ve bir aygıtın çalışan bir PyTorch arka ucu olduğunda vLLM donanım eklentisi bu aygıtı kullanıma sunarak llm-d’nin işleri ona dağıtmasını sağlayabiliyor.

İlk Günden Etkinleştirme ve Sürekli Test

IBM Spyre Ekibi’nin 20 Ağustos 2026 tarihli bir yazısı, Hugging Face Transformers’ın standart modellerinin Spyre üzerinde çalışmasını sağlayan çalışma zamanı yamalarını kodlama ajanlarına hazırlatan HF-adapters adlı projeyi anlatıyor. Yazıda belirtildiğine göre, Nisan 2026 ortasından Haziran sonuna kadar 13 ayrı adaptör, Hugging Face’te en çok indirilen 10.000 gömme modelinin 7.960’ını kapsar hâle geldi; bunların 6.804’ü Spyre üzerinde uçtan uca testini başarıyla geçti. Örneklerden birinde, gelu_new aktivasyonundaki torch.pow(x, 3.0) işlemi matematiksel olarak özdeş olan x x x ifadesiyle değiştiriliyor; torch-spyre yığını bu ifadeyi derleyebiliyor. İnsanlar ise tanılama görevini üstlenmeye devam ediyor: birleştirilmiş işlemlerden kaynaklanan ve yalnızca aygıtta görülen hataların yerini saptıyor, ayrıca her ajanın sonuçlarını uçtan uca test sonuçlarıyla karşılaştırıyor.

IBM ve Red Hat mühendisleri, 30 Eylül 2026 tarihli bir yazıda, PyTorch’un Depolar Arası CI Aktarım Sistemi’yle torch-spyre’ın L2 entegrasyonunu anlattı. Bu sistem, PyTorch’taki değişiklikler üzerine sonraki aşamalarda testleri tetikliyor ve sonuçları PyTorch’un CI panosuna iletiyor. Entegrasyon, ajan tabanlı dört aşamalı bir test seçme sürecini bildirimsel bir YAML test yeniden kullanma çerçevesiyle birleştiriyor. Yazarların belirttiğine göre PyTorch 2.13’ten 2.14’e geçişte on binlerce test yerine yaklaşık 4.000 değişen testin değerlendirilmesi gerekti. Yazarlar ayrıca, PyTorch OpenReg’i referans noktası alarak yeniden kullanılabilir bileşenleri PyTorch ekibiyle birlikte ana projeye aktarmayı planladıklarını belirtti.

IBM’in yazısına göre IBM Z, LinuxONE ve Power11 kullanıcıları için hedeflenen deneyim, Hugging Face gibi ekosistemlerden modeller edinip Nvidia GPU’larında kullanacakları PyTorch tabanlı iş akışlarının büyük ölçüde aynısını kullanabilmeleri; ortak PyTorch genişletme noktaları da mimariler arasındaki farkların çoğunu gizliyor. vLLM yazısının yazarları, donanımdan bağımsız modelleri CI’ya dahil etmeye başlamayı ve Spyre üzerinde model sunumunda varsayılan yöntem olarak bu yolu kademeli biçimde benimsemeyi planladıklarını söyledi.