IBM povyšuje akcelerátor Spyre na plnohodnotný backend PyTorch

IBM v blogovém příspěvku IBM Research zveřejněném 26. října 2026 uvedla, že softwarové aktualizace vydané v ekosystému PyTorch ve druhé polovině roku 2026 proměnily její datově tokový akcelerátor Spyre v plnohodnotný backend PyTorch. Tím IBM naplnila plán, který v říjnu 2025 představila společně s organizací PyTorch Foundation.

IBM popisuje Spyre jako svůj datově tokový akcelerátor pro umělou inteligenci, optimalizovaný pro inferenci a navržený pro firemní týmy, které provozují AI souběžně se svými aplikacemi a daty na systémech IBM Z, LinuxONE a Power. Jeho výpočty se sníženou přesností jsou určeny pro operace s maticemi, které tvoří podstatnou část generování jazyka a modelů pro tvorbu vektorových reprezentací. Na rozdíl od běžné GPU, která vykonává jádra jako proudy instrukcí napříč plánovanými skupinami vláken, Spyre spouští výpočty podle toho, jak data přicházejí do jeho výpočetních jednotek.

Ve druhé polovině roku 2026 vydaly IBM, Red Hat a další spolupracovníci v organizaci PyTorch Foundation, včetně společností Meta a Hugging Face, aktualizace zahrnující podporu modelů od prvního dne, hardwarově nezávislé modely ve vLLM, průběžné regresní testování a testování vydání i integraci nativního zařízení, uvádí příspěvek. Na konferenci PyTorch Conference 2025 IBM v příspěvku IBM Research z 21. října 2025 uvedla, že plánuje v roce 2026 rozšířit podporu Spyre. Spyre se měl stát plnohodnotným backendem v pracovních postupech open source inference, přičemž důraz měl být kladen na sjednocené cesty kompilátoru, optimalizované generování jader a transparentní plánování úloh napříč více akcelerátory. IBM už tehdy přijala vLLM jako běhové prostředí pro inferenci a torch.compile jako frontendový kompilátor pro integraci akcelerátorů, jako je Spyre. Přispěla také pluginem Spyre pro vLLM, který umožňuje stránkovanou pozornost při inferenci velkých jazykových modelů.

Kompilátor znovu postavený na Inductoru

Základem integrace je torch-spyre, backend PyTorch, který kompiluje běžný kód PyTorch do spustitelného plánu pro Spyre. Většina logiky modelu prochází kompilátorem PyTorch beze změny; pokud některou operaci zatím nelze efektivně převést do nižší podoby, adaptér ji může nahradit matematicky ekvivalentní variantou, kterou kompilátor dokáže zpracovat.

V příspěvku organizace PyTorch Foundation zveřejněném 13. října 2026 popsali Dave Grove, Olivier Tardieu a tým IBM Spyre přechod backendu torch.compile v torch-spyre ze sendnn, kompilátorového zásobníku vytvořeného zcela od začátku, na backend=inductor, open source backend vzniklý rozšířením vlastního Inductoru v PyTorch. Podle autorů má sendnn podle měření analyzátorem kódu lizard přibližně 273 000 řádků kódu C++ a Pythonu v 6 170 funkcích, zatímco rozšíření Inductoru má přibližně 38 600 řádků Pythonu v 1 878 funkcích — tedy asi 7× méně řádků a nižší složitost jednotlivých funkcí.

Spyre je akcelerátor s příkonem 75 wattů, připojený přes PCIe a sestavený z 32 malých jader propojených do kruhu. Každé má vlastní 2MB lokální paměť scratchpad namísto sdílené mezipaměti a data přesouvá v blocích pevné velikosti 128 bajtů, označovaných jako „sticks“. Kompilátor se zaměřuje na přesun dat po blocích této velikosti, plánování využití paměti scratchpad a přiřazování jader v době kompilace, uvádí příspěvek.

Mezi uváděná měření patří zkrácení doby běhu jádra matmul o 29–69 % díky volbě blokování a rozložení dat, zkrácení mediánové doby běhu jádra softmax z 32,51 mikrosekundy na 23,67 mikrosekundy — tedy o 27 % — díky plánování zohledňujícímu paměť scratchpad a také sloučené jádro ve stylu MLP, které zvýšilo vytížení jader přibližně ze dvou třetin na zhruba 80 % a současně zkrátilo dobu běhu jádra přibližně o 17 %. V syntetickém výpočetním grafu navrženém tak, aby tyto volby prověřil, nahradilo nové přeuspořádání dat přímo na čipu přenos tam a zpět přes paměť zařízení trvající 80 mikrosekund přesunem dat mezi jádry za 1,1 mikrosekundy. Příspěvek také uvádí, že potřeba registrovat v torch-spyre dekompozice specifické pro dané zařízení pomohla podnítit vylepšení podpory externích backendů Inductoru. Ta byla následně začleněna do hlavní větve PyTorch 2.12 prostřednictvím dvou sloučených žádostí o začlenění změn.

Integrace nativního zařízení

Spyre se stává nativním zařízením PyTorch díky registraci PrivateUse1, která volání tensor.to(“spyre”) přiřazuje skutečnou identitu zařízení: úložiště přidělované alokátorem PyTorch ponechává tenzory v paměti zařízení, proudy zajišťují pořadí operací a běhové události propojují závislé úlohy napříč proudy. Karta obsahuje 32 jader propojených vysokorychlostním kruhem, každé s 2 MB lokální paměti scratchpad, a až 128 GB paměti LPDDR5 pro tenzory a programy. Aktuální běhové prostředí při spuštění upravuje programy a ve třech seřazených krocích nahrazuje symbolické adresy tenzorů skutečnými adresami.

Tým uvedl, že při demonstraci s modelem Granite 3.3 8B, velikostí dávky 1 a délkou sekvence 1024 zlepšilo přesunutí sestavování výpočetního grafu mimo cestu přenosu dat rychlost předvyplňování o 9,9 % a dekódování o 13,6 %. Po odstranění této práce také z cesty odesílání výpočtů se celkové zrychlení zvýšilo na 1,7× u předvyplňování a 2,4× u dekódování; zhruba tři čtvrtiny tohoto zlepšení připadaly na výpočetní cestu.

„Výhodou je, že ani Spyre, ani PyTorch nemusí předstírat, že jsou něčím jiným,“ napsali autoři v textu Vybudování Spyre jako nativního zařízení PyTorch, zveřejněném 8. října 2026. Dodali, že Spyre si zachovává svůj datově tokový model vykonávání, zatímco uživatelé získávají nativní zařízení PyTorch se známým umisťováním tenzorů, proudy a kompilací.

Přenositelnost vLLM a propojení s Llm-D

Spyre je akcelerátor mimo hlavní strom, nikoli jedna z platforem GPU, které software pro umělou inteligenci podporuje nejčastěji. K trasování grafu modelu využívá TorchDynamo a k jeho převedení pro cílový hardware TorchInductor. Rozšiřující mechanismy ve vLLM, jako jsou CustomOp a PluggableLayer, umožňují hardwarovému pluginu upravovat chování systému, aniž by bylo nutné znovu implementovat velké části softwarového zásobníku.

V článku Modely nezávislé na hardwaru ve vLLM, který 22. září 2026 zveřejnili autoři z IBM, Meta a Hugging Face, tým popsal, jak se vLLM odklání od „plochých“ definic modelů specifických pro hardware, a představil vrstvy nezávislé na hardwaru založené na čtyřech principech: lze je kompilovat a rozšiřovat, jsou oddělené od cest specifických pro hardware a jsou přenositelné. Základní podpora je již dostupná v hlavní větvi vLLM a lze ji zapnout nastavením USE_HW_AGNOSTIC=1 v backendu transformers. Tato cesta byla ověřena pomocí externího pluginu Spyre na modelech, mezi něž patří Gemma 4, Qwen3 a Granite 4.2. Na GPU NVIDIA H100 dosáhly vrstvy nezávislé na hardwaru celkové propustnosti tokenů, která byla o 3,4 % nižší než u nativní implementace; podle autorů šlo o geometrický průměr naměřený na třech nedávných modelech.

Integrace Spyre s PyTorch je podle článku IBM také způsobem, jak se připojuje k llm-d: llm-d zajišťuje distribuované odvozování na vLLM napříč několika typy akcelerátorů, vLLM ke každému akcelerátoru přistupuje prostřednictvím PyTorch a jakmile má zařízení funkční backend PyTorch, může jej hardwarový plugin vLLM zpřístupnit, aby na něj llm-d mohlo plánovat úlohy.

Podpora od prvního dne a průběžné testování

Příspěvek z 20. srpna 2026 od týmu IBM Spyre představuje HF-adapters, projekt, který využívá programovací agenty k přípravě oprav za běhu, jež umožňují spouštět běžné modely Hugging Face Transformers na Spyre. Od poloviny dubna do konce června 2026 pokrývalo 13 různých adaptérů 7 960 z 10 000 nejstahovanějších vkládacích modelů Hugging Face; 6 804 z nich podle příspěvku prošlo testem na Spyre od začátku do konce. Jeden příklad nahrazuje volání torch.pow(x, 3.0) v aktivační funkci gelu_new matematicky ekvivalentním výrazem x x x, který zásobník torch-spyre dokáže převést. Lidé si ponechávají diagnostiku: lokalizují chyby, které se objevují pouze na zařízení a vznikají při slučování operací, a ověřují závěry každého agenta podle výsledků testů od začátku do konce.

V příspěvku z 30. září 2026 popsali inženýři IBM a Red Hat integraci L2 v torch-spyre s mechanismem Cross-Repository CI Relay v PyTorch, který při změnách v upstreamu PyTorch spouští následné testování a odesílá výsledky zpět na řídicí panel CI projektu PyTorch. Integrace kombinuje čtyřstupňový proces výběru testů řízený agenty s deklarativním rámcem YAML pro opětovné použití testů. Autoři uvedli, že při přechodu z PyTorch 2.13 na verzi 2.14 bylo třeba vyhodnotit přibližně 4 000 změněných testů namísto desítek tisíc. Dodali, že chtějí spolupracovat s týmem PyTorch na začlenění znovupoužitelných částí do upstreamu, přičemž jako výchozí bod poslouží PyTorch OpenReg.

Uživatelé IBM Z, LinuxONE a Power11 mají podle příspěvku IBM získávat modely z ekosystémů, jako je Hugging Face, a používat v zásadě stejné pracovní postupy založené na PyTorch jako při práci s GPU Nvidia; sdílené rozšiřující body PyTorch přitom skryjí velkou část architektonických rozdílů. Autoři příspěvku o vLLM uvedli, že plánují začít zahrnovat modely nezávislé na hardwaru do CI a postupně tuto cestu zavést jako výchozí způsob obsluhy modelů na Spyre.