IBM nostaa Spyre-kiihdyttimen ensiluokkaiseksi PyTorch-taustajärjestelmäksi

IBM kertoi 26. lokakuuta 2026 julkaistussa IBM Researchin blogikirjoituksessa, että PyTorch-ekosysteemissä vuoden 2026 jälkipuoliskolla toimitetut ohjelmistopäivitykset ovat nostaneet sen Spyre-tietovirtakiihdyttimen ensiluokkaiseksi PyTorch-taustajärjestelmäksi. Näin toteutuu suunnitelma, jonka IBM ja PyTorch Foundation esittelivät lokakuussa 2025.

IBM kuvailee Spyreä tietovirtapohjaiseksi tekoälykiihdyttimekseen, joka on optimoitu päättelyyn ja suunniteltu yritystiimeille, jotka käyttävät tekoälyä sovellustensa ja tietojensa rinnalla IBM Z-, LinuxONE- ja Power-järjestelmissä. Sen pienennetyn tarkkuuden laskenta on suunnattu kielentuotanto- ja upotusmallien matriisipainotteisiin tehtäviin. Toisin kuin perinteinen näytönohjain, joka suorittaa ytimiä käskyvirtoina ajoitettujen säieryhmien yli, Spyre käynnistää laskennan sitä mukaa, kun dataa saapuu sen laskentayksiköihin.

Kirjoituksen mukaan IBM, Red Hat ja PyTorch Foundationin yhteistyökumppanit, kuten Meta ja Hugging Face, julkaisivat vuoden 2026 jälkipuoliskolla päivityksiä, jotka kattavat mallien käyttöönoton heti ensimmäisestä päivästä lähtien, laitteistoriippumattomat mallit vLLM:ssä, jatkuvan regressio- ja julkais testauksen sekä natiivilaiteintegraation. PyTorch Conference 2025 -tapahtumassa IBM kertoi IBM Researchin 21. lokakuuta 2025 julkaistussa kirjoituksessa suunnittelevansa Spyren syvempää käyttöönottoa vuonna 2026. Tavoitteena oli, että Spyre toimisi ensiluokkaisena taustajärjestelmänä avoimen lähdekoodin päättelytyönkuluissa, ja painopisteenä olisivat yhtenäiset kääntäjäpolut, optimoitu ytimien generointi ja läpinäkyvä usean kiihdyttimen ajoitus. IBM oli tuolloin ottanut käyttöön vLLM:n päättelyajoympäristönään ja torch.compile-kääntäjänä, jonka avulla kiihdyttimiä, kuten Spyreä, integroidaan. Lisäksi se oli tehnyt vLLM:ää varten Spyre-laajennuksen, joka mahdollistaa sivutetun tarkkaavaisuuden suurten kielimallien päättelyssä.

Inductor-pohjaiseksi rakennettu kääntäjä

Integraation ytimessä on torch-spyre, PyTorch-taustajärjestelmä, joka kääntää tavallisen PyTorch-koodin Spyrelle suoritettavaksi suunnitelmaksi. Suurin osa mallin logiikasta kulkee PyTorch-kääntäjän läpi muuttumattomana. Jos jotakin operaatiota ei vielä pystytä muuntamaan tehokkaasti suoritettavaan muotoon, sovitin voi korvata sen matemaattisesti vastaavalla muodolla, jota kääntäjä pystyy käsittelemään.

PyTorch Foundationin 13. lokakuuta 2026 julkaisemassa kirjoituksessa Dave Grove, Olivier Tardieu ja IBM Spyre -tiimi kertoivat siirtäneensä torch-spyren torch.compile-taustajärjestelmän kokonaan alusta rakennetusta käännösjärjestelmästä nimeltä sendnn backend=inductor-taustajärjestelmään, joka on avoimen lähdekoodin toteutus ja rakennettu laajentamalla PyTorchin omaa Inductoria. Kirjoittajien lizard-koodianalysaattorilla tekemän mittauksen mukaan sendnn sisältää noin 273 000 riviä C++- ja Python-koodia 6 170 funktiossa, kun taas Inductor-laajennuksessa on noin 38 600 Python-riviä 1 878 funktiossa. Kirjoittajien mukaan rivejä on siis noin 7 kertaa vähemmän, ja myös monimutkaisuus funktiota kohden on pienempi.

Spyre on 75 watin PCIe-väylään liitettävä kiihdytin, jossa on 32 pientä rengasverkkoon kytkettyä ydintä. Jokaisella ytimellä on jaetun välimuistin sijaan oma 2 Mt:n työmuisti, ja dataa siirretään kiinteän kokoisina 128 tavun paloina, joita kutsutaan stickeiksi. Kirjoituksen mukaan kääntäjätyössä keskityttiin stick-yksikön kokoiseen datansiirtoon, työmuistin suunnitteluun ja ytimien määrittämiseen käännösaikana.

Raportoituihin mittaustuloksiin kuuluu matriisikertolaskennan ytimen suoritusajan 29–69 prosentin lyheneminen lohkotuksen ja asettelun valinnoilla. Työmuistin huomioiva ajoitus lyhensi softmax-ytimen mediaanisuoritusajan 32,51 mikrosekunnista 23,67 mikrosekuntiin eli 27 prosenttia. Sulautettu MLP-tyyppinen ydin nosti ytimien käyttöasteen noin kahdesta kolmasosasta noin 80 prosenttiin ja lyhensi ytimen suoritusaikaa noin 17 prosenttia. Näitä valintoja rasittavaksi rakennetussa synteettisessä laskentagraafissa uusi sirunsisäinen uudelleenasettelu korvasi 80 mikrosekuntia kestävän edestakaisen laitteen muistissa käynnin 1,1 mikrosekunnin pituisella ytimien välisellä siirrolla. Kirjoituksessa todetaan myös, että torch-spyren tarve rekisteröidä laitekohtaisia hajotelmia auttoi parantamaan lähdekoodipuun ulkopuolisten Inductor-taustajärjestelmien tukea. Parannukset päätyivät osaksi PyTorch 2.12:ta kahden yhdistetyn vetopyynnön kautta.

Natiivilaiteintegraatio

Spyrestä tulee natiivi PyTorch-laite PrivateUse1-rekisteröinnin avulla. Se antaa komennolle tensor.to(“spyre”) todellisen laiteidentiteetin: PyTorchin varaajan tallennustila pitää tensorit laitteessa, virrat määrittävät suoritusjärjestyksen ja ajonaikaiset tapahtumat kytkevät riippuvaiset työt eri virtojen välillä. Kortissa on 32 ydintä, jotka on yhdistetty suuren kaistanleveyden rengasverkolla. Jokaisella ytimellä on 2 Mt paikallista työmuistia, ja tensorien ja ohjelmien käyttöön on enintään 128 Gt LPDDR5-muistia. Nykyinen ajonaikainen järjestelmä muokkaa ohjelmia käynnistyksen yhteydessä ja korvaa symboliset tensoriosoitteet todellisilla osoitteilla kolmessa järjestyksessä suoritettavassa vaiheessa.

Tiimi raportoi esittelyssä, jossa käytettiin Granite 3.3 8B -mallia, eräkokoa 1 ja sekvenssipituutta 1024, että laskentagraafin muodostamisen siirtäminen pois tiedonsiirtopolulta nopeutti esitäyttöä 9,9 prosenttia ja dekoodausta 13,6 prosenttia. Kun tämä työ siirrettiin pois myös laskennan käynnistyksestä, kokonaisnopeus oli esitäytössä 1,7-kertainen ja dekoodauksessa 2,4-kertainen. Parannuksesta noin kolme neljäsosaa johtui laskentapolusta.

”Hyöty on siinä, ettei Spyren eikä PyTorchin tarvitse teeskennellä olevansa jotakin muuta”, kirjoittajat totesivat Spyren rakentamista natiiviksi PyTorch-laitteeksi käsittelevässä kirjoituksessaan, joka julkaistiin 8. lokakuuta 2026. He lisäsivät, että Spyre säilyttää tietovirtapohjaisen suoritusmallinsa, kun taas käyttäjät saavat käyttöönsä natiivin PyTorch-laitteen, jossa tensorien sijoittelu, virrat ja kääntäminen toimivat tutulla tavalla.

vLLM:n siirrettävyys ja Llm-D-yhteys

Spyre on lähdepuun ulkopuolinen kiihdytin, eikä se kuulu niihin GPU-alustoihin, joita tekoälyohjelmistot tukevat yleisimmin. Se käyttää TorchDynamoa malligraafin jäljittämiseen ja TorchInductoria graafin muuntamiseen kohdelaitteistolle sopivaan muotoon. vLLM:ssä laajennusmekanismit, kuten CustomOp ja PluggableLayer, antavat laitteistoliitännäiselle mahdollisuuden mukauttaa toimintaa toteuttamatta suuria osia ohjelmistopinosta uudelleen.

Teoksessa vLLM:n laitteistoriippumattomat mallit, jonka IBM:n, Metan ja Hugging Facen kirjoittajat julkaisivat 22. syyskuuta 2026, ryhmä kuvaili vLLM:n siirtymistä laitteistokohtaisiin ”litteisiin” mallimäärittelyihin ja esitteli neljään suunnitteluperiaatteeseen perustuvat laitteistoriippumattomat kerrokset: niiden on oltava käännettävissä, laajennettavissa, erillään laitteistokohtaisista toimintapoluista ja siirrettävissä. Alustava tuki on jo vLLM:n päähaarassa, ja sen voi ottaa käyttöön transformers-taustajärjestelmässä asetuksella USE_HW_AGNOSTIC=1. Toimintapolkua on validoitu Spyren lähdepuun ulkopuolisella liitännäisellä muun muassa Gemma 4-, Qwen3- ja Granite 4.2 -malleissa. Kirjoittajien mukaan NVIDIA H100 -grafiikkasuorittimilla laitteistoriippumattomien kerrosten tokenien kokonaisläpäisy oli enintään 3,4 % pienempi kuin natiivilla toteutuksella. Tulos mitattiin kolmen tuoreen mallin geometrisena keskiarvona.

IBM:n julkaisun mukaan Spyren PyTorch-integraatio mahdollistaa myös yhteyden llm-d:hen: llm-d suorittaa hajautettua päättelyä vLLM:n päällä useilla kiihdytintyypeillä, vLLM käyttää kutakin kiihdytintä PyTorchin kautta, ja kun laitteelle on toimiva PyTorch-taustajärjestelmä, vLLM:n laitteistoliitännäinen voi tuoda sen käyttöön, jolloin llm-d voi ajoittaa sille tehtäviä.

Käyttöönotto heti ensimmäisestä päivästä lähtien ja jatkuva testaus

IBM Spyre -tiimin 20. elokuuta 2026 julkaistussa kirjoituksessa esitellään HF-adapters-projekti, jossa koodausagentit laativat ajonaikaisia korjaustiedostoja, joiden avulla tavalliset Hugging Face Transformers -mallit voivat toimia Spyrellä. Kirjoituksen mukaan huhtikuun 2026 puolivälistä kesäkuun 2026 loppuun mennessä 13 erillistä sovitinta kattoi 7 960 Hugging Facen 10 000 ladatuimmasta upotusmallista, ja niistä 6 804 läpäisee Spyrellä päästä päähän tehtävän testin. Yhdessä esimerkissä gelu_new-aktivoinnin torch.pow(x, 3.0) korvataan matemaattisesti vastaavalla lausekkeella x x x, jonka torch-spyre-pino pystyy muuntamaan. Ihmisille jäävät vianmääritystehtävät: he paikantavat vain laitteella ilmenevät virheet, joita sulautetut operaatiot aiheuttavat, ja tarkistavat kunkin agentin päätelmät päästä päähän -testien tulosten perusteella.

30. syyskuuta 2026 julkaistussa kirjoituksessa IBM:n ja Red Hatin insinöörit kuvailivat torch-spyren L2-integraatiota PyTorchin Cross-Repository CI Relay -järjestelmään. Se käynnistää jatkotestauksen PyTorch-projektin ylävirran muutosten yhteydessä ja raportoi tulokset takaisin PyTorchin CI-koontinäyttöön. Integraatiossa yhdistyvät agenttipohjainen, nelivaiheinen testien valintaputki ja deklaratiivinen YAML-pohjainen testien uudelleenkäyttökehys. Kirjoittajien mukaan siirtyminen PyTorch 2.13:sta versioon 2.14 tarkoitti noin 4 000 muuttuneen testin arviointia kymmenien tuhansien sijaan. He lisäsivät aikovansa tehdä PyTorch-tiimin kanssa yhteistyötä uudelleenkäytettävien osien viemiseksi PyTorchiin, jonka vertailukohtana toimii PyTorch OpenReg.

IBM:n julkaisun mukaan IBM Z:n, LinuxONEn ja Power11:n käyttäjille tavoiteltu kokemus on se, että he voivat hankkia malleja esimerkiksi Hugging Facen kaltaisista ekosysteemeistä ja käyttää pitkälti samoja PyTorch-pohjaisia työnkulkuja kuin Nvidia-grafiikkasuorittimilla. PyTorchin yhteiset laajennuspisteet peittävät suuren osan arkkitehtuurien välisistä eroista. vLLM-julkaisun kirjoittajat kertoivat aikovansa alkaa sisällyttää laitteistoriippumattomia malleja jatkuvaan integraatioon (CI) ja siirtyä vähitellen käyttämään tätä toimintapolkua Spyre-mallien tarjoilun oletusratkaisuna.