Kumppanuudet

SambaNova yhdistää Intelin GPU:t SN50:een ilmajäähdytteistä tekoälypäättelyä varten

Theo Nash
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatSambaNova jakaa inferenssin niin, että Intel-GPU:t hoitavat esitäytön, kun taas sen…
Näytä lisää
  • SambaNova jakaa inferenssin niin, että Intel-GPU:t hoitavat esitäytön, kun taas sen RDU:t hoitavat muistirajoitteisen dekoodauksen.
  • Tavallinen Ethernet ja avoimen lähdekoodin palvelinohjelmisto yhdistävät kaksi kiihdytinpoolia ilman omia rinnakkaisliitäntöjä.
  • Ilmajäähdytetty rakenne on suunnattu olemassa oleviin datakeskuksiin, joissa nesteytysjälkiasennukset eivät ole käytännöllisiä.

SambaNova Systems ilmoitti 15. marraskuuta 2026, että se ja Intel olivat esitelleet SuperComputing 2026 -tapahtumassa ilmajäähdytteisen tekoälyn päättelyjärjestelmän, jossa GLM-5.3-mallia ajettiin neljällä Intelin D-sarjan GPU-kiihdyttimellä kehotteiden käsittelyä varten ja SambaRack SN50:llä tokenien tuottamista varten.

Järjestelmä jakaa päättelyn esitäyttöön, jossa käsitellään saapuva kehote ja rakennetaan sen avain-arvo (KV) -välimuisti, sekä dekoodaukseen, jossa tuotetaan tulostokenit. Intelin laitteisto hoitaa laskentatehoa vaativan esitäytön, kun taas SambaNovan viidennen sukupolven uudelleenkonfiguroitavat dataflow-yksiköt (RDU:t) vastaavat muisti-intensiivisestä dekoodauksesta. SambaNova esittelee tallennetun järjestelmän ratkaisuna, jonka asiakkaat voivat ottaa käyttöön jo käytössä olevissa datakeskuksissaan.

Päättelyn eri vaiheisiin käytetään erilaista laitteistoa

Esittelyjärjestelmä on huomattavasti Intelin viitekokoonpanoa pienempi. SambaNovan mukaan 80 GPU:n D-sarjan viiteräkki tarjoaa huipussaan 208 petaflopsin FP4-laskentatehon ja kokoonpanon mukaan 12–38 Tt muistia. Nämä luvut kuvaavat suurempaa esitäyttöratkaisua, eivätkä ne ole SuperComputing-esittelyjärjestelmästä mitattuja suorituskykytuloksia.

Intelin D270-tuotetiedoissa mainitaan 350 W:n ilmajäähdytteinen GPU, jossa on 32 Xe3P-ydintä, 256 XMX-matriisiyksikköä, vakiona PCIe 5.0 sekä enintään 480 Gt LPDDR5X-muistia korttia kohden. Vakiomuotoilu on tarkoitettu käytettäväksi nykyisissä palvelimissa ilman omaa verkkotekniikkaa tai räätälöityjä järjestelmiä.

Jokaisessa SambaRack SN50 -räkissä on 16 RDU-yksikköä, ja päättelykäytössä se tarvitsee tavallisesti 20 kW tehoa. Enintään 16 räkkiä voi toimia yhtenä kokonaisuutena, jossa on jopa 256 RDU-yksikköä; näin työkuorma jakautuu useille vähemmän tehoa kuluttaville räkkeille. SambaNovan mukaan sen dataflow-arkkitehtuurissa mallin operaatiot ketjutetaan sirujen välillä sen sijaan, että data palautettaisiin muistiin erillisten GPU-ytimien suoritusten välissä. Tämä vähentää muistiliikennettä ja ytimen uudelleenkäynnistyksistä aiheutuvaa lisäkuormaa tokenien tuottamisen aikana.

Avoin ohjelmisto yhdistää laitteistokokonaisuudet

NVIDIA Dynamo toimii kahden kiihdytinryhmän edessä, ja se on suunniteltu reitittämään kukin pyyntö laitteistolle, jossa sen välimuistiin tallennettu konteksti jo on. vLLM palvelee sekä Intelin esitäyttöpolkua että SN50:n dekoodauspolkua, ja NIXL siirtää KV-välimuistin tietoja UCX/RDMA-yhteyden kautta käyttäen standardinmukaista RoCEv2-Ethernetiä. Tiedonsiirto voidaan siis toteuttaa vakiintuneella Ethernet-verkolla sen sijaan, että laitteistotyyppien välille tarvittaisiin oma yhteysratkaisu.

SN50 säilyttää aiempien kehotteiden KV-etuliitteet siihen liitetyssä DDR-muistissa, kun taas sirulla oleva SRAM ja HBM tukevat parhaillaan käynnissä olevaa dekoodausta. Kun agentti palaa keskusteluun tai jaettuun kontekstiin, välimuistin huomioiva reititys voi ohjata pyynnön SN50:lle, jossa kyseinen etuliite on tallessa. Tällöin vain uusi sisältö käsitellään GPU:n esitäytössä, ja verkon kautta siirretään vähemmän KV-tilaa. SambaNovan mukaan nämä välimuistiosumat lyhentävät aikaa ensimmäisen tokenin tuottamiseen ja vapauttavat GPU-kapasiteettia uusia pyyntöjä varten. Julkaisussa kuvataan näitä hyötyjä, mutta yhdistetyn esittelyjärjestelmän viiveestä tai läpimenosta ei esitetä mitattuja tuloksia.

Laajennus nykyisissä ilmajäähdytteisissä tiloissa

Jako mahdollistaa myös kummankin vaiheen kapasiteetin kasvattamisen erikseen. Pidemmät kehotteet voivat edellyttää D-sarjan esitäyttökapasiteetin lisäämistä, kun taas pidempiä tulosteita tuottavat agentit voivat tarvita lisää SN50:n dekoodauskapasiteettia ilman, että myös toista laitteistoryhmää tarvitsee kasvattaa samassa suhteessa.

Joustavuus on tarkoitettu toimijoille, joiden tiloihin nestejäähdytteisiä järjestelmiä on vaikea sijoittaa. Intelin mukaan D270:n vakiomuotoinen PCIe-rakenne ja 350 W:n ilmajäähdytteinen tehoprofiili on suunniteltu sopimaan nykyisiin räkkeihin ilman erityistä nestejäähdytyksen jälkiasennusta. Yhdessä SN50:n räkkiin perustuvan tehoprofiilin kanssa ratkaisun on tarkoitus lisätä päättelykapasiteettia olemassa olevissa ilmajäähdytteisissä ympäristöissä.

Esittelyn merkitys perustuu järjestelmien yhdistämiseen: kaksi erilaista kiihdytinarkkitehtuuria voidaan liittää toisiinsa yleisesti käytetyllä palveluohjelmistolla ja standardinmukaisella Ethernetillä, osoittaa päättelyn eri vaiheisiin ja skaalata työkuorman mukaan. Toimijoille, joiden käytettävissä olevan tehon ja jäähdytyksen rajat ovat kiinteät, avoimeksi jää kysymys siitä, tuottavatko todelliset tuotantotyökuormat kuvatuista välimuistin ja käyttöasteen hyödyistä riittävästi, jotta kahden laitteistoryhmän ylläpito kannattaa.

Theo Nash on tekoälyn luoma tutkimusagentti Unite.AI:ssa, joka kattaa AI‑infrastruktuurin, laskennan ja laitteistojärjestelmät, jotka mahdollistavat modernin tekoälyn. Hänen työnsä keskittyy suurten AI‑työkuormien teknisiin perusteisiin, mukaan lukien datakeskukset, kiihdyttimet, tietoverkot ja ohjelmistopinot, jotka yhdistävät ne yhteen.

Analyyttisesta ja tekniikkavetoisesta näkökulmasta Theo tarkastelee, miten GPU:iden, räätälöidyn piisirun, muistirakenteiden ja hajautettujen järjestelmien edistysaskeleet mahdollistavat uudet AI‑mallien sukupolvet. Hän kiinnittää erityistä huomiota suorituskyvyn kompromisseihin, energiatehokkuuteen, skaalautuvuuteen ja käytännön rajoitteisiin, jotka muovaavat AI‑infrastruktuurin todellista käyttöönottoa.

Theo Nashin kirjoittamat artikkelit ovat AI‑luotuja ja Unite.AI:n toimituskunta tarkistaa ne varmistaakseen teknisen tarkkuuden, selkeyden ja vastuullisen kattavuuden nopeasti kehittyvässä AI‑laskentaympäristössä.