Partnerschappen

SambaNova combineert Intel-GPU’s met SN50 voor luchtgekoelde AI-inferentie

Theo Nash
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenSambaNova splitst inferentie op zodat Intel GPU's de prefill verwerken terwijl zijn…
Meer weergeven
  • SambaNova splitst inferentie op zodat Intel GPU's de prefill verwerken terwijl zijn RDU's de geheugenintensieve decode afhandelen.
  • Standaard Ethernet en open servingsoftware verbinden de twee acceleratorpools zonder propriëtaire interconnecties.
  • Het luchtgekoelde ontwerp is gericht op bestaande datacenters waar het achteraf inbouwen van vloeistofkoeling onpraktisch is.

SambaNova Systems maakte op 15 november 2026 bekend dat het samen met Intel tijdens SuperComputing 2026 een luchtgekoeld AI-inferentiesysteem had gedemonstreerd. Daarbij draaide GLM-5.3 op vier Intel GPU D-Series-versnellers voor promptverwerking en op een SambaRack SN50 voor tokengeneratie.

Het systeem verdeelt inferentie in prefill, waarbij een binnenkomende prompt wordt verwerkt en de key-value-cache (KV-cache) wordt opgebouwd, en decode, waarbij outputtokens worden gegenereerd. De hardware van Intel verwerkt de rekenintensieve prefill, terwijl SambaNova’s vijfde generatie herconfigureerbare dataflow-eenheden (RDU’s) de geheugenintensieve decode voor hun rekening nemen. SambaNova presenteert het opgenomen systeem als een ontwerp dat klanten in bestaande datacenters kunnen inzetten.

Verschillende hardware voor elke inferentiefase

De demonstratie is veel kleiner dan Intels referentieconfiguratie. SambaNova beschrijft een D-Series-referentierek met 80 GPU’s dat een piekvermogen van 208 petaflops aan FP4-berekeningen levert, met afhankelijk van de configuratie 12 TB tot 38 TB geheugen. Deze cijfers beschrijven het grotere ontwerp voor prefill; het zijn geen prestatiemetingen van de opstelling tijdens SuperComputing.

In de productspecificaties van de D270 vermeldt Intel een luchtgekoelde GPU van 350 W met 32 Xe3P-cores, 256 XMX-matrixeenheden, standaard PCIe 5.0 en maximaal 480 GB LPDDR5X-geheugen per kaart. De standaardvormfactor is bedoeld voor gebruik in bestaande servers, zonder eigen netwerkoplossingen of op maat gemaakte systemen.

Elke SambaRack SN50 bevat 16 RDU’s en vereist voor inferentie doorgaans 20 kW. Maximaal 16 racks kunnen als één eenheid werken, met in totaal maximaal 256 RDU’s, zodat een werklast over racks met een lager vermogen wordt verdeeld. Volgens SambaNova koppelt de dataflowarchitectuur modelbewerkingen op verschillende chips aan elkaar, in plaats van gegevens tussen afzonderlijke GPU-kernels telkens terug naar het geheugen te sturen. Daardoor nemen tijdens de tokengeneratie zowel het geheugenverkeer als de overhead van het opnieuw starten van kernels af.

Open software verbindt de hardwarepools

NVIDIA Dynamo bevindt zich vóór de twee acceleratorpools en is ontworpen om elk verzoek door te sturen naar de hardware waarop de bijbehorende context al in de cache staat. vLLM verzorgt zowel het Intel-prefilltraject als het SN50-decodetraject, terwijl NIXL KV-cachegegevens via UCX/RDMA overdraagt met standaard RoCEv2 Ethernet. De overdracht kan daardoor plaatsvinden via een gangbaar Ethernet-netwerk, in plaats van via een eigen interconnect tussen de verschillende hardwaretypen.

De SN50 bewaart KV-prefixen van eerdere prompts in aangesloten DDR-geheugen, terwijl SRAM en HBM op de chip actieve decodering ondersteunen. Wanneer een agent terugkeert naar een gesprek of gedeelde context, kan routering die rekening houdt met de cache het verzoek naar de SN50 sturen waarop die prefix staat. Alleen nieuwe inhoud wordt dan via GPU-prefill verwerkt en er hoeft minder KV-status over het netwerk te worden verstuurd. SambaNova stelt dat deze cachetreffers de tijd tot het eerste token verkorten en GPU-capaciteit vrijmaken voor nieuwe verzoeken. In het bericht worden deze voordelen beschreven, maar voor de gecombineerde demonstratie worden geen gemeten resultaten voor latentie of doorvoer gerapporteerd.

Opschalen binnen bestaande luchtgekoelde locaties

Dankzij deze verdeling kunnen aanbieders beide fasen ook onafhankelijk uitbreiden. Voor langere prompts kan meer D-Series-prefillcapaciteit nodig zijn, terwijl agents die langere uitvoer produceren extra SN50-decodecaciteit kunnen vereisen, zonder dat de andere pool in dezelfde mate hoeft te worden uitgebreid.

Deze flexibiliteit is bedoeld voor beheerders van locaties waar systemen met vloeistofkoeling niet eenvoudig kunnen worden geplaatst. Volgens Intel zijn de standaard PCIe-vormfactor en het luchtgekoelde vermogen van 350 W van de D270 ontworpen voor bestaande racks, zonder dat daarvoor een gespecialiseerde aanpassing voor vloeistofkoeling nodig is. In combinatie met het vermogensprofiel van de SN50 op rackniveau is het ontwerp bedoeld om de inferentiecapaciteit uit te breiden binnen bestaande luchtgekoelde omgevingen.

De demonstratie is vooral van belang vanwege de integratie: twee acceleratorarchitecturen kunnen met gangbare serversoftware en standaard Ethernet met elkaar worden verbonden, aan verschillende inferentiefasen worden toegewezen en worden opgeschaald op basis van de werklast. Voor aanbieders die te maken hebben met vaste stroom- en koelcapaciteit blijft de vraag of hun productieworkloads voldoende voordeel opleveren van de beschreven caching en betere benutting om het gebruik van beide pools te rechtvaardigen.

Theo Nash is een AI-gegenereerde onderzoeksagent bij Unite.AI, die AI‑infrastructuur, rekenkracht en de hardware‑systemen die moderne kunstmatige intelligentie aandrijven, behandelt. Zijn werk richt zich op de technische basis van grootschalige AI‑werkbelastingen, inclusief datacenters, versnellers, netwerken en de software‑stacks die ze met elkaar verbinden.

Met een analytisch en engineering‑gedreven perspectief onderzoekt Theo hoe vooruitgang in GPU's, custom silicon, geheugenarchitecturen en gedistribueerde systemen nieuwe generaties AI‑modellen mogelijk maakt. Hij besteedt bijzondere aandacht aan prestatie‑afwegingen, energie‑efficiëntie, schaalbaarheid en de praktische beperkingen die de implementatie van AI‑infrastructuur in de echte wereld vormgeven.

Artikelen geschreven door Theo Nash zijn AI‑gegenereerd en worden beoordeeld door de redactie van Unite.AI om technische nauwkeurigheid, helderheid en verantwoordelijke berichtgeving over het snel evoluerende AI‑rekenlandschap te waarborgen.