Supermicro gaat AI-inferentiesystemen met SambaNova-technologie bouwen en verkopen

SambaNova en Supermicro maakten op 3 november 2026 bekend dat Supermicro AI-inferentiesystemen gaat bouwen, verkopen en ondersteunen die het werk verdelen tussen NVIDIA-GPU’s en SambaNova’s SN50 Reconfigurable Dataflow Units. De samenwerking omvat in eerste instantie plannen voor 10.000 SN50-chips.

De systemen worden opgenomen in Supermicro’s portfolio Data Center Building Block Solutions. Supermicro integreert, test, levert en ondersteunt ze, inclusief service op locatie. SambaNova-ingenieurs zorgen er ondertussen voor dat modellen op de SN50 draaien en daarop worden afgestemd, en ondersteunen de implementatie bij klanten. De samenwerking brengt zo een kanaal voor serverproductie en -service samen met het modeltechnische werk dat nodig is voor de inzet van een heterogene acceleratorarchitectuur.

Waarom inferentie wordt verdeeld over GPU’s en RDU’s

De architectuur verdeelt inferentie in twee fasen. Tijdens de prefill-fase verwerken NVIDIA-GPU’s de binnenkomende prompt, een taak die rekenkracht vereist. SN50-RDU’s verzorgen de decodefase, waarin het antwoord token voor token wordt gegenereerd en die veel geheugen vereist. Volgens SambaNova verloopt inferentie sneller en efficiënter wanneer elke fase wordt toegewezen aan de hardware die daarvoor geschikt is, dan wanneer slechts één van beide soorten hardware wordt gebruikt.

In de bijbehorende aankondiging noemt SambaNova agentische AI als de belangrijkste toepassing: agents kunnen duizenden verzoeken naar grote taalmodellen sturen, elk verzoek kan minuten duren en agentische workloads besteden het grootste deel van hun tijd aan decoderen. Daardoor is het genereren van tokens bepalend voor hoe snel een agent zijn volgende actie kan uitvoeren. De bedrijven behandelen decoderen daarom als een afzonderlijk infrastructuurprobleem: extra RDU’s moeten de reacties versnellen, terwijl GPU’s de prompts blijven verwerken.

Een blik op het ontwerp van de SN50

De SN50 is SambaNova’s RDU van de vijfde generatie. Volgens het officiële gegevensblad is de chip gemaakt met een 5-nanometerprocedé van TSMC en beschikt hij over 432 MB SRAM op de chip en 64 GB HBM2E. DDR5 vormt de derde geheugenlaag. De chip maakt gebruik van SambaNova’s Reconfigurable Dataflow Architecture en is ontworpen voor de geheugenintensieve decodefase, niet voor algemene acceleratorworkloads.

Volgens de productdocumentatie van SambaNova zorgt het ontwerp voor snellere inferentie, een hogere doorvoer en een betere energie-efficiëntie. Bewerkingen worden aaneengeschakeld tot een continue gegevensstroom, waardoor herhaalde geheugentransfers en de overhead van het opnieuw starten van taken in elke fase afnemen. De geheugenlagen hebben elk ook een eigen functie: SRAM houdt veelgebruikte lokale gegevens dicht bij de rekeneenheden, HBM2E bevat actieve modelgewichten en veelgebruikte KV-cache, en DDR5 biedt ruimte aan promptcaches, grotere modelpools en weinig gebruikte KV-cache.

Volgens SambaNova kan de SN50 worden opgeschaald naar maximaal 256 RDU’s, verdeeld over meerdere racks. De chip is ontworpen voor interactieve agents, codeerassistenten en andere inferentieworkloads met meerdere stappen, waaronder toepassingen die tussen meerdere modellen schakelen. Het ontwerp voor meerdere racks sluit aan bij de plannen van de samenwerking op rackniveau: Supermicro integreert RDU’s en GPU’s in systemen die het bedrijf zal valideren en ondersteunen.

Uitrol via partners en beperkingen van datacenters

Klanten kunnen SN50-RDU’s samen met GPU’s aanschaffen via Supermicro, via hetzelfde verkoopkanaal als de rest van hun AI-infrastructuur. De uitrol begint bij NeoClouds en soevereine clouds en wordt daarna uitgebreid naar bedrijven die AI in hun eigen datacenters gebruiken. Deze gefaseerde aanpak richt zich eerst op cloudproviders en brengt dezelfde gecombineerde GPU-RDU-architectuur later naar bedrijfsdatacenters.

Stroomvoorziening en koeling zijn belangrijke factoren bij de implementatie. Volgens de bedrijven kan de SN50 grote modellen met hoge snelheid en doorvoer bedienen zonder een extreem hoog stroomverbruik per rack, waardoor de systemen gemakkelijker in bestaande datacenters kunnen worden ingezet. Dit energieprofiel ondersteunt het plan om de samenwerking ook in bestaande faciliteiten toe te passen: de RDU’s moeten extra capaciteit bieden in datacenters die operators al in gebruik hebben.

De bedrijven zeggen ook dat toevoeging van RDU’s voor de decodefase de inferentiecapaciteit kan vergroten zonder te hoeven wachten op nieuwbouw, die wordt beperkt door stroom- en koelcapaciteit. Tegelijkertijd kan dit de gebruiksduur van reeds geïnstalleerde GPU’s verlengen. Het voorstel koppelt extra capaciteit dus aan de faciliteiten en GPU’s waar operators al over beschikken.

SambaNova en Supermicro verwachten dat de samenwerking in 2027 aanzienlijk meer capaciteit voor hoogwaardige inferentie mogelijk maakt dan anders haalbaar zou zijn. De betekenis van het plan ligt in de combinatie van hardware die specifiek is ontworpen voor de decodefase en het implementatiekanaal van Supermicro. Voor operators die te maken hebben met beperkingen op het gebied van stroomvoorziening en koeling, blijft de vraag of de geplande RDU-installaties binnen bestaande faciliteiten de nuttige inferentiecapaciteit kunnen toevoegen op de schaal die de bedrijven voorzien.