Supermicro skal bygge og selge AI-inferenssystemer drevet av SambaNova

SambaNova og Supermicro kunngjorde 3. november 2026 at Supermicro skal bygge, selge og støtte AI-inferenssystemer som fordeler arbeidet mellom NVIDIA-GPU-er og SambaNovas SN50-enheter for rekonfigurerbar dataflyt. Samarbeidet planlegger i første omgang å ta i bruk 10 000 SN50-brikker.

Systemene skal inngå i Supermicros portefølje Data Center Building Block Solutions. Supermicro skal integrere, teste, levere og støtte dem, inkludert med service på stedet, mens SambaNovas ingeniører skal få modellene til å kjøre på SN50, finjustere dem og bistå med kundeutrullinger. Samarbeidet kombinerer dermed en kanal for serverproduksjon og service med modellutviklingsarbeidet som kreves for utrulling av en heterogen akseleratorløsning.

Hvorfor inferens fordeles mellom GPU-er og RDU-er

Arkitekturen deler inferens i to faser. Under prefill behandler NVIDIA-GPU-er den innkommende prompten, en beregningsintensiv oppgave. SN50-RDU-er håndterer dekoding, som genererer svaret ett token om gangen og er minneintensiv. SambaNova sier at det å tilordne hver fase til egnet maskinvare gir raskere og mer effektiv inferens enn hver av maskinvaretypene alene.

SambaNovas tilhørende kunngjøring løfter agentbasert AI fram som det sentrale bruksområdet: Agenter kan gjøre tusenvis av kall til store språkmodeller, hvert kall kan ta flere minutter, og agentbaserte arbeidsbelastninger bruker mesteparten av tiden på dekoding. Dermed blir genereringen av hvert token avgjørende for hva agenten gjør som neste handling. Selskapene behandler derfor dekoding som et eget infrastrukturproblem, der flere RDU-er skal gjøre svarene raskere, mens GPU-ene fortsatt håndterer promptbehandlingen.

Innsiden av SN50-designet

SN50 er SambaNovas femte generasjon RDU. I det offisielle databladet oppgis det at brikken produseres med en 5-nanometersprosess fra TSMC, har 432 MB SRAM på brikken og 64 GB HBM2E, mens DDR5 utgjør det tredje minnenivået. Brikken bruker SambaNovas arkitektur for rekonfigurerbar dataflyt og er utviklet for den minneintensive dekodingsfasen, ikke for generelle akseleratorarbeidsbelastninger.

I SambaNovas produktdokumentasjon tilskrives designet raskere inferens, bedre gjennomstrømning og høyere energieffektivitet. Operasjonene kobles sammen i en kontinuerlig dataflyt, noe som reduserer gjentatte minneoverføringer og merarbeidet med å starte arbeidet på nytt i hvert trinn. De ulike minnenivåene har også separate oppgaver: SRAM lagrer ofte brukte lokale data nær beregningsenhetene, HBM2E lagrer aktive modellvekter og ofte brukt KV-hurtigbuffer, og DDR5 rommer hurtigbuffere for promptdata, større modellutvalg og lite brukte KV-data.

SambaNova sier at SN50 kan skaleres til opptil 256 RDU-er fordelt på flere rack, og er utviklet for interaktive agenter, kodeassistenter og andre inferensarbeidsbelastninger med flere trinn, også applikasjoner som bytter mellom flere modeller. Designet for flere rack samsvarer med samarbeidets plan om utrulling på racknivå, der Supermicro skal integrere RDU-er og GPU-er i systemer som selskapet skal validere og støtte.

Utrulling gjennom salgskanaler og begrensninger i datasentre

Kunder skal kunne kjøpe SN50-RDU-er sammen med GPU-er gjennom Supermicro, via samme salgskanal som resten av AI-infrastrukturen deres. Utrullingen begynner med NeoClouds og suverene skyer før den utvides til virksomheter som kjører AI i egne datasentre. Denne trinnvise tilnærmingen starter med skyleverandører og bringer senere den samme kombinerte GPU-RDU-arkitekturen inn i virksomhetenes egne datasentre.

Strømforsyning og kjøling står sentralt i begrunnelsen for utrullingen. Selskapene sier at SN50 kan kjøre store modeller med høy hastighet og gjennomstrømning uten ekstrem effekttetthet i rackene, noe som gjør systemene enklere å ta i bruk i eksisterende datasentre. Denne strømprofilen støtter samarbeidets argument for ettermontering: RDU-ene skal tilføre kapasitet i anleggene operatørene allerede driver.

Selskapene sier også at RDU-er for dekoding kan øke inferenskapasiteten uten at man må vente på nybygg som begrenses av strømforsyning og kjøling, samtidig som levetiden til installerte GPU-er forlenges. Forslaget knytter dermed økt kapasitet til anleggene og GPU-ene operatørene allerede har.

SambaNova og Supermicro forventer at samarbeidet skal gjøre det mulig å tilby betydelig større inferenskapasitet med høy ytelse i 2027 enn det ellers ville vært mulig. Planens betydning ligger i kombinasjonen av maskinvare spesialutviklet for dekoding og Supermicros utrullingskanal. For operatører som møter begrensninger knyttet til strømforsyning og kjøling, er det fortsatt et åpent spørsmål om de planlagte RDU-installasjonene kan øke inferenskapasiteten i eksisterende anlegg i det omfanget selskapene anslår.