Supermicro bygger og sælger AI-inferenssystemer med SambaNova-teknologi

SambaNova og Supermicro annoncerede den 3. november 2026, at Supermicro vil bygge, sælge og yde support til AI-inferenssystemer, der fordeler arbejdet mellem NVIDIA-GPU’er og SambaNovas SN50-rekonfigurerbare dataflowenheder. Samarbejdet omfatter i første omgang planer om 10.000 SN50-chips.

Systemerne bliver en del af Supermicros portefølje Data Center Building Block Solutions. Supermicro vil integrere, teste, levere og yde support til dem, herunder service på stedet, mens SambaNovas ingeniører får modellerne til at køre på SN50, optimerer dem og hjælper med kundernes implementeringer. Aftalen kombinerer dermed en kanal for serverproduktion og -service med det modelingeniørarbejde, der kræves for at implementere en heterogen acceleratorløsning.

Derfor fordeles inferens mellem GPU’er og RDU’er

Arkitekturen opdeler inferens i to faser. Under præfyldningen behandler NVIDIA-GPU’er den indgående prompt, hvilket er en beregningsintensiv opgave. SN50-RDU’er håndterer dekodningen, hvor svaret genereres ét token ad gangen, og som er hukommelsesintensiv. SambaNova siger, at når hver fase tildeles hardware, der passer til opgaven, bliver inferensen hurtigere og mere effektiv, end hvis man kun bruger én af de to hardwaretyper.

SambaNovas tilhørende meddelelse fremhæver agentisk AI som det centrale anvendelsesområde: Agenter kan foretage tusindvis af kald til store sprogmodeller, hvert kald kan tage flere minutter, og agentiske arbejdsbelastninger bruger det meste af tiden på dekodning. Dermed bliver genereringen af tokens afgørende for, hvor hurtigt en agent kan udføre sin næste handling. Virksomhederne behandler derfor dekodning som et særskilt infrastrukturproblem. Flere RDU’er skal efter planen fremskynde svarene, mens GPU’erne fortsat behandler prompts.

Indblik i SN50-designet

SN50 er SambaNovas RDU af femte generation. Ifølge dets officielle datablad er chippen fremstillet med en 5-nanometerproces fra TSMC og har 432 MB SRAM på chippen samt 64 GB HBM2E, mens DDR5 udgør det tredje hukommelsesniveau. Chippen anvender SambaNovas Reconfigurable Dataflow Architecture og er designet til den hukommelsesintensive dekodningsfase snarere end generelle acceleratorarbejdsbelastninger.

SambaNovas produktdokumentation fremhæver hurtigere inferens, højere gennemløb og forbedret energieffektivitet som fordele ved designet. Operationerne kædes sammen i et kontinuerligt dataflow, hvilket reducerer gentagne dataoverførsler mellem hukommelse og den tid, der går med at genstarte arbejdet i hvert trin. Hukommelsesniveauerne har også hver deres funktion: SRAM lagrer hyppigt anvendte lokale data tæt på beregningsenhederne, HBM2E lagrer aktive modelvægte og en hyppigt anvendt KV-cache, og DDR5 håndterer promptcaches, større modelflåde og en mindre anvendt KV-cache.

SambaNova siger, at SN50 kan skaleres til op til 256 RDU’er fordelt på flere racks, og at den er udviklet til interaktive agenter, kodeassistenter og andre inferensarbejdsbelastninger i flere trin, herunder applikationer, der skifter mellem flere modeller. Designet til flere racks passer til samarbejdets plan om løsninger på rackniveau, hvor Supermicro integrerer RDU’er og GPU’er i systemer, som virksomheden vil validere og yde support til.

Udrulning gennem salgskanaler og datacentrenes begrænsninger

Kunder vil kunne købe SN50-RDU’er sammen med GPU’er gennem Supermicro via den samme salgskanal, som de bruger til resten af deres AI-infrastruktur. Udrulningen begynder hos NeoClouds og suveræne cloudtjenester, inden den udvides til virksomheder, der driver AI i deres egne datacentre. Den trinvise tilgang retter sig først mod cloudoperatører og bringer senere den samme kombinerede GPU-RDU-arkitektur ind i virksomheders egne faciliteter.

Strømforsyning og køling er afgørende for, at løsningen kan implementeres. Virksomhederne siger, at SN50 kan håndtere store modeller med høj hastighed og stort gennemløb uden ekstrem effekttæthed i rackene, hvilket gør systemerne lettere at installere i eksisterende datacentre. Denne strømprofil understøtter samarbejdets argument for eftermontering: RDU’erne skal tilføre kapacitet på de faciliteter, operatørerne allerede driver.

Virksomhederne siger også, at tilføjelse af RDU’er til dekodning kan øge inferenskapaciteten uden at vente på nybyggeri, der begrænses af strømforsyning og køling, samtidig med at levetiden for installerede GPU’er forlænges. Forslaget kobler dermed øget kapacitet til de faciliteter og GPU’er, operatørerne allerede har.

SambaNova og Supermicro forventer, at samarbejdet i 2027 vil muliggøre væsentligt større inferenskapacitet med høj ydeevne, end det ellers ville være muligt. Planens betydning bygger på kombinationen af hardware, der er særligt udviklet til dekodning, og Supermicros kanal for implementering. For operatører, der er begrænset af strømforsyning og køling, er det åbne spørgsmål, om de planlagte installationer af RDU’er kan øge den nyttige inferenskapacitet i eksisterende faciliteter i det omfang, virksomhederne forventer.