Supermicro ska bygga och sälja AI-inferenssystem baserade på SambaNova

SambaNova och Supermicro meddelade den 3 november 2026 att Supermicro ska bygga, sälja och supportera AI-inferenssystem som fördelar arbetet mellan NVIDIA-GPU:er och SambaNovas SN50-enheter för omkonfigurerbart dataflöde. Samarbetet omfattar inledningsvis planering för 10 000 SN50-chip.

Systemen ska ingå i Supermicros portfölj Data Center Building Block Solutions. Supermicro ska integrera, testa, leverera och supportera dem, inklusive service på plats, medan SambaNovas ingenjörer ska få modeller att köras på SN50 och finjustera dem samt hjälpa till med kundernas driftsättningar. Upplägget förenar därmed en kanal för servertillverkning och service med det modellutvecklingsarbete som krävs för att driftsätta en heterogen acceleratorlösning.

Därför delas inferensarbetet upp mellan GPU:er och RDU:er

Arkitekturen delar upp inferensen i två faser. Under prefill bearbetar NVIDIA-GPU:er den inkommande prompten, en beräkningsintensiv uppgift. SN50-RDU:er hanterar avkodningen, där svaret genereras en token i taget och arbetet begränsas av minnesåtkomsten. SambaNova uppger att inferensen blir snabbare och effektivare när varje fas tilldelas lämplig maskinvara än när någon av maskinvarutyperna används ensam.

I SambaNovas tillhörande tillkännagivande står agentisk AI i centrum: agenter kan göra tusentals anrop till stora språkmodeller, varje anrop kan ta flera minuter och agentiska arbetsbelastningar tillbringar större delen av tiden i avkodningsfasen. Därmed blir genereringen av token avgörande för agentens nästa åtgärd. Företagen behandlar därför avkodning som ett separat infrastrukturproblem. Ytterligare RDU:er ska snabba upp svaren samtidigt som GPU:erna fortsätter att hantera promptbearbetningen.

Så är SN50 konstruerad

SN50 är SambaNovas RDU av femte generationen. I det officiella databladet anges att den tillverkas med TSMC:s 5-nanometersteknik och har 432 MB SRAM på chipet samt 64 GB HBM2E, medan DDR5 utgör det tredje minneslagret. Kretsen använder SambaNovas Reconfigurable Dataflow Architecture och är utformad för den minnesbegränsade avkodningsfasen, inte för generella acceleratorarbetsbelastningar.

SambaNova anger i produktdokumentationen att konstruktionen ger snabbare inferens, högre genomströmning och bättre energieffektivitet. Operationerna länkas samman i ett kontinuerligt dataflöde, vilket minskar upprepade minnesöverföringar och omkostnaderna för att starta om arbetet i varje steg. Minneslagren har också skilda uppgifter: SRAM lagrar ofta använda lokala data nära beräkningsenheten, HBM2E lagrar aktiva modellvikter och en varm KV-cache, och DDR5 rymmer promptcachar, större modellpooler och en kall KV-cache.

Enligt SambaNova kan SN50 skalas till upp till 256 RDU:er fördelade på flera rack. Den är utformad för interaktiva agenter, kodningsassistenter och andra inferensarbetsbelastningar med flera steg, även sådana där flera modeller används omväxlande. Utformningen för flera rack passar samarbetets plan för racklösningar, där Supermicro integrerar RDU:er och GPU:er i system som företaget ska validera och supportera.

Lansering via försäljningskanaler och datacentralernas begränsningar

Kunder ska kunna köpa SN50-RDU:er tillsammans med GPU:er via Supermicro, genom samma kanal som övrig AI-infrastruktur. Lanseringen inleds hos NeoClouds och suveräna molnleverantörer innan den utvidgas till företag som kör AI i sina egna datacentraler. Den stegvisa lanseringen börjar alltså med molnoperatörer och för sedan in samma kombinerade GPU-RDU-arkitektur i företagens anläggningar.

Energiförbrukning och kylning är centrala faktorer för driftsättningen. Företagen uppger att SN50 kan köra stora modeller med hög hastighet och genomströmning utan extrem effekttäthet i racket, vilket gör systemen lättare att driftsätta i befintliga datacentraler. Den här effektnivån stöder samarbetets inriktning på eftermontering: RDU:erna ska tillföra kapacitet i anläggningar som operatörerna redan driver.

Företagen uppger också att RDU:er för avkodning kan öka inferenskapaciteten utan att man behöver invänta nybyggnation som begränsas av tillgången till el och kylning, samtidigt som de installerade GPU:ernas livslängd förlängs. Förslaget knyter därmed den tillkommande kapaciteten till de anläggningar och GPU:er som operatörerna redan har.

SambaNova och Supermicro räknar med att samarbetet ska möjliggöra betydligt större inferenskapacitet med hög prestanda under 2027 än vad som annars hade varit möjligt. Planens betydelse bygger på kombinationen av maskinvara särskilt utformad för avkodning och Supermicros kanal för driftsättning. För operatörer som begränsas av tillgången till el och kylning är den öppna frågan om de planerade RDU-installationerna kan tillföra användbar inferenskapacitet i befintliga anläggningar i den omfattning företagen räknar med.