Supermicro bude vyrábět a prodávat systémy pro inferenci AI založené na technologii SambaNova

Společnosti SambaNova a Supermicro oznámily 3. listopadu 2026, že Supermicro bude vyrábět, prodávat a podporovat systémy pro inferenci AI, které rozdělují práci mezi GPU NVIDIA a rekonfigurovatelné datové jednotky SN50 od SambaNova. V rámci spolupráce se zpočátku počítá s 10 000 čipy SN50.

Tyto systémy se stanou součástí portfolia Data Center Building Block Solutions společnosti Supermicro. Supermicro je bude integrovat, testovat, dodávat a podporovat, včetně servisu přímo na místě, zatímco inženýři SambaNova zajistí zprovoznění a vyladění modelů na SN50 a budou pomáhat s nasazováním u zákazníků. Toto uspořádání tak propojuje výrobní a servisní zázemí pro servery s technickou prací na modelech, kterou vyžaduje nasazení různých typů akcelerátorů.

Proč se inference rozděluje mezi GPU a RDU

Architektura rozděluje inferenci do dvou fází. Během fáze předvyplnění zpracovávají GPU NVIDIA vstupní prompt, což je úloha náročná na výpočetní výkon. Dekódování, při němž se odpověď generuje po jednom tokenu a které je náročné na paměť, zajišťují jednotky RDU SN50. SambaNova uvádí, že přiřazení každé fáze vhodnému hardwaru umožňuje dosáhnout rychlejší a efektivnější inference, než jakou nabízí kterýkoli z těchto typů hardwaru samostatně.

Doprovodné oznámení společnosti SambaNova staví do centra pozornosti agentní AI: agenti mohou provádět tisíce volání velkých jazykových modelů, každé volání může trvat několik minut a agentní úlohy tráví většinu času dekódováním. Generování tokenů se tak stává kritickou součástí procesu, na níž závisí další krok agenta. Společnosti proto považují dekódování za samostatný infrastrukturní problém: další jednotky RDU mají urychlit tvorbu odpovědí, zatímco GPU budou nadále zpracovávat prompty.

Konstrukce SN50 podrobněji

SN50 je RDU páté generace od SambaNova. Oficiální technický list uvádí výrobní proces TSMC s technologií 5 nm, 432 MB integrované paměti SRAM a 64 GB paměti HBM2E; třetí paměťovou vrstvu tvoří DDR5. Čip využívá architekturu Reconfigurable Dataflow Architecture společnosti SambaNova a je navržen pro fázi dekódování náročnou na paměť, nikoli pro obecné úlohy akcelerátorů.

Produktová dokumentace společnosti SambaNova připisuje této konstrukci rychlejší inferenci, vyšší propustnost a lepší energetickou účinnost. Operace jsou řetězeny do nepřetržitého toku dat, což omezuje opakované přenosy dat mezi paměťovými úrovněmi i režii spojenou s opětovným spouštěním úloh v každé fázi. Jednotlivé paměťové úrovně mají také odlišné úlohy: SRAM uchovává často používaná lokální data v blízkosti výpočetních jednotek, HBM2E obsahuje aktivní váhy modelů a často používanou mezipaměť KV a DDR5 slouží pro mezipaměti promptů, rozsáhlejší fondy modelů a málo používanou mezipaměť KV.

SambaNova uvádí, že SN50 lze škálovat až na 256 jednotek RDU v několika rackových skříních a že je navržena pro interaktivní agenty, asistenty pro programování a další vícekrokové úlohy inference, včetně aplikací, které přepínají mezi několika modely. Návrh pro více rackových skříní odpovídá plánu spolupráce na úrovni racků: Supermicro bude do systémů integrovat RDU a GPU a zajistí jejich ověření i podporu.

Uvedení prostřednictvím prodejního kanálu a omezení datových center

Zákazníci si budou moci prostřednictvím Supermicro pořizovat jednotky RDU SN50 společně s GPU a využívat stejný prodejní kanál jako u zbytku své infrastruktury pro AI. Uvedení začne u poskytovatelů NeoCloud a suverénních cloudů a poté se rozšíří na podniky, které provozují AI ve vlastních datových centrech. Tento postup po etapách začíná u provozovatelů cloudů a následně přinese stejnou kombinovanou architekturu GPU a RDU do podnikových zařízení.

Spotřeba energie a chlazení jsou pro zamýšlené nasazení zásadní. Společnosti uvádějí, že SN50 dokáže obsluhovat rozsáhlé modely vysokou rychlostí a s vysokou propustností, aniž by vyžadovala mimořádně vysokou hustotu příkonu v racku, což usnadňuje nasazení systémů ve stávajících datových centrech. Takový profil spotřeby podporuje záměr spolupráce využít stávající infrastrukturu: jednotky RDU mají přidat kapacitu do zařízení, která už provozovatelé používají.

Společnosti také uvádějí, že přidání jednotek RDU pro dekódování může zvýšit kapacitu inference bez čekání na novou výstavbu, kterou omezují dostupný příkon a možnosti chlazení, a zároveň prodloužit užitečnou životnost nainstalovaných GPU. Návrh tak spojuje rozšíření kapacity s využitím zařízení a GPU, které už provozovatelé mají.

SambaNova a Supermicro očekávají, že díky spolupráci bude v roce 2027 k dispozici podstatně větší kapacita pro vysoce výkonnou inferenci, než by jinak bylo možné. Význam plánu spočívá v propojení hardwaru určeného speciálně pro dekódování s distribučním a servisním kanálem Supermicro. Pro provozovatele, které omezují možnosti napájení a chlazení, zůstává otevřenou otázkou, zda plánované instalace jednotek RDU dokážou ve stávajících zařízeních zvýšit využitelnou kapacitu inference v rozsahu, který společnosti předpokládají.