Supermicro va construi și va vinde sisteme de inferență IA bazate pe SambaNova

SambaNova și Supermicro au anunțat la 3 noiembrie 2026 că Supermicro va construi, va vinde și va asigura suportul pentru sisteme de inferență IA care împart sarcinile între GPU-urile NVIDIA și unitățile de flux de date reconfigurabil SN50 de la SambaNova. Colaborarea vizează inițial 10.000 de cipuri SN50.

Sistemele vor fi incluse în portofoliul Data Center Building Block Solutions al Supermicro. Supermicro le va integra, testa, livra și susține, inclusiv prin servicii la fața locului, în timp ce inginerii SambaNova vor configura și optimiza modelele pentru SN50 și vor oferi asistență la implementările pentru clienți. Astfel, acordul combină o rețea de producție și service pentru servere cu activitatea de inginerie a modelelor necesară implementării unor acceleratoare eterogene.

De ce inferența este împărțită între GPU-uri și RDU-uri

Arhitectura împarte inferența în două faze. În timpul fazei de preumplere, GPU-urile NVIDIA procesează promptul primit, o sarcină limitată de capacitatea de calcul. RDU-urile SN50 se ocupă de decodare, care generează răspunsul câte un token pe rând și este limitată de memorie. SambaNova afirmă că alocarea fiecărei faze unui hardware adecvat permite o inferență mai rapidă și mai eficientă decât ar putea oferi fiecare tip de hardware separat.

Anunțul care însoțește comunicatul SambaNova prezintă IA agentică drept principalul caz de utilizare: agenții pot efectua mii de apeluri către modele lingvistice mari, fiecare apel poate dura câteva minute, iar sarcinile de lucru agentice își petrec cea mai mare parte a timpului în faza de decodare. Astfel, generarea tokenurilor devine esențială pentru următoarea acțiune a unui agent. Prin urmare, companiile tratează decodarea ca pe o problemă distinctă de infrastructură, iar RDU-urile suplimentare sunt menite să accelereze răspunsurile, în timp ce GPU-urile continuă să proceseze prompturile.

În interiorul arhitecturii SN50

SN50 este RDU-ul de a cincea generație al SambaNova. Fișa tehnică oficială menționează un proces de fabricație TSMC de 5 nanometri, 432 MB de SRAM integrată pe cip și 64 GB de HBM2E, DDR5 asigurând al treilea nivel de memorie. Cipul folosește arhitectura Reconfigurable Dataflow Architecture a SambaNova și este conceput pentru faza de decodare, limitată de memorie, nu pentru sarcini generale de accelerare.

Documentația produsului SambaNova atribuie arhitecturii inferență mai rapidă, debit mai mare și eficiență energetică îmbunătățită. Operațiile sunt înlănțuite într-un flux continuu de date, ceea ce reduce transferurile repetate de memorie și costurile suplimentare asociate relansării sarcinilor la fiecare etapă. Nivelurile de memorie au și roluri distincte: SRAM păstrează datele locale utilizate frecvent aproape de unitățile de calcul, HBM2E stochează ponderile active ale modelului și memoria cache KV utilizată frecvent, iar DDR5 găzduiește cache-uri pentru prompturi, grupuri mai mari de modele și memoria cache KV accesată rar.

SambaNova afirmă că SN50 poate fi scalat la cel mult 256 de RDU-uri în mai multe rackuri și este proiectat pentru agenți interactivi, asistenți de programare și alte sarcini de inferență cu mai multe etape, inclusiv aplicații care comută între mai multe modele. Proiectarea pentru mai multe rackuri se aliniază planului colaborării de a implementa soluții la nivel de rack, Supermicro urmând să integreze RDU-uri și GPU-uri în sisteme pe care le va valida și susține.

Extinderea prin canale de vânzare și limitele centrelor de date

Clienții vor putea cumpăra RDU-uri SN50 alături de GPU-uri prin Supermicro, folosind același canal ca pentru restul infrastructurii lor de IA. Lansarea va începe cu furnizorii de servicii cloud de nouă generație și cloudurile suverane, înainte de extinderea către companiile care operează IA în propriile centre de date. Această abordare etapizată începe cu operatorii cloud, apoi aduce aceeași arhitectură combinată GPU-RDU în centrele de date ale companiilor.

Alimentarea cu energie și răcirea sunt esențiale pentru justificarea implementării. Companiile afirmă că SN50 poate rula modele mari la viteză și debit ridicate fără o densitate extremă de putere la nivel de rack, ceea ce facilitează implementarea sistemelor în centrele de date existente. Acest profil de consum susține argumentul colaborării în favoarea modernizării infrastructurii existente: RDU-urile sunt menite să adauge capacitate în centrele pe care operatorii le exploatează deja.

Companiile mai afirmă că adăugarea de RDU-uri pentru decodare poate crește capacitatea de inferență fără a aștepta construcții noi, limitate de disponibilitatea energiei și de capacitatea de răcire, prelungind totodată durata de viață utilă a GPU-urilor deja instalate. Prin urmare, propunerea leagă creșterea capacității de centrele de date și GPU-urile de care dispun deja operatorii.

SambaNova și Supermicro se așteaptă ca această colaborare să permită, în 2027, o capacitate de inferență de înaltă performanță substanțial mai mare decât ar fi posibilă în alte condiții. Importanța planului se bazează pe combinarea hardware-ului specializat pentru decodare cu rețeaua de implementare a Supermicro. Pentru operatorii care se confruntă cu limite de alimentare cu energie și de răcire, întrebarea rămasă este dacă instalările planificate de RDU-uri pot adăuga în centrele existente capacitatea de inferență utilă, la scara estimată de companii.