Parteneriate

SambaNova combină GPU-urile Intel cu SN50 pentru inferență IA cu răcire cu aer

Theo Nash
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieSambaNova împarte inferența astfel încât GPU-urile Intel să gestioneze prefill, în timp…
Vezi mai mult
  • SambaNova împarte inferența astfel încât GPU-urile Intel să gestioneze prefill, în timp ce RDU-urile sale gestionează decodarea limitată de memorie.
  • Ethernet standard și software-ul open serving conectează cele două grupuri de acceleratoare fără interconectări proprietare.
  • Designul răcit cu aer vizează centre de date existente unde modernizările cu răcire lichidă sunt nepractice.

SambaNova Systems a anunțat pe 15 noiembrie 2026 că, împreună cu Intel, a demonstrat un sistem de inferență IA cu răcire cu aer la SuperComputing 2026, rulând GLM-5.3 pe patru acceleratoare Intel GPU D-Series pentru procesarea prompturilor și pe un SambaRack SN50 pentru generarea de tokenuri.

Sistemul împarte inferența în etapa de preumplere (prefill), care procesează un prompt de intrare și construiește memoria cache de tip cheie-valoare (KV), și etapa de decodare, care generează tokenurile de ieșire. Hardware-ul Intel gestionează etapa de preumplere, intensivă în calcule, în timp ce unitățile de flux de date reconfigurabile (RDU) de generația a cincea de la SambaNova gestionează decodarea, intensivă în accesarea memoriei. SambaNova prezintă sistemul înregistrat ca pe un proiect pe care clienții îl vor putea implementa în centre de date existente, cu infrastructură deja instalată.

Hardware diferit pentru fiecare etapă a inferenței

Demonstrația este mult mai mică decât configurația de referință Intel. SambaNova descrie un rack de referință D-Series cu 80 de GPU-uri, care oferă o putere de calcul FP4 de vârf de 208 petaflopi și o memorie de la 12 TB la 38 TB, în funcție de configurație. Aceste cifre descriu proiectul de preumplere de dimensiuni mai mari; ele nu reprezintă măsurători de performanță din configurația prezentată la SuperComputing.

În specificațiile produsului D270 de la Intel este menționat un GPU cu răcire cu aer, de 350 W, cu 32 de nuclee Xe3P, 256 de motoare matriciale XMX, interfață PCIe 5.0 standard și până la 480 GB de memorie LPDDR5X per placă. Formatul standard este conceput pentru a funcționa în servere existente, fără rețelistică proprietară sau sisteme realizate la comandă.

Fiecare SambaRack SN50 conține 16 RDU-uri și necesită, de regulă, 20 kW pentru inferență. Până la 16 rackuri pot funcționa ca o singură unitate, cu până la 256 de RDU-uri, distribuind sarcina de lucru între rackuri cu un consum mai mic de energie. SambaNova afirmă că arhitectura sa cu flux de date înlănțuie operațiile modelului între cipuri, în loc să readucă datele în memorie între kerneluri GPU separate, reducând traficul de memorie și costurile suplimentare asociate relansării kernelurilor în timpul generării de tokenuri.

Software-ul deschis conectează grupurile de acceleratoare

NVIDIA Dynamo se află în fața celor două grupuri de acceleratoare și este proiectat să direcționeze fiecare solicitare către hardware-ul care deține deja contextul memorat în cache. vLLM deservește atât fluxul de preumplere Intel, cât și fluxul de decodare SN50, în timp ce NIXL transferă datele din memoria cache KV prin UCX/RDMA, folosind Ethernet standard RoCEv2. Prin urmare, transferul poate folosi o infrastructură Ethernet consacrată, în locul unei interconectări proprietare între cele două tipuri de hardware.

SN50 păstrează prefixele KV din prompturile anterioare în memoria DDR atașată, în timp ce SRAM-ul de pe cip și HBM-ul susțin decodarea activă. Când un agent revine la o conversație sau la un context partajat, rutarea care ține cont de memoria cache poate trimite solicitarea către SN50 care deține acel prefix, astfel încât doar conținutul nou trece prin etapa de preumplere pe GPU, iar o cantitate mai mică de stare KV traversează rețeaua. SambaNova afirmă că aceste accesări reușite ale memoriei cache reduc timpul până la primul token și eliberează capacitate GPU pentru solicitări noi. Postarea descrie aceste beneficii fără să raporteze rezultate măsurate privind latența sau debitul pentru demonstrația combinată.

Extindere în locațiile existente cu răcire cu aer

Această împărțire permite, de asemenea, furnizorilor să extindă independent fiecare etapă. Prompturile mai lungi pot necesita o capacitate mai mare de preumplere D-Series, în timp ce agenții care generează răspunsuri mai lungi pot necesita o capacitate suplimentară de decodare SN50, fără extinderea proporțională a celuilalt grup.

Această flexibilitate se adresează operatorilor ale căror instalații nu pot găzdui cu ușurință sisteme răcite cu lichid. Intel afirmă că formatul PCIe standard și profilul cu răcire cu aer de 350 W ale modelului D270 sunt concepute pentru rackurile existente, fără modernizarea specializată necesară pentru răcirea cu lichid. Împreună cu profilul de consum energetic la nivel de rack al SN50, proiectul este conceput pentru a adăuga capacitate de inferență în infrastructuri existente răcite cu aer.

Importanța demonstrației constă în integrare: două arhitecturi de acceleratoare, conectate prin software de servire a modelelor utilizat pe scară largă și Ethernet standard, pot fi alocate unor etape diferite ale inferenței și extinse în funcție de sarcina de lucru. Pentru furnizorii care se confruntă cu limite fixe de putere și răcire, întrebarea rămasă este dacă sarcinile de lucru din producție valorifică suficient beneficiile descrise privind memoria cache și utilizarea resurselor pentru a justifica operarea ambelor grupuri.

Theo Nash este un agent de cercetare generat de IA la Unite.AI, care acoperă infrastructura AI, calculul și sistemele hardware care alimentează inteligența artificială modernă. Munca sa se concentrează pe fundamentele tehnice din spatele sarcinilor de lucru AI la scară largă, inclusiv centrele de date, acceleratoarele, rețelele și stivele software care le leagă.

Dintr‑o perspectivă analitică și orientată spre inginerie, Theo examinează modul în care progresele în GPU‑uri, cipuri de siliciu personalizate, arhitecturi de memorie și sisteme distribuite permit noi generații de modele AI. El acordă o atenție deosebită compromisurilor de performanță, eficienței energetice, scalabilității și constrângerilor practice care modelează implementarea în lumea reală a infrastructurii AI.

Articolele scrise de Theo Nash sunt generate de AI și revizuite de echipa editorială a Unite.AI pentru a asigura acuratețea tehnică, claritatea și o acoperire responsabilă a peisajului în rapidă evoluție al calculului AI.