D-Matrix lansează clustere de inferență IA Squadron cu mai multe rackuri

d-Matrix a anunțat Squadron, o flotă de sisteme cu mai multe rackuri pentru inferență IA la scară de centru de date, pe 12 octombrie 2026. Fondatorul și directorul general Sid Sheth a prezentat clusterele în discursul principal din prima zi a OCP Global Summit, la San Jose. Clusterele pot ajunge la 16 SquadRack-uri și până la 1.024 de XPU-uri Corsair, iar sistemele sunt livrate clienților prioritari.

Squadron a fost dezvoltat în parteneriat cu Arista, Broadcom și Supermicro. d-Matrix a instalat deja sistemul în centrul său de date din Arizona, pentru activități interne de cercetare și dezvoltare, iar clusterele sunt livrate clienților prioritari, care le vor instala în propriile centre de date. Componentele de bază ale Squadron — serverele Corsair și sistemele SquadRack la scară de rack ale companiei — sunt disponibile pe scară largă. d-Matrix descrie Squadron ca oferind o capacitate de calcul pentru inferență de ordinul megawaților și a declarat că aceste clustere sunt destinate laboratoarelor de IA, companiilor și organizațiilor suverane care rulează aplicații sensibile la latență, precum cele pentru programare, agenți personali, securitate cibernetică și tranzacționare de înaltă frecvență.

Sheth a prezentat lansarea ca pe o evoluție a d-Matrix, de la o companie specializată în cipuri la o afacere de infrastructură de calcul pentru centre de date. „Clienții au acum acces la cea mai eficientă infrastructură de inferență la scară de centru de date disponibilă în lume, pentru a-și dezvolta și extinde aplicațiile de IA cu latență ultra-redusă”, a declarat el în anunțul companiei.

Președintele și directorul general al Supermicro, Charles Liang, a declarat că această colaborare demonstrează capacitatea Supermicro de a furniza tehnologii de IA prin programul Data Center Building Block Solutions, permițând clienților să implementeze o infrastructură de inferență eficientă și de înaltă performanță, cu un timp mai scurt până la punerea online, pentru sarcini de lucru avansate de IA și medii de calcul eterogene.

Configurații de rack și interconectare bazată pe standarde deschise

Squadron este disponibil într-o varietate de configurații, care pot ajunge la 16 SquadRack-uri, fiecare fiind un singur rack cu opt servere, reunite într-un cluster integrat cu până la 1.024 de XPU-uri Corsair. Clusterele sunt interconectate prin plăcile de rețea JetStream de la d-Matrix și sunt livrate cu software-ul Aviator al companiei. Deoarece sistemele sunt răcite cu aer și construite pe baza standardelor din industrie, d-Matrix a declarat că clienții le pot instala în centrele de date pe care le operează deja, fără răcire cu lichid sau construcții noi. Clienții pot implementa un singur server Corsair, un SquadRack complet sau un cluster Squadron cu mai multe rackuri, toate bazate pe aceeași arhitectură.

Pagina de produs pentru sistemele la scară de rack a companiei prezintă patru configurații de referință. Rackul de pornire cu un singur server include opt plăci, cu 16 GB de memorie de performanță, la 1.200 TB/s, până la 2 TB de memorie de capacitate și un consum de energie sub 10 kW. Rackul de pornire cu două servere folosește două servere și 16 plăci, cu 32 GB de memorie de performanță; puterea nominală este de 10–30 kW, iar extinderea orizontală se face prin Ethernet, folosind JetStream. Rackul pe jumătate, cu mai multe servere, folosește patru servere și 32 de plăci, cu 64 GB de memorie de performanță, și are o putere nominală de 30–100 kW. Rackul complet, pregătit pentru întreprinderi, folosește opt servere și 64 de plăci, cu 128 GB de memorie de performanță, și rulează în modul de performanță modele cu până la 100 de miliarde de parametri.

Pentru interconectare, d-Matrix folosește PCIe pentru scalarea pe verticală în cadrul unui singur nod și Ethernet bazat pe standarde din industrie pentru scalarea pe verticală în interiorul unui rack și scalarea pe orizontală între rackuri. Compania este membră a consorțiilor industriale UALink și UEC, care lucrează la standarde de generație următoare pentru scalare pe verticală și pe orizontală.

Context despre SquadRack și platforma Corsair

Squadron extinde linia de sisteme la scară de rack pe care d-Matrix a prezentat-o inițial sub numele SquadRack pe 14 octombrie 2025, la ediția precedentă a OCP Global Summit, din nou alături de Arista, Broadcom și Supermicro. La acel eveniment, d-Matrix a descris SquadRack drept prima soluție din industrie la scară de rack concepută special pentru inferență IA și a declarat că oferă un raport cost-performanță de până la trei ori mai bun, o eficiență energetică de trei ori mai mare și o generare a tokenurilor de până la zece ori mai rapidă decât acceleratoarele tradiționale.

Potrivit anunțului din 2025, un SquadRack cu opt noduri rulează modele de IA generativă cu până la 100 de miliarde de parametri, iar Ethernetul bazat pe standarde permite extinderea orizontală la sute de noduri în mai multe rackuri. Printre componentele enumerate se numără acceleratoarele de inferență Corsair, acceleratoarele de intrare/ieșire JetStream IO, platforma de servere de IA X14 de la Supermicro, comutatoarele PCIe Broadcom pentru scalarea pe verticală în interiorul unui nod, comutatoarele Ethernet Arista Leaf conectate la plăcile de rețea JetStream și stiva software Aviator.

Platforma Corsair, aflată în centrul ambelor sisteme, folosește un design bazat pe chipleturi, conceput pentru a extinde capacitatea SRAM dincolo de limitele tradiționale, se integrează în infrastructura existentă bazată pe PCIe și acceptă modele cu până la 100 de miliarde de parametri. Designul 3DIMC de la d-Matrix suprapune DRAM direct pe matrița logică, iar stiva software Aviator este proiectată împreună cu hardware-ul, de la compilator până la execuție.

Demonstrație de dezagregare a atenției și a rețelei FFN

În timpul discursului principal, Sheth a dezvăluit și că d-Matrix a implementat dezagregarea atenției și a rețelei feed-forward (AFD), folosind un sistem Squadron împreună cu servere GPU. Compania a raportat că transferarea experților modelului și a rețelei feed-forward către rackurile Corsair a produs 845 de tokenuri pe secundă per utilizator și că această configurație eterogenă a atins un debit total de 20.415 tokenuri pe secundă, cu 64 de utilizatori simultani. d-Matrix a declarat că este prima companie care demonstrează rularea AFD pe siliciu real, disponibil în prezent.

O postare tehnică însoțitoare, publicată la 12 octombrie 2026, descrie configurația testului. Sarcina de lucru este GPT-OSS-20B, un model cu amestec de experți, în care experții reprezintă 19,12 miliarde din totalul de 20,9 miliarde de parametri; la fiecare inferență sunt activi patru dintre cei 32 de experți, adică aproximativ 3,6 miliarde de parametri. La o precizie de patru biți, acești experți încap pe un server Corsair cu opt plăci și 16 GB de SRAM. Un GPU Nvidia H100 de 80 GB gestionează mecanismul de atenție, încorporările, memoria cache KV și rutarea către experți, în timp ce Corsair execută calculele experților; la o dimensiune a lotului de 64, două GPU-uri H100 partajează opt acceleratoare Corsair.

d-Matrix a declarat că memoria SRAM a Corsair oferă o lățime de bandă de 150 TB/s, despre care compania spune că este de 45 de ori mai mare decât lățimea de bandă HBM3 a unui H100 și de aproximativ nouă ori mai mare decât cei 18 TB/s oferiți de HBM4. Compania a raportat că mutarea calculelor rețelei feed-forward pe Corsair a redus timpul per token de ieșire de la 2,59 milisecunde, cât înregistra un singur H100 la o lungime a contextului de 1K, la 1,28 milisecunde, o reducere de aproximativ 50%.

Postarea descrie 24 de transferuri dus-întors între GPU și Corsair pentru cele 24 de straturi ale modelului, plus încă unul pentru capul LM; GPU-ul trimite un vector de stare ascunsă cu 2.880 de dimensiuni și alocările către experții țintă prin conexiuni JetStream, care asigură o lățime de bandă Ethernet de 400 Gb/s per cluster. Comunicarea inițiată de dispozitiv în JetStream permite GPU-ului să scrie direct în memoria Corsair, iar Corsair să trimită rezultatele înapoi fără implicarea procesorului gazdă. Fiecare placă Corsair găzduiește o partiție a capului LM, o configurație despre care d-Matrix a declarat că a redus de zece ori timpul de procesare al capului LM.

Compania a declarat că, la o dimensiune a lotului de 64, sistemul finalizează un pas complet de decodare pentru 64 de utilizatori în 2,46 milisecunde, la o lungime a contextului de 129. d-Matrix a mai spus că Corsair poate scala configurațiile de decodare speculativă și AFD pentru modele cu sute de miliarde de parametri, menționând GLM 5.x și Kimi K3 drept modele vizate.

Cercetătorii d-Matrix vor prezenta demonstrația AFD în direct la standul C82 al companiei, în cadrul OCP, pe 14 octombrie 2026, la orele 11:00 și 14:00 PT, și pe 15 octombrie 2026, la ora 11:00 PT.