Cornelis lansează CN6000: ce înseamnă rețelele 800G pentru IA și supercomputere

Cornelis a lansat CN6000, o familie de soluții de rețea de 800 de gigabiți, concepută pentru a reduce timpul în care acceleratoarele de IA și supercomputerele așteaptă date. Cifra centrală anunțată este impresionantă: până la 1,6 miliarde de mesaje pe secundă pe placa sa de rețea Omni-Path SuperNIC. Pentru a înțelege ce înseamnă acest lucru, trebuie însă să distingem între trei indicatori diferiți ai performanței rețelei: lățimea de bandă, rata mesajelor și latența.

Anunțul din 12 noiembrie prezintă atât adaptoare Omni-Path și Ethernet, cât și un switch Omni-Path. Cornelis spune că hardware-ul este disponibil pentru evaluare și pentru primele implementări, iar sistemele partenerilor sunt așteptate în primul trimestru al anului 2027.

Obiectivul comercial este simplu: procesoarele costisitoare produc mai mult lucru util atunci când rețeaua le poate ține pasul. Un GPU mai rapid contribuie prea puțin la scurtarea unei sarcini distribuite cât timp aceasta așteaptă ca o altă mașină să trimită un rezultat.

Ce înseamnă, de fapt, 800G și 1,6 miliarde de mesaje

Un cluster de IA este un grup de computere conectate care lucrează împreună. Rețeaua transportă totul, de la blocuri mari de date pentru modele până la mesaje mici de coordonare. Performanța sa are mai multe dimensiuni:

800G înseamnă 800 de gigabiți pe secundă. Împărțind la opt, obținem o valoare nominală de 100 de gigaocteți pe secundă, înainte de a lua în calcul suprasarcina protocolului și alte limitări practice. Aceasta descrie capacitatea de transport al datelor, nu viteza cu care un chatbot generează cuvinte.

Rata mesajelor măsoară un alt tip de blocaj. Trimiterea multor fragmente foarte mici de informații obligă adaptorul să proceseze numeroase operațiuni distincte, chiar dacă acestea nu ocupă întreaga lățime de bandă a legăturii. Fișa tehnică a produsului Omni-Path de la Cornelis precizează că rata de 1,6 miliarde de mesaje este bidirecțională. Este o capacitate agregată, nu o afirmație că o singură aplicație finalizează tot atâtea solicitări secvențiale în fiecare secundă.

Latența contează atunci când următorul calcul trebuie să aștepte un mesaj. În testul intern ping-pong al Cornelis, cu Intel MPI și mesaje de 8 octeți, latența raportată a fost de 0,95 microsecunde pentru CN6000, față de 1,2 microsecunde pentru NVIDIA InfiniBand XDR la 800G, adică aproximativ cu 21% mai mică. MPI, sau Message Passing Interface, este un standard prin care programele științifice paralele comunică.

Acest test măsoară un anumit schimb de mesaje mici. El nu demonstrează că o sesiune de antrenare, o simulare sau un serviciu de inferență se va încheia cu 21% mai repede. Rezultatul depinde de frecvența comunicării aplicației, de dimensiunea transferurilor, de congestie și de celelalte componente ale sistemului.

Explicații despre SuperNIC-uri, switch-uri și structuri de rețea

O placă de rețea, sau NIC, conectează un server la rețea. „SuperNIC” este termenul folosit de Cornelis pentru produsele sale: adaptoare specializate, de înaltă performanță. Un switch conectează legăturile serverelor și redirecționează datele între acestea. Ansamblul de adaptoare, switch-uri, legături și software de comunicații este numit, de obicei, o structură de rețea.

Această distincție este importantă atunci când se achiziționează un cluster. Instalarea unui adaptor performant nu modernizează automat fiecare switch, cablu sau cale software pe care o vor parcurge datele transmise.

CN6000 oferă două opțiuni de structură de rețea. Omni-Path este o interconectare concepută de Cornelis special pentru calculul paralel. Ethernet este o tehnologie de rețea folosită pe scară largă, bine cunoscută operatorilor de centre de date. Adaptorul Ethernet se adresează clienților care caută comunicații de înaltă performanță, păstrând în același timp infrastructura de comutare Ethernet compatibilă. InfiniBand, tehnologia folosită în comparația de performanță, este o altă structură de rețea specializată pentru calcul; switch-urile sale nu sunt interschimbabile cu cele Omni-Path.

Prin urmare, platforma CN6000 reprezintă o familie de componente și opțiuni de implementare, nu o garanție că orice combinație de echipamente de rețea va oferi același rezultat.

Cum transferă RoCE datele reducând solicitarea procesorului

Placa de rețea Ethernet SuperNIC implementează RoCEv2: Remote Direct Memory Access over Converged Ethernet, versiunea a doua. Ideea de bază, RDMA, permite hardware-ului de rețea să transfere date între regiuni de memorie autorizate de pe mașini diferite, fără ca procesorul gazdă să fie nevoit să copieze fiecare încărcătură utilă prin calea convențională de rețea.

Gândiți-vă la această tehnologie ca la organizarea unei livrări directe între două locații aprobate, în loc să cereți unui intermediar să primească și să copieze în mod repetat conținutul. Procesorul are în continuare de lucru pentru a stabili și gestiona comunicarea; avantajul constă în reducerea implicării sale în transferul propriu-zis al datelor.

Documentația NVIDIA despre RoCE explică faptul că versiunea a doua transportă traficul RDMA folosind antete IP și UDP, permițându-i să traverseze rețele IP rutate. Chiar și așa, implementarea eficientă depinde de configurarea rețelei și de comportamentul acesteia în condiții de congestie, nu doar de prezența unui conector Ethernet.

Fișa de produs Ethernet a Cornelis descrie descărcarea de sarcini către hardware, suportul pentru un număr mare de operațiuni simultane și controlul prioritar al fluxului (Priority Flow Control). Acest mecanism de control al fluxului poate suspenda anumite clase de trafic pentru a contribui la evitarea pierderii de pachete. Anunțul plasează suportul pentru Ultra Ethernet pe calea unei actualizări software; cumpărătorii ar trebui să distingă această capabilitate planificată de oferta inițială RoCEv2.

De ce trebuie să-și transfere memoria de lucru în inferența AI

Inferența AI este procesul prin care un model antrenat este folosit pentru a genera un răspuns. În cazul unui model lingvistic, aceasta include etapa de preumplere, în care este procesat promptul, și etapa de decodare, în care răspunsul este generat câte un token pe rând.

Unele sisteme de servire rulează aceste etape pe grupuri separate de procesoare, astfel încât fiecare grup să poată fi dimensionat în funcție de sarcina sa. Acest proces se numește inferență dezagregată. Separarea presupune un transfer intermediar: informațiile calculate în timpul procesării promptului trebuie să ajungă la procesoarele care generează răspunsul.

Printre aceste informații se numără memoria cache cheie-valoare, prescurtată de obicei KV cache. Aceasta stochează date intermediare despre atenție, astfel încât modelul să poată reutiliza operațiile efectuate anterior. Nu reprezintă nici totalitatea ponderilor modelului, nici pur și simplu o transcriere text salvată.

Documentația Dynamo de la NVIDIA descrie succesiunea: se procesează promptul, se transferă memoria sa KV cache, apoi se generează tokenuri pe lucrătorul de decodare. Transferurile mai rapide pot face această separare mai practică. Însă mutarea memoriei cache implică un efort suplimentar, așa că dezagregarea este utilă atunci când beneficiile de planificare și de hardware depășesc costul transferului intermediar.

Menținerea traficului în mișcare când legăturile sunt aglomerate

Pe Omni-Path, CN6000 folosește controlul fluxului bazat pe credite: emițătorul transmite în funcție de capacitatea disponibilă pe partea receptorului. Rutarea adaptivă poate distribui traficul pe căile disponibile, iar mai multe planuri de rețea asigură căi separate prin infrastructura de rețea.

Fișa Omni-Path descrie două căi de date independente de 400G, care oferă împreună o lățime de bandă agregată de 800G. Dacă unul dintre planuri necesită intervenții, celălalt poate rămâne disponibil, însă pierderea unei părți a rețelei nu permite păstrarea capacității integrale inițiale.

Platforma include, de asemenea, o rădăcină hardware de încredere, pornire securizată și atestarea dispozitivului. Acestea ajută la confirmarea faptului că firmware-ul și identitatea dispozitivului sunt de încredere. Utilizarea semnăturilor digitale postcuantice ține de autentificare și integritate; nu ar trebui interpretată ca o afirmație generală că fiecare încărcătură utilă transmisă prin rețea este criptată.

Întrebarea privind implementarea depășește viteza maximă

CN6000 continuă activitatea anterioară a Cornelis în domeniul rețelisticii scale-out, inclusiv extinderea colaborării cu AMD în domeniul calculului științific. Atractivitatea sa constă în combinarea interconexiunilor de înaltă performanță cu o gamă mai largă de procesoare și medii de rețea.

Pentru cumpărători, comparația relevantă ține de timpul și costul necesare pentru a finaliza propriile sarcini de lucru. O simulare care face schimb repetat de actualizări mici poate beneficia de latență mai mică și de rate mai mari ale mesajelor. Un serviciu care transferă memorii cache de mari dimensiuni poate pune mai mult preț pe viteza susținută de transfer și pe gestionarea congestiei. Ambele au nevoie de o infrastructură de rețea adecvată, de suport software funcțional și de configurații de servere validate.

Anunțul CN6000 adaugă o altă opțiune pentru construirea acestor sisteme. Valorile de vârf indică niște capabilități care merită testate; avantajul practic constă în menținerea unui volum mai mare de resurse de calcul în activitate în timpul rulării aplicațiilor reale.