Cornelis Memperkenalkan CN6000: Arti Jaringan 800G bagi AI dan Superkomputer

Cornelis memperkenalkan CN6000, keluarga jaringan 800 gigabit yang dirancang untuk mengurangi waktu akselerator AI dan superkomputer menunggu data. Klaim utamanya mencolok: hingga 1,6 miliar pesan per detik pada SuperNIC Omni-Path. Namun, untuk memahami artinya, kita perlu membedakan tiga ukuran kinerja jaringan: bandwidth, laju pesan, dan latensi.

Pengumuman pada 12 November memperkenalkan adapter Omni-Path dan Ethernet, serta switch Omni-Path. Cornelis menyatakan bahwa perangkat kerasnya tersedia untuk evaluasi dan penerapan awal, sementara sistem dari mitra diperkirakan hadir pada kuartal pertama 2027.

Tujuan komersialnya sederhana: prosesor mahal dapat menghasilkan lebih banyak pekerjaan yang bermanfaat jika jaringan mampu mengimbangi kinerjanya. GPU yang lebih cepat tidak banyak membantu mempersingkat pekerjaan terdistribusi jika pekerjaan itu harus menunggu hasil dari komputer lain.

Makna Sebenarnya dari 800G dan 1,6 Miliar Pesan

Klaster AI adalah sekumpulan komputer yang terhubung dan bekerja bersama. Jaringan membawa berbagai hal, mulai dari blok data model berukuran besar hingga pesan koordinasi berukuran kecil. Kinerjanya memiliki beberapa dimensi:

800G berarti 800 gigabit per detik. Jika dibagi delapan, hasilnya adalah 100 gigabita per detik secara nominal, sebelum memperhitungkan overhead protokol dan batasan praktis lainnya. Angka ini menggambarkan kapasitas untuk membawa data, bukan seberapa cepat chatbot menghasilkan kata-kata.

Laju pesan mengukur hambatan yang berbeda. Mengirim banyak potongan informasi berukuran sangat kecil mengharuskan adapter memproses banyak operasi terpisah, meskipun potongan-potongan itu tidak memenuhi kapasitas bandwidth tautan. Ringkasan produk Omni-Path dari Cornelis menyebutkan bahwa laju 1,6 miliar pesannya dihitung dua arah. Ini adalah kemampuan agregat, bukan klaim bahwa satu aplikasi menyelesaikan sebanyak itu permintaan berurutan setiap detik.

Latensi penting ketika perhitungan berikutnya harus menunggu pesan. Dalam pengujian ping-pong Intel MPI internal Cornelis dengan pesan 8 bita, latensi yang dilaporkan adalah 0,95 mikrodetik untuk CN6000, dibandingkan dengan 1,2 mikrodetik untuk NVIDIA InfiniBand XDR pada 800G, atau sekitar 21% lebih rendah. MPI, atau Message Passing Interface, adalah cara standar bagi program ilmiah paralel untuk berkomunikasi.

Pengujian itu mengukur pertukaran pesan kecil tertentu. Hasilnya tidak membuktikan bahwa proses pelatihan, simulasi, atau layanan inferensi akan selesai 21% lebih cepat. Hasilnya bergantung pada seberapa sering aplikasi berkomunikasi, ukuran transfer datanya, kemacetan jaringan, dan bagian sistem lainnya.

Penjelasan tentang SuperNIC, Switch, dan Infrastruktur Jaringan

Kartu antarmuka jaringan, atau NIC, menghubungkan server ke jaringan. “SuperNIC” adalah istilah produk Cornelis untuk adapter khusus berperforma tinggi. Switch menghubungkan tautan server tersebut dan meneruskan data di antaranya. Keseluruhan susunan adapter, switch, tautan, dan perangkat lunak komunikasi biasanya disebut infrastruktur jaringan.

Perbedaan ini penting saat membeli klaster. Memasang adapter yang mumpuni tidak otomatis meningkatkan kemampuan semua switch, kabel, atau jalur perangkat lunak yang akan dilalui lalu lintas datanya.

CN6000 menawarkan dua pilihan infrastruktur jaringan. Omni-Path adalah interkoneksi yang dirancang khusus oleh Cornelis untuk komputasi paralel. Ethernet adalah fondasi jaringan yang banyak digunakan dan sudah dikenal oleh operator pusat data. Adapter Ethernet ditujukan bagi pelanggan yang menginginkan komunikasi berperforma tinggi sekaligus mempertahankan infrastruktur switching Ethernet yang kompatibel. InfiniBand, teknologi yang digunakan dalam perbandingan tolok ukur, adalah infrastruktur komputasi khusus lainnya; switch-nya tidak dapat saling dipertukarkan dengan switch Omni-Path.

Platform CN6000 dengan demikian merupakan keluarga komponen dan pilihan penerapan, bukan jaminan bahwa kombinasi peralatan jaringan apa pun akan menghasilkan kinerja yang sama.

Cara RoCE Memindahkan Data dengan Beban Prosesor Lebih Rendah

SuperNIC Ethernet mengimplementasikan RoCEv2: Remote Direct Memory Access over Converged Ethernet, versi dua. Gagasan dasarnya, RDMA, memungkinkan perangkat keras jaringan memindahkan data di antara wilayah memori yang diizinkan pada mesin yang berbeda tanpa mengharuskan CPU host menyalin setiap muatan data melalui jalur jaringan konvensional.

Bayangkan pengaturan pengiriman langsung di antara dua lokasi yang telah disetujui, alih-alih meminta perantara berulang kali menerima dan menyalin isinya. CPU tetap harus bekerja untuk membangun dan mengelola komunikasi; manfaatnya adalah mengurangi keterlibatan CPU dalam proses pemindahan data itu sendiri.

Dokumentasi RoCE NVIDIA menjelaskan bahwa versi kedua membawa lalu lintas RDMA menggunakan header IP dan UDP, sehingga dapat melewati jaringan IP yang dirutekan. Penerapan yang efisien tetap bergantung pada konfigurasi jaringan dan perilaku kemacetan, bukan sekadar keberadaan konektor Ethernet.

Ringkasan produk Ethernet Cornelis menjelaskan offload perangkat keras, dukungan untuk banyak operasi yang berjalan secara bersamaan, serta Priority Flow Control. Mekanisme kontrol aliran ini dapat menghentikan sementara kelas lalu lintas tertentu untuk membantu mencegah hilangnya paket. Pengumuman tersebut menyatakan bahwa dukungan Ultra Ethernet akan tersedia melalui pembaruan perangkat lunak; pembeli sebaiknya membedakan kemampuan yang direncanakan ini dari penawaran awal RoCEv2.

Mengapa Inferensi AI Perlu Memindahkan Memori Kerjanya

Inferensi AI adalah proses menggunakan model terlatih untuk menghasilkan jawaban. Untuk model bahasa, proses ini mencakup prapengisian, yang memproses prompt, dan dekode, yang menghasilkan respons satu token setiap kali.

Sejumlah sistem penyajian menjalankan tahap-tahap tersebut pada kelompok prosesor yang terpisah agar setiap kelompok dapat disesuaikan dengan tugasnya. Proses ini disebut inferensi terdisagregasi. Pemisahan ini mengharuskan adanya serah terima: informasi yang dihitung saat membaca prompt harus dikirim ke prosesor yang menghasilkan jawaban.

Informasi tersebut mencakup cache key-value, yang biasanya disingkat menjadi cache KV. Cache ini menyimpan data perhatian antara agar model dapat menggunakan kembali pekerjaan sebelumnya. Cache ini bukan seluruh bobot model dan bukan pula sekadar transkrip teks yang disimpan.

Dokumentasi Dynamo NVIDIA menjelaskan urutannya: memproses prompt, mentransfer cache KV-nya, lalu menghasilkan token pada pekerja dekode. Transfer yang lebih cepat dapat membuat pemisahan tersebut lebih praktis. Namun, memindahkan cache menambah beban kerja tersendiri, sehingga disaggregasi bermanfaat jika keuntungan penjadwalan dan perangkat kerasnya lebih besar daripada biaya serah terima.

Menjaga Lalu Lintas Tetap Lancar Saat Tautan Sibuk

Pada Omni-Path, CN6000 menggunakan kontrol aliran berbasis kredit: pengirim mengirimkan data sesuai kapasitas yang tersedia di sisi penerima. Perutean adaptif dapat membagi lalu lintas ke jalur-jalur yang tersedia, sementara beberapa bidang jaringan menyediakan jalur terpisah melalui fabric.

Ringkasan Omni-Path menjelaskan adanya dua jalur data 400G yang terpisah dan bersama-sama menyediakan bandwidth agregat 800G. Jika salah satu bidang memerlukan pemeliharaan, bidang lainnya dapat tetap tersedia, meskipun hilangnya sebagian jaringan tidak mempertahankan kapasitas penuh seperti semula.

Platform ini juga dilengkapi akar kepercayaan perangkat keras, proses boot aman, dan pengesahan perangkat. Fitur-fitur ini membantu memastikan bahwa firmware dan identitas perangkat dapat dipercaya. Penggunaan tanda tangan digital pascakuantum berkaitan dengan autentikasi dan integritas; hal ini tidak boleh ditafsirkan sebagai klaim menyeluruh bahwa setiap muatan jaringan dienkripsi.

Pertimbangan Penerapan Tak Hanya Soal Kecepatan Puncak

CN6000 melanjutkan kiprah Cornelis sebelumnya dalam jaringan scale-out, termasuk perluasan kolaborasi dengan AMD untuk komputasi ilmiah. Daya tariknya terletak pada perpaduan interkoneksi berperforma tinggi dengan pilihan prosesor dan lingkungan jaringan yang lebih luas.

Bagi pembeli, perbandingan yang berguna adalah waktu dan biaya yang diperlukan untuk menyelesaikan beban kerja mereka sendiri. Simulasi yang berulang kali bertukar pembaruan kecil mungkin mendapat manfaat dari latensi yang lebih rendah dan laju pesan yang lebih tinggi. Layanan yang memindahkan cache berukuran besar mungkin lebih mementingkan kecepatan transfer berkelanjutan dan kemacetan. Keduanya memerlukan fabric yang sesuai, dukungan perangkat lunak yang berfungsi baik, serta konfigurasi server yang telah memenuhi kualifikasi.

Pengumuman CN6000 menambahkan satu opsi lagi untuk membangun sistem tersebut. Angka performa puncaknya menunjukkan kemampuan yang patut diuji; manfaat praktisnya adalah menjaga lebih banyak sumber daya komputasi tetap produktif saat aplikasi nyata dijalankan.