Rahasia di Balik Kecepatan AI yang Lebih Cepat Bukan Lebih Banyak GPU, Melainkan Jaringan yang Lebih Pintar

AI mendefinisikan kembali apa yang mungkin dilakukan di berbagai industri, termasuk kesehatan, keuangan, manufaktur, dan ritel. Namun, dengan potensi yang menjanjikan, juga membawa tuntutan infrastruktur yang besar.

Organisasi di seluruh dunia berinvestasi pada GPU dalam skala yang belum pernah terjadi sebelumnya untuk mempercepat pelatihan dan inferensi AI. Pada tahun 2028, Gartner memproyeksikan bahwa pengeluaran IT untuk AI generatif akan melebihi $1 triliun. Hyperion Research meramalkan bahwa pengeluaran pasar HPC secara keseluruhan akan melebihi $100 miliar pada waktu yang sama. Namun, meskipun berinvestasi pada akselerator canggih, banyak CIO terus melihat GPU yang menganggur, dengan utilitas yang melayang di sekitar 35% atau lebih rendah. Ini tidak hanya menghasilkan kinerja yang buruk, tetapi juga energi yang terbuang dan biaya yang membengkak.

Sementara banyak proyek AI macet, bukan karena mereka kekurangan GPU atau daya komputasi, tetapi karena jaringan tidak dapat mengimbangi, memerlukan pendekatan baru untuk merancang AI skala besar.

Biaya Tersembunyi dari Bottleneck Jaringan

Ketika jaringan tidak dapat memberikan data dengan cukup cepat untuk menjaga GPU tetap sibuk, organisasi mengalami beberapa dampak kritis:

• GPU dan CPU yang tidak termanfaatkan karena transfer data yang terhambat: GPU dirancang untuk komputasi paralel besar, tetapi mereka hanya dapat memproses data secepat data disampaikan. Jika jaringan tidak dapat mengimbangi, GPU menganggur menunggu data daripada menghitung angka. CPU juga dapat menganggur karena mereka mengkoordinasikan tugas dan memindahkan data melalui pipa, menghasilkan utilitas yang rendah meskipun ketersediaan perangkat keras yang mahal.
• Kinerja inferensi yang tidak konsisten dari jaringan yang tidak efisien: Inefisiensi jaringan menciptakan aliran data yang tidak rata, menyebabkan GPU berfluktuasi antara kecepatan penuh dan keadaan menganggur. Ini menghasilkan kinerja inferensi yang tidak dapat diprediksi yang dapat mematikan aplikasi AI dalam produksi.
• Siklus pelatihan yang lebih lama, menunda waktu-pasar: Pelatihan model AI memerlukan memindahkan dataset besar melintasi server, GPU, dan penyimpanan. Bottleneck jaringan menghambat proses ini, sehingga GPU menghabiskan waktu lebih sedikit untuk pelatihan dan lebih banyak waktu menunggu. Ini langsung memperlambat jadwal pengembangan dan penerapan produk.
• Biaya daya dan operasional yang meningkat: Bahkan ketika menganggur, GPU dan infrastruktur sekitarnya masih mengonsumsi daya yang signifikan. Jika GPU tidak termanfaatkan karena inefisiensi jaringan, organisasi membayar untuk penggunaan daya yang tinggi tanpa mendapatkan kinerja yang proporsional. Biaya operasional meningkat karena fasilitas harus mendukung beban puncak dan pendinginan, bahkan ketika throughput komputasi dibatasi secara artifisial.

Perusahaan dapat terus menuangkan uang ke dalam lebih banyak GPU, tetapi tanpa peningkatan jaringan yang tepat, mereka hanya akan memperburuk bottleneck dan inefisiensi ini.

Jaringan sebagai Akselerator: Perubahan Paradigma

Solusi ini memerlukan pemikiran ulang tentang arsitektur jaringan secara keseluruhan. Memperkenalkan model yang menggunakan jaringan sebagai akselerator membalikkan cara berpikir tentang kinerja HPC dan AI untuk membuka kemampuan baru.

Daripada fokus utama pada menambahkan komputasi melalui GPU dan CPU, pendekatan “jaringan sebagai akselerator” memperlakukan jaringan sebagai pengganda kinerja. Sebagai hasilnya, jaringan dapat lebih baik mendukung komputasi dengan kepadatan tinggi dan mempercepat ROI dengan menghilangkan bottleneck, menskalakan untuk memenuhi tuntutan komputasi, dan mengoptimalkan investasi perangkat keras. Dengan memungkinkan komputasi yang lebih besar tanpa perlambatan, organisasi dapat menjalankan beban kerja yang lebih besar dalam ruang yang lebih kecil, mendapatkan hasil lebih cepat, dan menghindari pemborosan pada perangkat keras tambahan.

Bagaimana Model ‘Jaringan sebagai Akselerator’ Bekerja

Jadi, bagaimana model ini bekerja sehingga organisasi dapat mengubah jaringan mereka dari menjadi pemindah data pasif menjadi pengaktif komputasi dan mulai memanfaatkan manfaatnya? Ini menyampaikan empat kemampuan kunci yang tidak dimiliki jaringan tradisional:

• Pengiriman yang dijamin pada tingkat perangkat keras: Jaringan tradisional membebani CPU dan GPU dengan overhead pelacakan paket, pengiriman ulang, dan pengaturan ulang. Ini mengonsumsi siklus komputasi yang dapat digunakan untuk pelatihan atau inferensi. Dengan jaringan yang menjamin pengiriman pada tingkat perangkat keras, tugas-tugas ini dipindahkan dari node komputasi, menghasilkan overhead CPU dan GPU yang berkurang, kinerja yang konsisten dan dapat diprediksi, dan skalabilitas yang memudahkan pemrograman dan orkestrasi klaster.
• Routing dinamis cerdas: Routing konvensional bergantung pada jalur yang tetap atau suboptimal, yang dapat meninggalkan bagian jaringan yang tidak termanfaatkan atau menciptakan bottleneck di mana volume data besar mengalir secara bersamaan. Routing cerdas secara dinamis menggunakan semua jalur yang tersedia untuk mengoptimalkan aliran lalu lintas. Ini memungkinkan throughput yang lebih tinggi dengan beberapa jalur aktif yang menyeimbangkan lalu lintas, latensi yang lebih rendah melalui pemilihan jalur optimal, dan ketahanan yang ditingkatkan karena lalu lintas jaringan secara otomatis mengalihkan sekitar kegagalan tautan atau node. Ini mengurangi waktu menganggur dan menjaga GPU tetap terisi dengan data.
• Pengulangan otomatis pada tingkat tautan: Ketika paket hilang atau rusak, jaringan standar bergantung pada lapisan komputasi untuk mendeteksi dan mengirimkan kembali, yang memperkenalkan latensi yang signifikan dan mengganggu aliran komputasi. Jaringan dengan kemampuan pengulangan otomatis pada tingkat tautan menangani pengiriman ulang di dalam jaringan itu sendiri. Ini memungkinkan keandalan yang hampir transparan karena kehilangan paket menjadi tidak terlihat oleh node komputasi, sementara mengurangi dampak latensi karena pengulangan terjadi secara lokal pada tautan, bukan di seluruh tumpukan jaringan. Ini juga menghilangkan kebutuhan akan penanganan kesalahan aplikasi yang kompleks. Kemampuan pengulangan otomatis memastikan komputasi terdistribusi yang tidak terganggu, yang penting ketika menskalakan ke ribuan GPU.
• Komputasi dalam jaringan: Sementara jaringan tradisional terutama memindahkan data, komputasi dalam jaringan memungkinkan jaringan untuk menjadi koproesor dengan melakukan operasi tertentu langsung di dalam jaringan. NVIDIA SHARP adalah contoh utama – ini memungkinkan pengurangan terjadi pada switch jaringan itu sendiri. Ini memungkinkan operasi terdistribusi yang dipercepat, mengurangi latensi karena data diagregasi saat melewati jaringan, dan meningkatkan efisiensi karena node komputasi dibebaskan dari melakukan tugas agregasi, meninggalkan lebih banyak siklus untuk pelatihan dan simulasi.

Secara keseluruhan, kemampuan ini adalah apa yang membuat “komputasi yang dipimpin oleh jaringan” menjadi fondasi untuk menskalakan lingkungan AI dan HPC generasi berikutnya. Pendekatan yang berfokus pada jaringan menyampaikan pengembalian yang nyata, termasuk utilitas GPU yang lebih tinggi yang menghilangkan kelaparan data, waktu-ke-wawasan yang lebih cepat yang mengurangi siklus pelatihan dan menstabilkan kinerja inferensi, efisiensi sumber daya yang ditingkatkan, dan biaya kepemilikan yang lebih rendah.

Temukan Kekuatan Jaringan yang Sebenarnya

AI skala besar bukan hanya masalah komputasi – itu adalah tantangan rekayasa sistem, dengan jaringan di pusatnya. Mengobati jaringan sebagai akselerator mengubahnya menjadi pengganda kinerja untuk komputasi, memungkinkan pusat data HPC dan AI untuk menskalakan kepadatan tanpa mengorbankan kinerja. Ini menyampaikan ROI yang dapat diukur lebih cepat dengan mengekstrak nilai maksimum dari infrastruktur yang ada sebelum berinvestasi pada lebih banyak silikon.

Dengan menghilangkan bottleneck, meningkatkan utilitas, dan menyampaikan kinerja yang dapat diprediksi, jaringan yang lebih pintar memungkinkan tim AI yang lebih produktif, ROI yang lebih baik pada infrastruktur GPU, dan waktu-ke-wawasan, inovasi, dan kepemimpinan pasar yang lebih cepat. Ini memungkinkan organisasi untuk menemukan apa yang dapat dilakukan jaringan mereka dan memanfaatkan kekuatan AI dengan cara baru.