WEKA Meluncurkan NeuralMesh 6 dan WEKApod 3 saat Infrastruktur AI Bergeser ke Arah Inferensi

WEKA telah memperkenalkan perombakan perangkat lunak dan perangkat keras yang terkoordinasi untuk menangani salah satu masalah paling mahal yang muncul di industri AI: menjaga produktivitas GPU saat model berpindah dari pelatihan ke inferensi skala besar dan terus-menerus.

Pengumuman tersebut mencakup NeuralMesh 6, pembaruan besar untuk platform data dan memori perusahaan, serta perangkat WEKApod generasi ketiga yang dirancang untuk awan AI, pengembang model, organisasi penelitian, dan perusahaan yang mengoperasikan infrastruktur GPU.

Kedua rilis tersebut mencerminkan perubahan yang lebih luas dalam desain infrastruktur AI, dengan penyimpanan berkembang dari repositori pasif menjadi lapisan memori dan pengiriman data yang aktif.

Push Bersatu ke Produksi AI

Persyaratan infrastruktur inferensi AI berbeda secara signifikan dari pelatihan model. Pekerjaan pelatihan biasanya memproses dataset besar melalui pipa yang relatif dapat diprediksi. Sistem AI agen, generasi yang ditingkatkan, dan sistem penalaran konteks panjang harus mengakses data yang berubah, mempertahankan konteks di seluruh interaksi berulang, dan mendukung banyak pengguna bersamaan tanpa membuat GPU mahal menunggu informasi.

Respon WEKA adalah dengan mengobati penyimpanan, perluasan memori, akses file, akses objek, dan pergerakan data sebagai bagian dari platform yang sama. NeuralMesh dirancang untuk menyediakan fondasi data bersama untuk pelatihan, inferensi, dan komputasi kinerja tinggi di lingkungan on-premises, awan publik, dan hybrid.

Rilis baru ini memperluas arsitektur dengan multi-tenancy, penyimpanan objek asli, caching terdistribusi, pengurangan data otomatis, operasi Kubernetes, dan pengamatan terpusat.

Bukannya memposisikan pengumuman perangkat lunak dan perangkat sebagai pembaruan yang tidak terkait, perusahaan mempresentasikannya sebagai dua bagian dari sistem yang sama. NeuralMesh 6 mengontrol bagaimana data disimpan, dipindahkan, diisolasi, dan disampaikan, sementara WEKApod 3 menyediakan perangkat keras yang dirancang di sekitar fungsi-fungsi tersebut.

NeuralMesh 6 Menggabungkan File dan Objek Workloads

Salah satu tambahan yang lebih konsekuensial dalam NeuralMesh 6 adalah implementasi S3 asli yang berjalan pada penyimpanan NVMe. Blok data yang sama dapat diakses melalui protokol objek S3 dan antarmuka file POSIX atau Network File System tanpa mempertahankan salinan terpisah.

Hal ini penting karena pipa AI sering memindahkan informasi antara penyimpanan objek, sistem file kinerja tinggi, lingkungan pelatihan, dan klaster inferensi. Setiap salinan mengonsumsi kapasitas, memperkenalkan keterlambatan, dan mempersulit tata kelola. Namespace yang terunifikasi dapat memungkinkan data yang dibuat melalui satu protokol untuk segera tersedia melalui protokol lain.

WEKA menyatakan bahwa implementasinya mendukung antara 2.000 dan 5.000 koneksi S3 bersamaan per node. Ini juga mendukung S3 melalui Remote Direct Memory Access, yang memungkinkan data untuk dipindahkan ke memori GPU tanpa mengikuti jalur konvensional melalui beberapa lapisan CPU dan sistem operasi.

Platform ini memperkenalkan dua tingkat multi-tenancy. Klaster yang dapat disusun mengalokasikan sumber daya prosesor, memori, dan penyimpanan yang didedikasikan untuk penyewa individu, sementara multi-tenancy virtual menyediakan isolasi jaringan, enkripsi independen, otentikasi terpisah, dan kontrol kualitas layanan per penyewa.

Lingkungan virtual dapat mendukung lebih dari 1.000 penyewa terisolasi per klaster, menurut perusahaan. Menggabungkan model fisik dan virtual dapat memungkinkan operator infrastruktur besar untuk mendukung puluhan ribu penyewa yang terpisah secara logis tanpa menggelar klaster penyimpanan independen untuk setiap satu.

Hal ini terutama relevan untuk penyedia GPU sebagai layanan dan awan AI berdaulat yang perlu menyeimbangkan utilitas infrastruktur yang tinggi dengan isolasi pelanggan yang ketat.

Menggerakkan Data ke Mana Pun GPU Tersedia

NeuralMesh 6 juga memperkenalkan replikasi metadata-pertama dan caching jarak jauh untuk beban kerja AI yang didistribusikan di seluruh pusat data, awan, dan wilayah geografis.

Replikasi tradisional umumnya memerlukan dataset lengkap untuk disalin sebelum beban kerja dapat dimulai. NeuralMesh membuat metadata tujuan segera terlihat, lalu mentransfer data dasar saat diminta.

Hal ini dapat memungkinkan operator untuk memindahkan pekerjaan ke kapasitas GPU yang tersedia tanpa harus mereplikasi setiap file yang terkait dengan proyek. Pendekatan ini dimaksudkan untuk mendukung cloud bursting, infrastruktur AI terdistribusi, dan kolaborasi antara tim penelitian atau teknik yang terpisah secara geografis.

Ini juga mewakili langkah awal menuju model namespace global di mana data dapat diatasi secara konsisten terlepas dari di mana asalnya.

Fitur baru lainnya menerapkan fingerprinting, hashing kesamaan, deduplikasi, dan kompresi secara terus-menerus, bukan mengobati pengurangan data sebagai proses latar belakang yang opsional.

WEKA mengklaim bahwa NeuralMesh 6 dapat menyediakan hingga enam kali lipat penghematan kapasitas pada data pelatihan AI dengan kurang dari 5% overhead penulisan. Pengurangan sebenarnya akan tergantung pada dataset. Titik-titik checkpoint, lapisan kontainer, versi model, dan data pelatihan iteratif dapat berisi pengulangan yang signifikan, sementara jenis data lain mungkin mengompresi kurang efektif.

Perusahaan berencana untuk menganalisis data pelanggan representatif sebelum penerapan dan menggunakan perkiraan yang dihasilkan sebagai bagian dari komitmen kapasitas dan kinerja.

Mengubah Penyimpanan Menjadi Lapisan Memori AI yang Diperluas

NeuralMesh juga mengintegrasikan WEKA’s Augmented Memory Grid, yang menggunakan penyimpanan NVMe sebagai perluasan persisten memori GPU untuk inferensi.

Model bahasa besar menciptakan cache key-value yang berisi informasi yang dihitung dari prompt atau percakapan. Untuk konteks panjang dan alur kerja agen, cache tersebut dapat menjadi sangat besar. Ketika tidak dapat tetap berada di memori GPU berkinerja tinggi, sistem mungkin perlu membuangnya, menghitung ulang, atau memindahkannya ke infrastruktur yang lebih lambat.

Augmented Memory Grid menyimpan cache tersebut dalam lapisan NVMe yang persisten dan menggunakan Remote Direct Memory Access dan NVIDIA GPUDirect Storage untuk memindahkannya kembali ke GPU.

Tujuannya adalah untuk melestarikan konteks yang dapat digunakan kembali sambil mengurangi perhitungan prefilled yang berulang, salah satu tahap yang lebih intensif sumber daya dalam inferensi konteks panjang.

WEKA melaporkan bahwa pengujian pada Oracle Cloud Infrastructure menggunakan NVIDIA H100 GPUs menghasilkan throughput token sepuluh kali lebih tinggi, pengguna bersamaan sepuluh kali lebih banyak, dan token per GPU tujuh kali lebih banyak.

Angka-angka tersebut adalah benchmark kinerja yang spesifik beban kerja, bukan harapan kinerja universal, tetapi mereka menggambarkan mengapa manajemen cache persisten menjadi bagian penting dari desain infrastruktur inferensi.

WEKApod 3 Mengambil Kontrol Lapisan Perangkat Keras

Sementara sistem WEKApod sebelumnya menggabungkan perangkat lunak WEKA dengan infrastruktur yang divalidasi sebelumnya, generasi ketiga bergerak lebih jauh ke dalam desain sistem terintegrasi secara vertikal.

WEKA merancang chassis dua unit rak baru, interkoneksi drive, arsitektur pendinginan, domain kegagalan, dan sistem servis. Perangkat tersebut menggunakan PCI Express Gen 6 secara internal dan networking NVIDIA ConnectX untuk koneksi ke infrastruktur Ethernet Spectrum-X.

Keluarga WEKApod sekarang terdiri dari tiga sistem yang dapat dikonfigurasi. Nitro dioptimalkan untuk inferensi bandwidth-intensif dan beban kerja pabrik AI. Prime menggabungkan sel flash tiga tingkat dan empat tingkat untuk menyeimbangkan kinerja dan kapasitas. Prime Max memprioritaskan kepadatan penyimpanan maksimum, memuat hingga 70 drive NVMe dalam chassis dua unit rak.

Pada skala rak penuh, WEKA menyatakan bahwa Prime Max dapat menyediakan 441,5 petabyte kapasitas raw dan 1,1 exabyte kapasitas efektif setelah pengurangan data NeuralMesh. Sistem rak-level dinilai hingga 10,2 terabyte per detik throughput dan 210 juta operasi input/output per detik.

Perbedaan antara kapasitas raw dan efektif penting. Angka exabyte bergantung pada pengurangan yang dapat dicapai di seluruh data yang disimpan dan tidak boleh diartikan sebagai lebih dari sebuah exabyte flash fisik.

Namun, kepadatan yang lebih besar dapat memiliki konsekuensi yang signifikan dalam fasilitas di mana penyimpanan bersaing dengan GPU untuk ruang rak, pendinginan, dan kapasitas listrik.

Dirancang untuk Pusat Data yang Terbatas

Sistem baru ini juga menangani batasan fisik yang semakin membentuk proyek infrastruktur AI.

Klaster GPU memerlukan sejumlah besar listrik, pendinginan, networking, dan ruang lantai. Sistem penyimpanan yang mengonsumsi sumber daya ini dengan tidak efisien dapat mengurangi jumlah akselerator yang dapat didukung oleh fasilitas.

WEKA mengklaim bahwa perangkat baru ini menyediakan kepadatan kapasitas efektif 267% lebih besar dan kepadatan kinerja 114% lebih besar daripada alternatif terbaik yang tersedia secara publik di kategori masing-masing.

Perusahaan juga merancang sistem untuk beroperasi pada suhu ambient hingga 35 derajat Celsius. Pengurangan daya perangkat lunak yang dikendalikan dimaksudkan untuk mengurangi kinerja secara bertahap selama stres termal daripada memicu shutdown.

Desain drive tanpa backplane menciptakan domain kegagalan yang lebih kecil, sementara drive boot yang dapat dilepas dan prosedur penggantian yang dipandu dimaksudkan untuk mengurangi waktu pemeliharaan. Pelanggan dapat mengonfigurasi jenis chassis, memori, kapasitas drive, dan jumlah drive, dengan penerapan yang berkisar dari kurang dari satu petabyte hingga lebih dari 100 petabyte.

Membangun Ekosistem di Sekitar Pabrik AI

Pengumuman mitra yang menyertainya menunjukkan bahwa platform ini akan mencapai pelanggan melalui integrator infrastruktur, penyedia awan, dan vendor orkestrasi AI.

Spectro Cloud memposisikan NeuralMesh sebagai lapisan data yang dapat digabungkan dengan PaletteAI untuk menggelar dan mengoperasikan pabrik AI perusahaan. World Wide Technology dan Computacenter berencana untuk mengintegrasikan sistem ini ke dalam proyek infrastruktur yang lebih luas, sementara Glocomp menyoroti permintaan pelanggan untuk kinerja AI yang lebih baik dan biaya infrastruktur yang lebih dapat diprediksi.

Strategi ekosistem ini signifikan karena sebagian besar organisasi tidak merakit lingkungan AI produksi dari satu penyedia.

Penerapan tipikal mungkin mencakup GPU, networking, penyimpanan, Kubernetes, perangkat lunak model-serving, pengamatan, keamanan, dan produk tata kelola dari beberapa vendor. Konfigurasi yang divalidasi bersama dapat mengurangi pekerjaan integrasi, meskipun pelanggan masih perlu menguji kinerja menggunakan model, dataset, jaringan, dan persyaratan konkurensi mereka sendiri.

Apa yang Ini Maksudkan untuk Infrastruktur AI

Aspek paling penting dari pengumuman ini bukanlah kapasitas atau angka throughput individual. Ini adalah konvergensi yang semakin meningkat dari penyimpanan, caching terdistribusi, manajemen memori, mobilitas data, dan isolasi penyewa.

Seiring agen AI mempertahankan sejarah yang lebih panjang, mengakses lebih banyak informasi perusahaan, dan beroperasi terus-menerus, infrastruktur di sekitar GPU akan semakin menentukan biaya dari setiap respons yang berguna.

Menambahkan lebih banyak akselerator tidak akan menyelesaikan bottleneck yang disebabkan oleh pemrosesan konteks berulang, pergerakan data yang lambat, protokol yang terfragmentasi, atau kapasitas penyimpanan yang tidak terpakai. Fase berikutnya dari infrastruktur AI akan bergantung pada pemberian dan pengelolaan GPU dengan efisien, serta peningkatan komputasi mentah.

NeuralMesh 6 dijadwalkan untuk tersedia secara umum pada paruh kedua tahun 2026, dengan pelanggan yang ada dapat melakukan upgrade melalui saluran perangkat lunak standar. Sistem WEKApod Nitro, Prime, dan Prime Max yang baru tersedia untuk dipesan, dengan pengiriman yang diharapkan akan dimulai pada musim gugur 2026.