Supermicro Meluncurkan Penyimpanan Cache KV Bersama untuk AI dengan Konteks Panjang

Pada 5 November 2026, Supermicro mengumumkan solusi penyimpanan cache KV bersama IBM dan NVIDIA, yang dirancang untuk memindahkan konteks inferensi AI yang dapat digunakan kembali ke penyimpanan bersama di luar memori GPU. Perusahaan-perusahaan tersebut melaporkan bahwa dalam pengujian bersama, waktu hingga token pertama pada prompt sepanjang 130.000 token dapat dipersingkat hingga 56 kali.

Solusi ini memadukan server penyimpanan all-flash Petascale dari Supermicro yang menggunakan prosesor AMD EPYC 9005, perangkat lunak IBM Storage Scale, kerangka kerja inferensi Dynamo dari NVIDIA, serta jaringan Ethernet Spectrum-X. Solusi ini ditujukan untuk aplikasi multi-giliran dan berbasis agen, asisten pemrograman, AI multimodal, serta generasi yang ditingkatkan dengan pengambilan informasi dan konteks panjang. Basis kode, dokumen, gambar, dan riwayat percakapan berukuran besar dapat menghasilkan lebih banyak status key-value daripada yang mampu ditampung oleh memori GPU dan CPU.

Menggunakan Kembali Konteks di Berbagai Permintaan

Tahap prefill mengubah prompt yang telah ditokenisasi menjadi status key-value perantara yang digunakan model. Dengan menyimpan status tersebut, permintaan berikutnya dapat menggunakan kembali konteks alih-alih menghitungnya ulang. Arsitektur ini menyediakan lapisan penyimpanan dengan ketersediaan tinggi yang dapat diakses bersama di berbagai simpul dan klaster GPU, serta memungkinkan kapasitas cache ditingkatkan tanpa mengganggu operasi.

Dynamo menambahkan perutean yang memperhitungkan cache, memisahkan tahap prefill dari decode, serta memindahkan blok yang disimpan dalam cache melalui KV Block Manager dan pustaka transfer NIXL. IBM Storage Scale Erasure Coding Edition menyediakan lapisan penyimpanan bersama G4 dalam hierarki memori NVIDIA.

Hasil Tolok Ukur dan Kondisi Pengujian

Arsitektur referensi IBM Redbooks, yang diterbitkan pada 5 Juni 2026 dan terakhir diperbarui pada 20 Agustus 2026, melaporkan waktu 32,14 detik untuk menghitung ulang menggunakan GPU pada 130.000 token, dibandingkan dengan 0,570 detik menggunakan cache yang didukung penyimpanan. Pengukuran yang sudah ada tersebut menjadi dasar peluncuran ini, bukan hasil studi baru yang diterbitkan pada November.

Pengujian terpisah dengan 200 permintaan menggunakan 28 koneksi serentak dan 100 prompt unik yang mewakili 24 juta token serta 825 GB data cache KV. Redbook melaporkan bahwa throughput meningkat dari 0,19 menjadi 4,26 permintaan per detik, sedangkan total waktu pemrosesan turun dari 1.048,56 menjadi 46,94 detik. Cache pada awalnya kosong, sehingga rata-rata keseluruhan pengujian mencakup periode awal saat cache masih dingin dan penggunaan ulang mulai meningkat.

Dalam pengujian ketika klien lain membebani jaringan, empat klien lain menghasilkan lalu lintas I/O jaringan yang bersaing sebesar 200 GB/s. Sistem dengan cache mempertahankan laju 3,6 permintaan per detik dan menyelesaikan 200 permintaan dalam 55,56 detik. Redbook menyebut hasil ini sebagai penurunan throughput sebesar 18% dibandingkan hasil sistem bercache pada jaringan tanpa beban.

Semua pengukuran inferensi dilakukan menggunakan satu simpul klien GPU Supermicro dengan empat GPU NVIDIA RTX PRO 6000, yang terhubung ke klaster penyimpanan Petascale berisi delapan simpul. Tumpukan perangkat lunaknya menggunakan Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf, dan model openai/gpt-oss-120b. Lapisan cache memori GPU dan DRAM sistem dinonaktifkan untuk mengisolasi lapisan G4 bersama.

Kapasitas Jaringan dan Penentuan Skala Penerapan

Tiga switch Spectrum-X SN5600 membentuk jaringan spine-leaf dalam pengujian. Redbook melaporkan bandwidth yang menghadap klien hingga 80 GB/s, sementara sistem penyimpanan delapan simpul mencapai throughput baca hingga 315 GB/s. Dengan demikian, jaringan di sisi klien—bukan kapasitas baca penuh lapisan penyimpanan—menjadi kendala konfigurasi tersebut.

Contoh penentuan skala dalam Redbook menggunakan empat simpul penyimpanan untuk penerapan bukti konsep berskala kecil, delapan simpul untuk konfigurasi menengah yang diuji, dan 16 simpul atau lebih untuk pabrik AI berskala besar. Kapasitas, bandwidth, konkurensi, ukuran model, dan beban kerja semuanya memengaruhi rancangan yang sesuai. Supermicro menyatakan bahwa layanan integrasi rak di pabrik dan penerapan di lokasi dapat memangkas waktu penerapan dari hitungan minggu menjadi hitungan hari.

Peluncuran ini mengemas arsitektur yang telah didokumentasikan dan divalidasi bersama untuk diterapkan, tetapi peningkatan kinerjanya bergantung pada model, komposisi prompt, tingkat konkurensi, dan jaringan tertentu. Pertanyaan utama dalam penerapan adalah apakah kapasitas penyimpanan dan bandwidth klien seimbang dengan kebutuhan penggunaan ulang konteks yang sebenarnya: tambahan kapasitas baca penyimpanan tidak dapat meningkatkan inferensi jika jaringan klien tidak mampu menyalurkannya.