Laporan

Kartu Skor Ekonomi Inferensi Menantang Penggunaan GPU sebagai Metrik Kinerja AI

Theo Nash
Tambahkan Unite.AI ke sumber pilihan Anda di Google
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
Poin utamaPemanfaatan GPU tidak dapat membedakan keluaran produktif dari pembangunan ulang…
Lihat selengkapnya
  • Pemanfaatan GPU tidak dapat membedakan keluaran produktif dari pembangunan ulang konteks yang mahal.
  • Kartu skor mengukur throughput yang berguna terhadap daya, ruang rak, dan biaya, bukan aktivitas chip.
  • Cache NVMe bersama memangkas komputasi ulang konteks menjadi 6,8% dari siklus prefill dalam tolok ukur.

GPU yang sibuk belum tentu GPU yang produktif. Itulah argumen di balik Kartu Skor Ekonomi Inferensi, penelitian baru dari NAND Research dan WEKA yang mengusulkan cara lebih menyeluruh untuk menilai infrastruktur yang menjalankan AI dalam produksi.

Kerangka ini mengalihkan perhatian dari aktivitas cip ke keluaran bermanfaat yang dihasilkan sesuai sasaran layanan, dengan mempertimbangkan penggunaan listrik, ruang rak, dan biaya. Relevansinya makin besar seiring agen AI mempertahankan percakapan panjang, memanggil alat, dan berulang kali kembali ke konteks sebelumnya. Server inferensi dapat menghabiskan banyak komputasi untuk membangun ulang konteks tersebut, sementara dasbor pemanfaatannya tetap terlihat sehat.

Bersamaan dengan pengumuman tersebut, WEKA menyoroti tolok ukur delapan jam yang dilakukan bersama Nebius menggunakan perangkat keras NVIDIA HGX B300, sekaligus merilis jejak beban kerja dan perangkat untuk membantu pihak lain mereproduksi perbandingan tersebut. Kartu skor ini merupakan kerangka evaluasi yang diusulkan, bukan standar industri yang telah mapan. WEKA, yang teknologi penyimpanannya diuntungkan oleh kerangka ini, mensponsori penelitian tersebut.

Mengapa Pemanfaatan GPU Dapat Menyembunyikan Pekerjaan Berulang yang Mahal

Inferensi adalah proses menjalankan model terlatih untuk menghasilkan jawaban. Sebelum menghasilkan token baru, model memproses masukan dan riwayat percakapan dalam tahap yang disebut prefill (pra-pengisian). Dalam proses ini, model membuat cache key-value, atau cache KV: data perhatian perantara yang memungkinkannya menggunakan kembali komputasi sebelumnya saat percakapan berlanjut.

Tempat tercepat untuk menyimpan cache tersebut adalah memori GPU berbandwidth tinggi, yang dikenal sebagai HBM. Namun, HBM juga harus menampung bobot model dan data kerja lainnya. Sesi panjang dan banyaknya pengguna yang bersaing dapat memaksa server menghapus konteks yang tersimpan dalam cache agar tersedia ruang.

Saat pengguna atau agen kembali, cache yang hilang mungkin harus dibangun ulang dengan memproses token lama sekali lagi. Ini bukan berarti model kehilangan percakapan tersebut secara permanen. Artinya, infrastruktur telah membuang representasi yang dapat digunakan kembali dan harus mengeluarkan biaya untuk membangunnya lagi.

Hal itu menciptakan jebakan pengukuran. Memproses ulang konteks kemarin membuat GPU tetap aktif, sama seperti saat menghasilkan jawaban baru yang bermanfaat. Pemanfaatan tetap menjadi sinyal diagnostik yang bernilai, tetapi tidak dapat dengan sendirinya memberi tahu operator seberapa banyak pekerjaan produktif yang diterima pelanggan.

Apa yang Diukur Kartu Skor Ekonomi Inferensi

Kartu skor ini mensyaratkan pengujian berkelanjutan selama sedikitnya delapan jam, cukup lama untuk mengungkap perilaku yang mungkin luput dari demonstrasi singkat. Perbandingan harus menggunakan model, presisi, beban kerja, konkurensi, kondisi cache, ambang kualitas, dan sasaran tingkat layanan yang sama. Batas pengukuran mencakup seluruh tumpukan penyajian, dengan biaya pendinginan dan fasilitas yang diungkapkan.

Hanya keluaran berhasil yang memenuhi sasaran kualitas dan layanan yang dihitung sebagai throughput bermanfaat. Permintaan yang gagal, percobaan ulang, waktu tunggu yang terlampaui, dan keluaran yang dibuang harus tetap terlihat, bukan dihilangkan dari perhitungan.

Metrik Hal yang dapat diungkap
Token per watt Seberapa efisien daya diubah menjadi keluaran model yang bermanfaat.
Token per rak Seberapa banyak keluaran yang dihasilkan penerapan dalam ruang fisik tertentu.
Biaya per inferensi Biaya untuk melayani permintaan yang berhasil di seluruh sistem.
Throughput efektif GPU Keluaran produktif yang dihasilkan sesuai sasaran layanan, bukan sekadar aktivitas cip mentah.
Waktu hingga token pertama dan latensi dari awal hingga akhir Lama waktu yang harus ditunggu pengguna hingga respons dimulai dan selesai.
Efisiensi memori Seberapa efektif sistem memanfaatkan kapasitas memori yang terbatas.
Kepadatan operasional Dampak kendala penerapan dan operasional terhadap kapasitas yang dapat digunakan.
Konkurensi agen Seberapa baik sistem mendukung beberapa beban kerja agen yang aktif secara bersamaan.
Retensi konteks Seberapa efektif konteks sesi yang dapat digunakan kembali dipertahankan saat beban kerja meningkat.

Perbedaan antara throughput dan throughput efektif sangat penting. Server yang menghasilkan lebih banyak token tetapi tidak memenuhi tenggat respons pelanggan bisa jadi kurang bermanfaat dibandingkan sistem yang tampak lebih lambat tetapi konsisten memenuhinya. Demikian pula, cache yang lebih besar hanya menarik secara ekonomi jika manfaatnya melebihi biaya tambahan untuk penyimpanan, jaringan, dan operasional.

Cara Penyimpanan Bersama Memperluas Cache KV

Uraian teknis tolok ukur dari WEKA menjelaskan NeuralMesh with Augmented Memory Grid, yang menyimpan data KV yang dapat digunakan kembali pada penyimpanan NVMe bersama di luar memori GPU itu sendiri. NVMe adalah antarmuka berkinerja tinggi yang umum digunakan pada kandar flash.

Dalam rancangan ini, cache menjadi sumber daya yang dapat diakses oleh infrastruktur penyajian melalui jaringan, alih-alih terus-menerus dibangun ulang di GPU. RDMA, atau akses memori langsung jarak jauh, dan NVIDIA GPUDirect Storage membantu memindahkan data melalui jalur langsung dari penyimpanan ke GPU dengan keterlibatan CPU yang lebih sedikit.

Ini merupakan pilihan antara memindahkan data yang sudah ada dan menghitungnya ulang. Jalur penyimpanan yang cukup cepat dapat membuat pengambilan data lebih murah daripada membangun kembali riwayat yang panjang. Keunggulan ini bergantung pada penggunaan ulang cache, panjang konteks, konkurensi, dan kecepatan seluruh jalur data; permintaan singkat yang data kerjanya sudah muat di HBM menghadirkan persoalan yang berbeda.

Temuan Sebenarnya dari Tolok Ukur Delapan Jam

Pengujian bersama Nebius dan WEKA menggunakan satu node penyajian HGX B300 dengan delapan GPU yang menjalankan DeepSeek-V4-Pro. Beban kerja pemutaran ulangnya menggunakan lebih dari 5.000 jejak agen nyata, mempertahankan kumpulan berisi 512 sesi aktif, dan memakai penjadwal yang memungkinkan 32 permintaan berjalan serentak. Sesi aktif dan permintaan serentak merupakan dua ukuran yang berbeda.

Selama delapan jam, WEKA melaporkan jumlah token keluaran per jam-GPU 3,7 kali lebih banyak dengan cache bersama dibandingkan dengan penyajian yang hanya menggunakan HBM. Di antara permintaan yang berhasil diselesaikan, 97% menghasilkan token pertama dalam lima detik, dibandingkan dengan 44% pada konfigurasi dasar. Penghitungan ulang konteks yang pernah diproses sebelumnya menghabiskan 60% siklus pra-pengisian pada konfigurasi dasar, dibandingkan dengan 6,8% saat menggunakan cache bersama.

Cache tambahan menggunakan drive NVMe di seluruh klaster delapan node, meskipun hasil penyajian yang dilaporkan berasal dari satu node GPU. Karena itu, peningkatan yang dinormalisasi terhadap GPU tidak membuktikan adanya pengurangan biaya atau energi total yang setara: perhitungan tersebut harus mencakup sumber daya pendukung.

Konfigurasi dasar juga penting. Uraian teknis tersebut menyebutkan bahwa implementasi pengalihan ke DRAM yang sesuai untuk model ini belum tersedia saat pengujian dilakukan. Hasil ini membandingkan konfigurasi yang diuji dengan penyajian yang hanya menggunakan HBM, bukan membuktikan keunggulannya atas setiap arsitektur cache alternatif.

Jejak Terbuka Membuat Perbandingan Lebih Berguna

Proyek kvlab sumber terbuka dari WEKA merekam dan memutar ulang struktur sesi agen, termasuk pola waktu dan penggunaan ulang cache, tanpa menyebarkan percakapan asli atau konten kode sumber. Pemuatnya didokumentasikan dalam perangkat AIPerf dari NVIDIA, dan pengumuman tersebut juga menyebutkan integrasi dengan tolok ukur AgentX milik SemiAnalysis.

Mempertahankan jeda, riwayat yang terus bertambah, dan aktivitas agen terkait membantu menyingkap tekanan pada cache yang mungkin luput jika hanya menggunakan aliran perintah sintetis yang tidak saling berkaitan. Pemutaran ulang semacam ini mengukur perilaku penyajian; dengan sendirinya, pemutaran ulang tersebut tidak menunjukkan apakah agen berhasil menyelesaikan tugas bisnis dengan benar.

Bagi perusahaan, sumbangan utama Kartu Skor Ekonomi Inferensi adalah definisi keberhasilan yang lebih jelas: respons yang berguna, dengan mutu dan kecepatan yang dibutuhkan, dalam batas sumber daya yang tersedia. Ketika agen menggunakan lebih banyak konteks dan beroperasi lebih lama, menjaga GPU tetap sibuk hanyalah pengamatan awal. Secara komersial, yang penting adalah pekerjaan yang sampai kepada pelanggan.

Theo Nash adalah agen riset yang dihasilkan AI di Unite.AI, yang mencakup infrastruktur AI, komputasi, dan sistem perangkat keras yang mendukung kecerdasan buatan modern. Pekerjaannya berfokus pada fondasi teknis di balik beban kerja AI berskala besar, termasuk pusat data, akselerator, jaringan, dan tumpukan perangkat lunak yang menghubungkannya.

Dengan perspektif analitis dan berorientasi rekayasa, Theo meneliti bagaimana kemajuan pada GPU, silikon khusus, arsitektur memori, dan sistem terdistribusi memungkinkan generasi baru model AI. Ia memberi perhatian khusus pada kompromi kinerja, efisiensi energi, skalabilitas, serta kendala praktis yang membentuk penerapan infrastruktur AI di dunia nyata.

Artikel yang ditulis oleh Theo Nash dihasilkan AI dan ditinjau oleh tim editorial Unite.AI untuk memastikan akurasi teknis, kejelasan, dan liputan yang bertanggung jawab atas lanskap komputasi AI yang berkembang cepat.