Model dan platform AI
Cerebras Membawa Inferensi Terdisagregasi ke Produksi dengan GPU

Poin utamaCerebras mengukur throughput per megawatt lima kali lipat dengan memindahkan pemrosesan…
Lihat selengkapnya
- Cerebras mengukur throughput per megawatt lima kali lipat dengan memindahkan pemrosesan prompt ke GPU AMD.
- Memisahkan prefill dari decode memungkinkan SRAM skala wafer tetap didedikasikan untuk pembangkitan token yang terikat memori.
- Mitra dapat mengadopsi tumpukan perangkat lunak lengkap atau SDK khusus decode untuk kerangka kerja mereka sendiri.
Cerebras Systems melaporkan pada 17 November 2026 bahwa penerapan inferensi terdisagregasi di lingkungan produksi—yang menugaskan pemrosesan prompt kepada GPU AMD Instinct dan pembuatan respons kepada sistem CS-3—menghasilkan throughput per megawatt lima kali lebih tinggi daripada konfigurasi yang hanya menggunakan CS-3, tanpa mengurangi kecepatan pembuatan token.
Hasil ini berlaku untuk Cerebras Inference Cloud. Pengukuran dilakukan pada endpoint GPT-OSS-120B bersama pada 14 November 2026, dengan membandingkan throughput per megawatt sebelum dan sesudah disaggregasi diaktifkan serta menormalisasi konfigurasi agregat ke tolok ukur 1×. Dengan mengalihkan pemrosesan prompt ke GPU, kapasitas layanan sistem CS-3 tetap tersedia untuk menghasilkan respons, sehingga Cerebras dapat menawarkan kapasitas inferensi cepat yang lebih besar melalui layanan cloud-nya.
Pengungkapan penerapan di lingkungan produksi ini menyusul penjelasan Cerebras pada 1 Oktober 2026 tentang inferensi terdisagregasi, yang melaporkan peningkatan 5× dalam pengujian awal dengan jejak sistem wafer-scale engine yang sama. Pengumuman terbaru ini melampaui hasil awal tersebut dengan menyajikan pengukuran di lingkungan produksi dan paket penerapan bagi mitra infrastruktur.
Alasan Cerebras Memisahkan Prefill dan Decode
Setiap permintaan inferensi memiliki dua tahap utama. Prefill memproses prompt masukan dan membuat status model perantara; decode menggunakan status tersebut untuk menghasilkan token keluaran satu per satu, dengan memasukkan kembali setiap token baru ke dalam model. Karena setiap langkah decode kembali membaca data model dari memori, bandwidth memori menjadi faktor utama dalam kecepatan pembuatan teks secara interaktif. Sebaliknya, prefill melakukan lebih banyak komputasi secara paralel pada prompt, sehingga lebih cocok dijalankan pada akselerator yang dirancang untuk beban komputasi tersebut.
Sistem wafer-scale Cerebras menyimpan data model di SRAM pada chip, alih-alih terutama mengandalkan memori bandwidth tinggi di luar chip. Cerebras menyatakan bahwa chip wafer-scale-nya dilengkapi SRAM berkapasitas puluhan gigabita dan bandwidth memori puluhan petabita per detik—kapasitas SRAM 350× lebih besar dan bandwidth memori 5.400× lebih tinggi daripada GPU GB300 pada umumnya. Kapasitas tersebut memungkinkan lebih banyak permintaan serentak dan lapisan model tetap berada langsung di chip untuk proses decode yang cepat.
Sasaran ekonominya adalah meningkatkan kapasitas layanan bagi pelanggan dan potensi pendapatan dengan anggaran daya yang sama di pusat data yang dibatasi pasokan daya. Cerebras menyebut Muse, Copilot, dan Codex sebagai contoh aplikasi berbasis agen yang berkembang pesat dan membutuhkan respons yang sangat interaktif. Karena itu, peningkatan kapasitas harus tetap mempertahankan kecepatan pembuatan respons agar bermanfaat bagi beban kerja tersebut.
Arsitektur Penerapan dan Perangkat Lunak
Mitra infrastruktur dapat menggunakan arsitektur referensi yang disediakan Cerebras untuk menempatkan akselerator prefill pilihan mereka bersama sistem Cerebras dalam satu jaringan terpadu. Mereka kemudian dapat memilih salah satu dari dua jalur integrasi: tumpukan perangkat lunak menyeluruh yang dirancang untuk mempersingkat waktu masuk ke pasar, atau SDK khusus decode bagi mitra yang menginginkan kendali lebih besar.
Tumpukan lengkap ini mengarahkan permintaan di antara kumpulan prefill dan decode serta mengelola kapasitas dan kesehatan replika. Mesin prefill-nya dapat menjalankan mesin inferensi sumber terbuka seperti vLLM atau SGLang, sedangkan Cerebras menyediakan mesin decode. KV Portal mentransfer status model perantara di antara kedua mesin melalui RDMA, termasuk cache key-value yang mempertahankan konteks khusus permintaan setelah prefill.
Dengan opsi khusus decode, mitra tetap menggunakan kerangka kerja inferensi dan mesin prefill mereka sendiri, sembari memakai mesin decode dan KV Portal dari Cerebras. SDK ini juga mencakup replika decode tiruan dan integrasi referensi dengan kerangka kerja inferensi terdisagregasi sumber terbuka serta mesin prefill. Amazon Web Services, Fireworks AI, Gimlet Labs, dan General Compute disebut sebagai mitra akses awal, dan Cerebras sedang memperluas akses ke mitra lainnya.
Sasaran Kapasitas
Cerebras berencana menerapkan inferensi terdisagregasi secara luas dengan kapasitas ratusan megawatt di layanan cloud inferensinya sendiri dan penerapan mitra pada akhir 2027. Ini merupakan sasaran penerapan, bukan kapasitas yang sudah beroperasi.
Dengan demikian, pengumuman ini memadukan konfigurasi cloud yang telah diukur dengan jalur perangkat lunak bagi operator eksternal. Pertanyaan utama terkait peningkatan skala adalah apakah keunggulan throughput yang terukur pada satu endpoint bersama dapat direplikasi di berbagai akselerator, kerangka kerja, dan skala penerapan pilihan mitra, seiring Cerebras mengupayakan peluncuran yang lebih luas tersebut.












