Fireworks Mengumumkan Inferensi Agen yang Lebih Cepat dan Penerapan Berdaulat

Fireworks mengumumkan serangkaian produk AI perusahaan pada 3 November 2026, di konferensi Forge tahunan pertamanya. Produk yang menjadi sorotan adalah pratinjau inferensi ultra-cepat yang diklaim mampu mencapai hingga 1.500 token per detik pada DeepSeek V4.1 Flash, disertai berbagai alat untuk perutean model, evaluasi, layanan khusus, serta pratinjau privat Fireworks Sovereign untuk infrastruktur milik pelanggan.

Menyesuaikan Kecepatan dan Biaya Inferensi dengan Beban Kerja

Ultra-cepat kini tersedia dalam pratinjau publik pada GPU NVIDIA Blackwell dan dirancang untuk agen bertahap, yang setiap pemanggilan modelnya menambah waktu tunggu hingga hasil diperoleh. Fireworks melaporkan bahwa dengan Ultra-cepat, waktu penyelesaian dalam tolok ukur agennya yang terdiri atas 30 giliran turun dari satu menit menjadi delapan detik. Kemampuan ini ditujukan untuk pekerjaan yang sensitif terhadap waktu, sementara tersedia opsi yang lebih murah untuk tugas yang tidak harus segera diselesaikan.

Untuk pekerjaan yang toleran terhadap penundaan, Background Mode menjalankan tugas yang memenuhi syarat—seperti pembuatan data evaluasi dan riset semalam—dengan biaya setengah harga. Prompt Caching multi-hari menyasar biaya konteks yang digunakan berulang kali. Batas laju serverless yang lebih tinggi dan Elastic Burst kini tersedia secara umum untuk beban kerja yang lebih sibuk; Elastic Burst dapat melampaui batas penggunaan normal pelanggan saat kapasitas tersedia, tanpa perubahan kode atau harga.

Tolok ukur Fireworks untuk DeepSeek V4.1 Flash pada 14 September 2026 menunjukkan pentingnya konteks yang digunakan berulang kali. Dalam pengujian DeepSWE, 99,6% token input merupakan cache hit, dan biaya cache hit mencakup 60% dari tagihan. Rincian ini menunjukkan bahwa konteks yang digunakan berulang kali merupakan sasaran penting untuk menekan biaya agen yang berjalan lama, alih-alih menganggap keluaran yang dihasilkan sebagai satu-satunya sumber pengeluaran.

Tema penghematan biaya yang sama juga berlaku untuk spesialisasi model. Ember-1, yang diperkenalkan pada 23 September 2026 sebagai Pratinjau Riset serverless, menggunakan sekitar 40% lebih sedikit token daripada Kimi K3 dengan kualitas yang sebanding dalam evaluasi Fireworks. Model ini tersedia untuk penerapan serverless dan khusus.

Nexus Desktop dan Harga Langganan

Fireworks Nexus merutekan permintaan ke berbagai model terbuka dan tertutup di dalam alat pemrograman dan kerja kolaboratif yang sudah digunakan, dengan pemilihan model yang dipersonalisasi dan kesadaran cache. Layanan ini juga memusatkan visibilitas pengeluaran dan kontrol bagi organisasi. Nexus Desktop diluncurkan bersama Nexus CLI yang sudah tersedia, dengan Nexus berjalan di aplikasi Codex, Claude Desktop, dan OpenCode.

Paket baru Nexus Pro mulai dari $8 per bulan, sedangkan paket Teams mulai dari $10 per kursi per bulan. Paket Enterprise menambahkan sistem masuk tunggal, tata kelola, anggaran bersama, dan kontrol akses.

Dokumentasi Nexus Desktop mencantumkan versi macOS universal untuk Mac dengan Apple silicon dan Intel, sementara dukungan Linux dan Windows akan segera hadir. CLI berjalan di macOS dan Linux, dengan dukungan Windows terbatas melalui Git Bash. Koneksi Desktop mencakup ChatGPT, Claude Code, Cursor IDE, VS Code, dan OpenCode, sedangkan dukungan Claude Desktop disebut terbatas.

Evaluasi dan Layanan Model Khusus

No Eval, yang kini berada dalam pratinjau privat, menggunakan jejak dari sistem produksi dan sinyal dari produk untuk menyusun evaluasi bagi tugas tertentu. Evaluasi ini dirancang untuk mengungkap kelemahan model dan menunjukkan apakah pelatihan selanjutnya dapat mengatasinya, sehingga membantu menangani pekerjaan yang jika tidak demikian dapat memerlukan waktu berminggu-minggu untuk pelabelan dan penilaian data.

Inferensi Model Khusus memasuki pratinjau publik untuk melayani adapter LoRA di kumpulan serverless bersama milik Fireworks, yang pada awalnya mendukung GLM 5.3 Flash. Pelanggan membayar per token dengan harga serverless model dasar tanpa perlu membuat penerapan. Memuat adapter, mempertahankannya dalam keadaan termuat, dan waktu menganggur tidak dikenai biaya layanan, sedangkan pelatihan ditagihkan secara terpisah.

Untuk GLM 5.3 Flash, tarif yang tercantum adalah $0,15 per satu juta token input, $0,03 per satu juta token input yang di-cache, dan $0,50 per satu juta token output.

Pratinjau ini mendukung peringkat LoRA maksimum 64 dan hingga tiga adapter termuat per akun untuk model dasar. Menurut dokumentasi Fireworks, pemuatan memerlukan waktu kurang dari lima menit, permintaan pertama dapat memerlukan waktu hingga satu menit, dan permintaan berikutnya memiliki latensi yang kurang lebih setara dengan model dasar. Selama pratinjau, tidak ada jaminan latensi.

Adapter berjalan pada GPU yang digunakan bersama adapter milik pelanggan lain. Penerapan khusus direkomendasikan untuk beban kerja yang membutuhkan latensi konsisten, GPU terisolasi, wilayah tertentu, atau layanan dengan presisi lebih tinggi; serverless ditujukan untuk eksperimen dan lalu lintas yang melonjak-lonjak.

Kontrol Perusahaan dan Penerapan Berdaulat

Tata kelola model, kontrol pengeluaran, dan log audit yang dapat diekspor kini tersedia secara umum. Manajemen akun terpusat, kontrol data regional, dan enkripsi yang dikelola pelanggan masih dalam tahap pratinjau.

Fireworks Sovereign, yang berada dalam pratinjau privat, menjalankan mesin inferensi perusahaan di cloud, neocloud, atau pusat data milik pelanggan. Inferensi dan pelatihan tetap berlangsung di lingkungan pelanggan dan tunduk pada kebijakan keamanan serta kontrol perubahannya. Fireworks melaporkan bahwa mereka mengelola lebih dari 25.000 GPU di lingkungan pelanggan.

Model operasional ini membagi tanggung jawab antara kedua pihak. Fireworks menguji kelayakan klaster, menerapkan model, serta menangani peningkatan, pemantauan, penyetelan kinerja, dan respons insiden, sementara pelanggan tetap memiliki arsitektur dan kebijakannya. Pelanggan mengelola trafik masuk, penyeimbangan beban, DNS, sertifikat TLS, dan rute keluar yang disetujui. Bidang kendali Fireworks menggunakan kredensial khusus yang dapat diaudit, dengan trafik keluar dibatasi pada pengambilan bobot model dan image, serta telemetri operasional.

Fireworks menyatakan bahwa Sovereign memberikan throughput 20% hingga 50% lebih tinggi pada perangkat keras yang sama, serta sekitar 2,3 kali lebih banyak token per dolar biaya perangkat keras. Fitur limpahan hibrida opsional memindahkan beban kerja yang memenuhi syarat ke Fireworks Cloud di wilayah yang disetujui pelanggan saat klaster mencapai kapasitas penuh, lalu mengembalikannya ke GPU pelanggan ketika permintaan menurun, dengan menggunakan API yang sama.

Jajaran Forge menjadikan pilihan model, keekonomian inferensi, dan kendali infrastruktur sebagai bagian dari keputusan perusahaan yang sama. Hal utama yang perlu diperhatikan adalah setiap opsi memiliki kondisi operasional yang berbeda: adapter nirserver tidak memerlukan kapasitas khusus, tetapi berjalan pada GPU bersama tanpa jaminan latensi selama pratinjau, sedangkan Sovereign memadukan infrastruktur milik pelanggan dengan tumpukan penyajian model yang dioperasikan oleh Fireworks.