Model dan platform AI
Baseten Membuka Stack Agen Suara dan Realtime Voice dalam Pratinjau Privat

Poin utamaMenempatkan orkestrasi bersama model ucapan menghilangkan perjalanan bolak-balik…
Lihat selengkapnya
- Menempatkan orkestrasi bersama model ucapan menghilangkan perjalanan bolak-balik jaringan yang ditambahkan oleh orkestrator jarak jauh pada setiap giliran.
- Tumpukan Baseten memungkinkan operator untuk menskalakan setiap tahap pipeline secara independen alih-alih menduplikasi seluruh pipeline.
- Klien SDK OpenAI tidak dapat terhubung secara langsung karena endpoint Baseten tidak menyajikan jalur realtime yang ditambahkan.
Baseten mengumumkan Voice Agent Stack dan Baseten Realtime Voice pada 16 November 2026, dengan membuka akses pratinjau privat untuk keduanya melalui daftar tunggu. Baseten juga melaporkan median latensi giliran sekitar satu detik untuk hingga 56 sesi serentak dalam konfigurasi pengujiannya. Stack ini menempatkan model suara dan orkestrasi secara berdampingan, memungkinkan pelanggan memilih model secara terpisah, serta menskalakan setiap komponen alur secara terpisah.
Infrastruktur yang Ditempatkan Berdampingan
Voice Agent Stack berjalan di Baseten Dedicated Inference, dengan menempatkan orkestrator dan model di satu kawasan cloud melalui jaringan dalam klaster. Baseten mengatakan bahwa orkestrator jarak jauh dapat menambahkan ratusan milidetik perjalanan pulang-pergi jaringan pada setiap giliran, sekalipun komponen ucapan-ke-teks, bahasa, dan teks-ke-ucapan semuanya dihosting di platformnya. Stack ini juga menyediakan optimasi waktu jalan inferensi, jaringan antarmodel, penskalaan otomatis lalu lintas, pengalihan saat terjadi kegagalan lintas cloud, dan dukungan pascapelatihan model.
Realtime Voice adalah implementasi acuan yang menjalankan rangkaian model berbobot terbuka yang dioptimalkan Baseten untuk ucapan-ke-teks, pemrosesan bahasa, dan teks-ke-ucapan, dengan orkestrator khusus berbasis Pipecat. Desain delegasinya yang opsional menggunakan model penutur cepat yang ditempatkan berdampingan untuk menangani percakapan, sementara model penalar eksternal yang lebih andal secara asinkron menangani penalaran, penelusuran web, pengambilan keputusan, dan pemanggilan alat. Alat sisi server dijalankan pada orkestrator yang ditempatkan berdampingan, yang juga dapat memanggil server Model Context Protocol jarak jauh sehingga tidak memerlukan perjalanan pulang-pergi tambahan dari klien; alat sisi klien juga didukung.
Kontrol Model dan Kompatibilitas API
Pelanggan dapat memilih model ucapan-ke-teks, bahasa, dan teks-ke-ucapan secara terpisah, menggabungkan komponen khusus dengan API pihak ketiga, serta secara bertahap memindahkan tiap komponen ke infrastruktur khusus. Opsi pascapelatihan mencakup penyesuaian transkripsi dengan jargon industri, penyetelan perilaku model bahasa untuk panggilan, dan penyempurnaan terawasi untuk suara menggunakan data suara pelanggan. Dalam satu sesi, pengguna dapat mengganti model bahasa, suara, atau jalur transkripsi tanpa perlu menerapkan ulang.
API ini sesuai dengan protokol peristiwa inti OpenAI Realtime dan mendukung mode audio-masuk/audio-keluar serta teks-masuk/audio-keluar, juga peningkatan kata kunci transkripsi, respons konfirmasi yang dapat dikonfigurasi, dan kloning suara. Kompatibilitasnya memiliki batasan praktis: klien harus dapat menerima URL WebSocket lengkap. SDK Python OpenAI tidak dapat terhubung secara langsung karena menambahkan /realtime ke URL dasarnya, sebuah jalur yang tidak dilayani oleh endpoint Baseten. Klien browser memerlukan backend untuk menyimpan kunci API dan meneruskan soket karena browser tidak dapat menetapkan Authorization header yang diwajibkan.
Latensi dan Biaya dalam Kondisi Serentak
Baseten melaporkan bahwa median waktu hingga audio pertama meningkat dari 0,94 detik dengan satu panggilan serentak menjadi 1,14 detik dengan 56 panggilan. Pengujian latensi menggunakan konteks hingga 16.000 token; konteks yang lebih panjang dapat meningkatkan latensi giliran, sementara peringkasan yang dapat dikonfigurasi dapat membatasi panjang konteks setiap sesi sesuai target. Konfigurasi pengujian menggunakan Qwen3-ASR pada satu RTX-6000, Gemma-4-31B pada satu B200, Qwen3-TTS pada RTX-6000 lainnya, dan GLM-5.3 Fast melalui Baseten Model APIs untuk delegasi.
Setiap komponen diskalakan secara terpisah berdasarkan target konkurensinya sendiri, sehingga operator dapat menambahkan kapasitas pada tahap yang mencapai batas, alih-alih menggandakan seluruh alur. Desain ini ditujukan untuk mempertahankan latensi ekor p90 dan p95 yang ketat sekaligus menjaga pemanfaatan GPU tetap tinggi. Baseten memperkirakan biaya sebesar $0,012 per menit audio pada 32 sesi serentak, belum termasuk biaya per token untuk delegasi model penalaran, dan $0,008 per menit panggilan pada 56 sesi, termasuk delegasi Model API, berdasarkan asumsi pemanfaatan yang dinyatakan. Harga infrastruktur khusus membagi biaya perangkat keras ke lebih banyak sesi, sehingga pemanfaatan berkelanjutan menjadi faktor utama dalam perhitungan ekonominya.
Sebuah tolok ukur ucapan-ke-teks independen dari Coval memberikan konteks pada tingkat komponen. Papan peringkat 24 jamnya, dengan data bertanda waktu 17.30 UTC pada 16 November 2026, menempatkan Qwen3 ASR 1.7b yang dihosting Baseten di peringkat kedua berdasarkan median Waktu hingga Segmen Akhir, yaitu 33 milidetik, dengan tingkat kesalahan kata 2,1% pada 456 sampel. Metrik ini dimulai pada titik akhir ucapan yang sama dan berakhir saat transkrip akhir tiba, tanpa menghitung waktu yang digunakan sistem langsung untuk mendeteksi bahwa giliran telah berakhir. Karena itu, metrik tersebut tidak mengukur keseluruhan respons agen.
Baseten mengatakan bahwa pengembangan mendatang mencakup alur orkestrasi yang lebih kompleks, migrasi alur suara yang sudah ada dengan lebih mudah, sistem dupleks penuh ucapan-ke-ucapan bawaan, model omni dengan kepala khusus untuk menghasilkan ucapan, dan primitif penjadwalan baru di seluruh rangkaian. Peluncuran ini menjadikan orkestrasi sebagai titik kendali ekonomi agen suara: pemilihan model, eksekusi alat, dan kapasitas di tingkat komponen ditangani secara terpadu, sehingga operator memiliki beberapa cara untuk menyetel latensi dan penggunaan GPU tanpa membangun ulang seluruh alur.












