Model dan platform AI
Perplexity Meluncurkan API Orchestrator dengan Pengalihan ke Penyedia Lain untuk Model yang Sama

Poin utamaOrchestrator mencoba ulang permintaan yang gagal pada deployment lain dari model yang…
Lihat selengkapnya
- Orchestrator mencoba ulang permintaan yang gagal pada deployment lain dari model yang sama sehingga permintaan Claude dapat berpindah penyedia tanpa mengubah model.
- Perplexity melaporkan bahwa permintaan Claude dan GPT melalui Orchestrator lebih sering berhasil dibandingkan permintaan ke penyedia mana pun yang diukurnya.
- Perutean model otomatis adalah pratinjau yang dapat mengubah kemampuan dan biaya antar giliran dalam satu percakapan.
Pada 17 November 2026, Perplexity meluncurkan Orchestrator, sebuah API untuk mengakses model proprieter dan model dengan bobot terbuka yang dihosting di infrastruktur inferensi perusahaan. API ini menyediakan penagihan terpadu, pengalihan ke penyedia lain untuk model yang sama, serta fitur perutean model otomatis opsional yang masih dalam pratinjau.
Dokumentasi perutean menjelaskan dua keputusan yang terpisah. Setelah model dipilih, perutean penyedia membagi lalu lintas di antara berbagai instans berdasarkan tingkat kesalahan, kapasitas, dan latensi yang terpantau. Pelanggan tidak memilih instans yang digunakan. Kesalahan penyedia, batas laju, dan waktu habis dapat memicu percobaan ulang pada instans lain dari model yang sama. Dengan demikian, permintaan Claude dapat dialihkan dari Anthropic ke AWS Bedrock setelah terjadi kegagalan, tetapi tetap menggunakan Claude.
Orchestrator menerima permintaan OpenAI Chat Completions, OpenAI Responses, dan Anthropic Messages. Pengembang dapat tetap menggunakan SDK OpenAI atau Anthropic mereka dan beralih ke kunci API Perplexity, URL dasar Orchestrator, serta ID model lengkap dari katalog. Panduan memulai cepat menjelaskan bahwa layanan ini bersifat tanpa status dan ditujukan untuk akses langsung ke model dengan prompt dan alat milik pelanggan sendiri. Hal ini membedakannya dari Agent API, yang memberikan jawaban berbasis informasi dari web dengan sitasi bawaan.
Katalog ini mencakup keluarga model dari Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek, dan Moonshot AI. Model Google, xAI, dan model berbobot terbuka tersedia di semua tingkat penggunaan. Untuk menggunakan model OpenAI dan Anthropic, diperlukan Tier 1 atau lebih tinggi, sedangkan model Claude Opus 5, Opus 5.5, dan Fable memerlukan Tier 2 atau lebih tinggi.
Pengalihan ke Penyedia Lain dan Kinerja Terukur
Perplexity melaporkan bahwa permintaan Claude dan GPT yang dikirim melalui Orchestrator antara 4 Oktober 2026 dan 2 November 2026 lebih sering berhasil dibandingkan permintaan ke penyedia mana pun yang diukurnya secara individual, dengan fluktuasi harian yang lebih kecil saat terjadi gangguan pada penyedia. Kegagalan berarti semua instans yang tersedia telah habis dicoba atau lapisan layanan mengembalikan kesalahan; kesalahan klien, seperti permintaan tidak valid dan pelanggaran batas laju klien, tidak disertakan. Selama 30 hari yang sama, Anthropic dan AWS Bedrock masing-masing mencatat kecepatan keluaran Claude Opus 5.5 tertinggi selama 15 hari, sementara kecepatan keluaran median GPT-5.6 Sol di Azure 27% lebih tinggi daripada di OpenAI. Perutean adaptif yang merespons perbedaan kecepatan ini masih dalam pengembangan.
Pengalihan ke penyedia lain memiliki batasan. Permintaan tidak valid dan prompt yang melampaui jendela konteks model akan menghasilkan HTTP 400 tanpa percobaan ulang pada instans lain. Jika semua instans telah habis dicoba, sistem akan menghasilkan HTTP 429 dengan header Retry-After, dan permintaan yang gagal sebelum menghasilkan keluaran tidak dikenai biaya. Jika aliran gagal setelah keluaran mulai dihasilkan, pelanggan dikenai biaya untuk token yang sudah terkirim.
Perutean Pratinjau dan Penagihan Berdasarkan Penggunaan
Perutean model otomatis menangani pemilihan model, bukan pemilihan instans. Mengatur model ke perplexity/auto akan memanggil model pengambil keputusan, yang membaca teks percakapan dan deskripsi rute dalam bahasa sehari-hari, tetapi tidak membaca nama rute atau ID model. Objek perutean khusus dapat menentukan model default dan satu hingga lima rute tugas. Model default akan digunakan jika tidak ada rute yang sesuai, jika model pengambil keputusan mengalami kegagalan atau waktu habis, atau jika percakapan menyertakan gambar, audio, video, atau berkas.
Perutean dilakukan secara terpisah untuk setiap permintaan, sehingga giliran dalam satu percakapan dapat menggunakan model yang berbeda seiring berubahnya tugas. Setiap permintaan harus menyertakan seluruh percakapan, dan setiap model memiliki cache prompt tersendiri. Pengidentifikasi sesi yang stabil atau kunci cache prompt dapat membantu mempertahankan permintaan terkait pada satu instans, tetapi afinitas tersebut diupayakan sebaik mungkin dan tidak mengunci pemilihan model untuk semua giliran. Header respons menjelaskan hasil perutean dan rute yang dipilih, jika ada; kolom model pada respons menunjukkan model yang benar-benar memberikan jawaban.
Penagihan mengikuti model yang memberikan jawaban, dengan menggunakan tarif per token yang dipublikasikan untuk model tersebut, terlepas dari instans yang melayaninya. Penggunaan mengurangi saldo kredit prabayar yang sama dengan yang digunakan bagian lain dari proyek Perplexity API. Katalog mencantumkan GLM-5.3 Flash Tier 0 dengan tarif $0.15 per juta token masukan dan $0.50 per juta token keluaran, serta tarif pembacaan cache sebesar $0.03 per juta token. Token penalaran dikenai tarif keluaran yang berlaku.
Keunggulan keandalan Orchestrator yang paling jelas adalah ketahanan tanpa mengubah model yang dipilih atau tarif tokennya. Otomatisasi yang lebih luas memiliki sejumlah batasan: perutean model masih dalam tahap pratinjau dan dapat mengubah kemampuan serta biaya dari satu giliran ke giliran berikutnya, sementara pemilihan penyedia adaptif yang mempertimbangkan kecepatan masih dalam pengembangan.












