एआई मॉडल और प्लेटफ़ॉर्म
Perplexity ने उसी मॉडल पर फ़ेलओवर सुविधा के साथ Orchestrator API लॉन्च किया

मुख्य बिंदुऑर्केस्ट्रेटर विफल अनुरोधों को उसी मॉडल के किसी अन्य डिप्लॉयमेंट पर पुनः प्रयास करता…
और देखें
- ऑर्केस्ट्रेटर विफल अनुरोधों को उसी मॉडल के किसी अन्य डिप्लॉयमेंट पर पुनः प्रयास करता है, इसलिए एक Claude अनुरोध मॉडल बदले बिना प्रदाताओं को बदल सकता है।
- Perplexity की रिपोर्ट के अनुसार ऑर्केस्ट्रेटर के माध्यम से Claude और GPT अनुरोध उनके द्वारा मापे गए किसी भी व्यक्तिगत प्रदाता के अनुरोधों की तुलना में अधिक बार सफल हुए।
- स्वचालित मॉडल रूटिंग एक प्रीव्यू है जो एक ही बातचीत के भीतर बदलियों के बीच क्षमता और लागत बदल सकता है।
Perplexity ने 17 नवंबर, 2026 को Orchestrator लॉन्च किया। यह कंपनी के इन्फ़रेंस इंफ्रास्ट्रक्चर पर होस्ट किए गए स्वामित्व वाले और ओपन-वेट मॉडल इस्तेमाल करने के लिए एक API है। इसमें एकीकृत बिलिंग, उसी मॉडल के किसी अन्य प्रदाता पर फ़ेलओवर और पूर्वावलोकन में उपलब्ध एक वैकल्पिक स्वचालित मॉडल-रूटिंग सुविधा शामिल है।
रूटिंग से जुड़े दस्तावेज़ दो फ़ैसलों को अलग-अलग बताते हैं। मॉडल चुने जाने के बाद, प्रदाता रूटिंग देखी गई त्रुटि दरों, क्षमता और विलंबता के आधार पर अलग-अलग डिप्लॉयमेंट के बीच ट्रैफ़िक बाँटती है। ग्राहक डिप्लॉयमेंट नहीं चुनते। प्रदाता की त्रुटियाँ, अनुरोध सीमा और समय-सीमा समाप्त होने पर उसी मॉडल के किसी अन्य डिप्लॉयमेंट पर फिर से कोशिश की जा सकती है। इसलिए, किसी विफलता के बाद Claude का अनुरोध Anthropic से AWS Bedrock पर जा सकता है, जबकि वह Claude का अनुरोध ही बना रहता है।
Orchestrator, OpenAI Chat Completions, OpenAI Responses और Anthropic Messages के अनुरोध स्वीकार करता है। डेवलपर अपना OpenAI या Anthropic SDK बरकरार रखकर Perplexity API key, Orchestrator के बेस URL और कैटलॉग से पूरा मॉडल ID इस्तेमाल कर सकते हैं। त्वरित शुरुआत की मार्गदर्शिका इस सेवा को स्टेटलेस बताती है और कहती है कि इसे ग्राहकों के अपने प्रॉम्प्ट और टूल के साथ सीधे मॉडल तक पहुँचने के लिए बनाया गया है। यही बात इसे Agent API से अलग करती है, जो वेब-आधारित जवाबों के साथ उद्धरण भी देता है।
कैटलॉग में Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek और Moonshot AI के मॉडल परिवार शामिल हैं। Google, xAI और ओपन-वेट मॉडल इस्तेमाल के हर स्तर पर उपलब्ध हैं। OpenAI और Anthropic के मॉडल इस्तेमाल करने के लिए Tier 1 या उससे ऊपर का स्तर चाहिए, जबकि Claude Opus 5, Opus 5.5 और Fable मॉडल के लिए Tier 2 या उससे ऊपर का स्तर ज़रूरी है।
प्रदाताओं के बीच फ़ेलओवर और मापे गए प्रदर्शन के नतीजे
Perplexity के अनुसार, 4 अक्टूबर, 2026 से 2 नवंबर, 2026 के बीच Orchestrator के ज़रिए भेजे गए Claude और GPT अनुरोधों के सफल होने की संभावना उसके द्वारा मापे गए किसी भी एक प्रदाता को भेजे गए अनुरोधों से अधिक थी। प्रदाताओं में व्यवधान के दौरान रोज़ाना होने वाले उतार-चढ़ाव भी कम थे। विफलता का अर्थ था कि सभी उपलब्ध डिप्लॉयमेंट आज़माए जा चुके थे या सर्विंग लेयर ने कोई त्रुटि दी थी; अमान्य अनुरोधों और क्लाइंट की अनुरोध-सीमा के उल्लंघन जैसी क्लाइंट त्रुटियों को इसमें शामिल नहीं किया गया। उन्हीं 30 दिनों में, Claude Opus 5.5 की आउटपुट गति के मामले में Anthropic और AWS Bedrock, दोनों ने 15-15 दिन सबसे बेहतर प्रदर्शन किया। Azure की GPT-5.6 Sol की औसत आउटपुट गति, OpenAI से 27% अधिक थी। गति के इन अंतरों के अनुसार अपने-आप ढलने वाली रूटिंग का विकास अभी जारी है।
फ़ेलओवर की कुछ सीमाएँ हैं। अमान्य अनुरोधों और ऐसे प्रॉम्प्ट के लिए, जो मॉडल की संदर्भ सीमा से बड़े हों, किसी अन्य डिप्लॉयमेंट पर दोबारा कोशिश किए बिना HTTP 400 लौटाया जाता है। सभी डिप्लॉयमेंट आज़माने के बाद भी सफलता न मिलने पर Retry-After हेडर के साथ HTTP 429 मिलता है। आउटपुट तैयार होने से पहले विफल होने वाले अनुरोधों का बिल नहीं लिया जाता। अगर आउटपुट शुरू होने के बाद स्ट्रीम विफल होती है, तो ग्राहक को पहले ही दिए जा चुके टोकन का बिल देना पड़ता है।
पूर्वावलोकन में रूटिंग और उपयोग-आधारित बिलिंग
स्वचालित मॉडल रूटिंग, डिप्लॉयमेंट के बजाय मॉडल चुनने का काम करती है। मॉडल को सेट करने पर perplexity/auto एक निर्णय मॉडल को कॉल किया जाता है। यह बातचीत का पाठ और सामान्य भाषा में दिए गए रूट के विवरण देखता है, लेकिन रूट के नाम या मॉडल ID नहीं। कस्टम रूटिंग ऑब्जेक्ट में एक डिफ़ॉल्ट मॉडल और एक से पाँच टास्क रूट तय किए जा सकते हैं। जब कोई रूट उपयुक्त न हो, निर्णय मॉडल विफल हो जाए या समय-सीमा समाप्त हो जाए, अथवा बातचीत में चित्र, ऑडियो, वीडियो या फ़ाइलें हों, तो डिफ़ॉल्ट मॉडल काम करता है।
रूटिंग हर अनुरोध के लिए अलग से होती है, इसलिए टास्क बदलने पर एक ही बातचीत के अलग-अलग टर्न में अलग मॉडल इस्तेमाल हो सकते हैं। हर अनुरोध में पूरी बातचीत शामिल होनी चाहिए और हर मॉडल अपना अलग प्रॉम्प्ट कैश रखता है। स्थिर सेशन ID या प्रॉम्प्ट-कैश कुंजियाँ संबंधित अनुरोधों को एक ही डिप्लॉयमेंट पर रखने में मदद कर सकती हैं, लेकिन यह केवल सर्वोत्तम प्रयास के आधार पर होता है और अलग-अलग टर्न में मॉडल का चयन एक जैसा रहने की गारंटी नहीं देता। रिस्पॉन्स हेडर रूटिंग के नतीजे और चुने गए किसी भी रूट का विवरण देते हैं; रिस्पॉन्स का model फ़ील्ड बताता है कि जवाब वास्तव में किस मॉडल ने दिया।
बिलिंग जवाब देने वाले मॉडल के आधार पर होती है और उस मॉडल की प्रकाशित प्रति-टोकन दर लागू होती है, चाहे अनुरोध किसी भी डिप्लॉयमेंट ने पूरा किया हो। इस्तेमाल का खर्च, Perplexity API प्रोजेक्ट के बाकी हिस्सों की तरह ही, उन्हीं प्रीपेड क्रेडिट से कटता है। कैटलॉग में Tier 0 के GLM-5.3 Flash के लिए प्रति दस लाख इनपुट टोकन 0.15 डॉलर और प्रति दस लाख आउटपुट टोकन 0.50 डॉलर की दर दी गई है; कैश से पढ़े गए टोकन की दर प्रति दस लाख टोकन 0.03 डॉलर है। रीजनिंग टोकन पर लागू आउटपुट दर से शुल्क लिया जाता है।
Orchestrator की विश्वसनीयता का सबसे स्पष्ट दावा यह है कि चुने गए मॉडल या उसकी टोकन दर में बदलाव किए बिना विफलता से उबरा जा सकता है। इसकी व्यापक स्वचालन क्षमता के साथ कुछ शर्तें भी जुड़ी हैं: मॉडल रूटिंग पूर्वावलोकन में है और अलग-अलग टर्न के बीच क्षमता तथा लागत बदल सकती है, जबकि गति के अनुसार प्रदाता चुनने वाली अनुकूली सुविधा का विकास अभी जारी है।












