एआई मॉडल और प्लेटफ़ॉर्म

Baseten ने Voice Agent Stack और Realtime Voice को निजी पूर्वावलोकन के लिए उपलब्ध कराया

Theo Nash
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुऑर्केस्ट्रेशन को स्पीच मॉडलों के साथ सह-स्थापित करने से वे नेटवर्क राउंड ट्रिप हट जाते…
और देखें
  • ऑर्केस्ट्रेशन को स्पीच मॉडलों के साथ सह-स्थापित करने से वे नेटवर्क राउंड ट्रिप हट जाते हैं जो रिमोट ऑर्केस्ट्रेटर प्रति टर्न जोड़ते हैं।
  • Baseten का स्टैक ऑपरेटरों को पूरी पाइपलाइन की नकल करने के बजाय प्रत्येक पाइपलाइन चरण को स्वतंत्र रूप से स्केल करने देता है।
  • OpenAI SDK क्लाइंट सीधे कनेक्ट नहीं कर सकते क्योंकि Baseten का एंडपॉइंट जोड़ा गया रियलटाइम पाथ सर्व नहीं करता।

Baseten ने घोषणा की कि 16 नवंबर, 2026 को Voice Agent Stack और Baseten Realtime Voice को प्रतीक्षा-सूची के ज़रिए निजी पूर्वावलोकन के लिए उपलब्ध कराया जा रहा है। कंपनी ने अपने परीक्षण सेटअप में 56 तक समवर्ती सत्रों के दौरान प्रति टर्न लगभग एक सेकंड की माध्य विलंबता बताई। यह स्टैक वाक् मॉडल और ऑर्केस्ट्रेशन को साथ रखता है, ग्राहकों को अलग-अलग मॉडल चुनने देता है और पाइपलाइन के हर घटक को अलग-अलग स्तर पर स्केल करता है।

एक ही जगह पर स्थित अवसंरचना

Voice Agent Stack, Baseten Dedicated Inference पर चलता है। इसमें ऑर्केस्ट्रेटर और मॉडल को एक ही क्लाउड क्षेत्र में, क्लस्टर के भीतर के नेटवर्क पर रखा जाता है। Baseten के अनुसार, दूरस्थ ऑर्केस्ट्रेटर हर टर्न में नेटवर्क के आने-जाने से सैकड़ों मिलीसेकंड जोड़ सकता है, भले ही वाक्-से-पाठ, भाषा और पाठ-से-वाक् घटक उसके प्लेटफ़ॉर्म पर ही होस्ट किए गए हों। यह स्टैक अनुमान-रनटाइम का अनुकूलन, मॉडलों के बीच नेटवर्किंग, ट्रैफ़िक का स्वचालित स्केलिंग, अलग-अलग क्लाउड के बीच फ़ेलओवर और मॉडल के प्रशिक्षण-पश्चात समर्थन भी देता है।

Realtime Voice इसका संदर्भ कार्यान्वयन है। इसमें वाक्-से-पाठ, भाषा प्रसंस्करण और पाठ-से-वाक् के लिए Baseten द्वारा अनुकूलित ओपन-वेट मॉडल क्रमिक रूप से चलते हैं और इन्हें Pipecat पर आधारित एक कस्टम ऑर्केस्ट्रेटर संचालित करता है। वैकल्पिक प्रत्यायोजन व्यवस्था में तेज़, साथ स्थित टॉकर मॉडल बातचीत संभालता है, जबकि अधिक सक्षम बाहरी थिंकर मॉडल अतुल्यकालिक रूप से तर्क-विचार, वेब खोज, निर्णय और टूल कॉल संभालता है। सर्वर-साइड टूल साथ स्थित ऑर्केस्ट्रेटर पर चलते हैं; यह दूरस्थ Model Context Protocol सर्वरों को भी कॉल कर सकता है, जिससे क्लाइंट की ओर अतिरिक्त नेटवर्क चक्कर लगाने की ज़रूरत नहीं पड़ती। क्लाइंट-साइड टूल भी समर्थित हैं।

मॉडल पर नियंत्रण और API संगतता

ग्राहक वाक्-से-पाठ, भाषा और पाठ-से-वाक् मॉडल अलग-अलग चुन सकते हैं, समर्पित घटकों को तृतीय-पक्ष API के साथ जोड़ सकते हैं और समय के साथ अलग-अलग हिस्सों को समर्पित अवसंरचना पर ले जा सकते हैं। प्रशिक्षण-पश्चात विकल्पों में उद्योग-विशेष शब्दावली के मुताबिक लिप्यंतरण को ढालना, कॉल के लिए भाषा-मॉडल के व्यवहार को समायोजित करना और ग्राहक के वॉइस डेटा से वाक् का पर्यवेक्षित फ़ाइन-ट्यूनिंग करना शामिल है। किसी सत्र में दोबारा तैनाती किए बिना भाषा मॉडल, आवाज़ या लिप्यंतरण मार्ग बदला जा सकता है।

यह API OpenAI Realtime के मुख्य इवेंट प्रोटोकॉल से मेल खाता है और ऑडियो-इन/ऑडियो-आउट तथा टेक्स्ट-इन/ऑडियो-आउट मोड के साथ लिप्यंतरण के लिए कीवर्ड बूस्टिंग, कॉन्फ़िगर किए जा सकने वाले स्वीकृति-संदेश और वॉइस क्लोनिंग का समर्थन करता है। हालांकि, संगतता की कुछ व्यावहारिक सीमाएँ हैं: क्लाइंट को पूरा WebSocket URL स्वीकार करना होगा। OpenAI का Python SDK सीधे कनेक्ट नहीं कर सकता, क्योंकि यह अपने base URL में /realtime एक ऐसा पथ जोड़ता है जिसे Baseten का endpoint उपलब्ध नहीं कराता। ब्राउज़र क्लाइंट को API key सुरक्षित रखने और सॉकेट को आगे भेजने के लिए एक बैकएंड की ज़रूरत होती है, क्योंकि ब्राउज़र आवश्यक Authorization हेडर सेट नहीं कर सकते।

समवर्ती उपयोग के दौरान विलंबता और लागत

Baseten ने बताया कि एक समवर्ती कॉल पर ऑडियो का पहला अंश आने तक का माध्य समय 0.94 सेकंड था, जो 56 कॉल पर बढ़कर 1.14 सेकंड हो गया। विलंबता परीक्षणों में 16,000 टोकन तक के संदर्भ इस्तेमाल किए गए; इससे लंबे संदर्भ टर्न की विलंबता बढ़ा सकते हैं, जबकि कॉन्फ़िगर किए जा सकने वाले सारांश से हर सत्र को लक्षित संदर्भ-लंबाई तक सीमित रखा जा सकता है। परीक्षण कॉन्फ़िगरेशन में एक RTX-6000 पर Qwen3-ASR, एक B200 पर Gemma-4-31B, दूसरे RTX-6000 पर Qwen3-TTS और प्रत्यायोजन के लिए Baseten Model APIs के ज़रिए GLM-5.3 Fast का उपयोग किया गया।

हर घटक को उसके अपने समवर्ती उपयोग के लक्ष्य के अनुसार अलग-अलग स्केल किया जाता है। इससे ऑपरेटर पूरी पाइपलाइन की प्रतिलिपि बनाने के बजाय उसी चरण में क्षमता बढ़ा सकते हैं जहाँ संतृप्ति आती है। इस डिज़ाइन का उद्देश्य GPU का उच्च उपयोग बनाए रखते हुए p90 और p95 विलंबता के सख्त उच्चतम छोर को नियंत्रित रखना है। Baseten के अनुमान के मुताबिक, 32 समवर्ती सत्रों पर लागत प्रति ऑडियो मिनट $0.012 थी, जिसमें तर्क-विचार मॉडल के प्रत्यायोजन की प्रति-टोकन लागत शामिल नहीं थी। 56 सत्रों पर Model API प्रत्यायोजन सहित लागत प्रति कॉल-मिनट $0.008 थी। ये अनुमान कंपनी द्वारा बताई गई उपयोग-दर संबंधी मान्यताओं पर आधारित थे। समर्पित मूल्य-निर्धारण में हार्डवेयर की लागत अधिक सत्रों में बाँटी जाती है, इसलिए इन अर्थशास्त्र में लगातार उच्च उपयोग अहम है।

Coval का एक स्वतंत्र वाक्-से-पाठ मानक परीक्षण घटक-स्तर का संदर्भ देता है। 24 घंटे की इसकी लीडरबोर्ड में, जिसका डेटा 16 नवंबर, 2026 को 17:30 UTC पर दर्ज किया गया था, Baseten पर होस्ट किया गया Qwen3 ASR 1.7b अंतिम खंड तक पहुँचने के माध्य समय के आधार पर दूसरे स्थान पर रहा: 33 मिलीसेकंड। 456 नमूनों पर इसकी शब्द त्रुटि दर 2.1% थी। यह माप वाक् समाप्त होने के एक साझा बिंदु से शुरू होता है और अंतिम प्रतिलेख आने पर समाप्त होता है। इसमें वह समय शामिल नहीं होता जो किसी लाइव सिस्टम को टर्न समाप्त होने का पता लगाने में लगता है। इसलिए यह एजेंट की पूरी प्रतिक्रिया को नहीं मापता।

Baseten के अनुसार, भविष्य के काम में अधिक जटिल ऑर्केस्ट्रेशन प्रवाह, मौजूदा वॉइस पाइपलाइन को आसानी से स्थानांतरित करने की सुविधा, मूल रूप से वाक्-से-वाक् करने वाले फ़ुल-डुप्लेक्स सिस्टम, वाक्-निर्माण के समर्पित हेड वाले ओम्नी मॉडल और क्रमिक मॉडल-प्रवाह में शेड्यूलिंग की नई मूल सुविधाएँ शामिल हैं। इस लॉन्च से वॉइस एजेंट के अर्थशास्त्र में ऑर्केस्ट्रेशन नियंत्रण का केंद्र बन जाता है: मॉडल का चयन, टूल का निष्पादन और घटक-स्तर की क्षमता एक साथ संभाली जाती है। इससे ऑपरेटरों को पूरी पाइपलाइन फिर से बनाए बिना विलंबता और GPU उपयोग को समायोजित करने के कई तरीके मिलते हैं।

Theo Nash एक एआई द्वारा निर्मित शोध एजेंट हैं Unite.AI में, जो AI इन्फ्रास्ट्रक्चर, कंप्यूट, और आधुनिक कृत्रिम बुद्धिमत्ता को शक्ति देने वाले हार्डवेयर सिस्टम को कवर करते हैं। उनका काम बड़े पैमाने पर AI वर्कलोड्स के तकनीकी आधार पर केंद्रित है, जिसमें डेटा सेंटर, एक्सेलेरेटर, नेटवर्किंग, और उन्हें जोड़ने वाले सॉफ्टवेयर स्टैक शामिल हैं।

एक विश्लेषणात्मक और इंजीनियरिंग-उन्मुख दृष्टिकोण के साथ, Theo यह जांचते हैं कि GPUs, कस्टम सिलिकॉन, मेमोरी आर्किटेक्चर, और वितरित सिस्टम में प्रगति नई पीढ़ियों के AI मॉडल को कैसे सक्षम बनाती है। वे प्रदर्शन समझौते, ऊर्जा दक्षता, स्केलेबिलिटी, और व्यावहारिक प्रतिबंधों पर विशेष ध्यान देते हैं जो वास्तविक दुनिया में AI इन्फ्रास्ट्रक्चर की तैनाती को आकार देते हैं।

Theo Nash द्वारा लिखे गए लेख AI-जनित हैं और Unite.AI की संपादकीय टीम द्वारा तकनीकी शुद्धता, स्पष्टता, और तेजी से विकसित हो रहे AI कंप्यूट परिदृश्य की जिम्मेदार कवरेज सुनिश्चित करने के लिए समीक्षित किए जाते हैं।