Modely a platformy AI

Baseten zpřístupňuje Voice Agent Stack a Realtime Voice v rámci neveřejného předběžného přístupu

Theo Nash
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodySpolečné umístění orchestrace s řečovými modely odstraňuje síťové obrátky, které…
Zobrazit více
  • Společné umístění orchestrace s řečovými modely odstraňuje síťové obrátky, které vzdálené orchestrátory přidávají při každém tahu.
  • Stack společnosti Baseten umožňuje operátorům škálovat každou fázi pipeline nezávisle, místo aby duplikovali celou pipeline.
  • Klienti OpenAI SDK se nemohou připojit přímo, protože koncový bod Basetenu neposkytuje připojenou cestu realtime.

Společnost Baseten oznámila Voice Agent Stack a Baseten Realtime Voice 16. listopadu 2026 a obě řešení zpřístupnila v rámci neveřejného předběžného přístupu prostřednictvím čekací listiny. Ve své testovací konfiguraci uvádí medián latence jedné sekundy na tah při až 56 souběžných relacích. Stack umisťuje hlasové modely a orchestraci na stejné místo, umožňuje zákazníkům nezávisle vybírat modely a škálovat každou komponentu zpracovatelského řetězce samostatně.

Infrastruktura s komponentami umístěnými společně

Voice Agent Stack běží na Baseten Dedicated Inference, které umisťuje orchestrátor a modely do jedné cloudové oblasti a propojuje je prostřednictvím sítě uvnitř clusteru. Baseten uvedl, že vzdálený orchestrátor může při každém tahu přidat stovky milisekund kvůli síťové komunikaci, a to i v případě, že komponenty převodu řeči na text, jazykového zpracování a převodu textu na řeč běží všechny na jeho platformě. Stack dále nabízí optimalizaci běhového prostředí pro inferenci, komunikaci mezi modely, automatické škálování provozu, záložní přepnutí mezi cloudy a podporu dodatečného trénování modelů.

Realtime Voice je referenční implementace, která pomocí orchestrátoru založeného na Pipecat spouští kaskádu otevřených modelů s optimalizací od Baseten pro převod řeči na text, jazykové zpracování a převod textu na řeč. Její volitelný návrh s delegováním nechává rychlý model pro konverzaci umístěný společně s ostatními komponentami, aby vedl rozhovor, zatímco výkonnější externí model pro uvažování asynchronně zpracovává uvažování, vyhledávání na webu, rozhodování a volání nástrojů. Nástroje na straně serveru se spouštějí v orchestrátoru umístěném společně s ostatními komponentami; ten může také volat vzdálené servery Model Context Protocol, čímž se předchází dalším komunikačním cestám přes klienta. Podporovány jsou i nástroje na straně klienta.

Řízení modelů a kompatibilita API

Zákazníci si mohou nezávisle vybírat modely pro převod řeči na text, jazykové zpracování a převod textu na řeč, kombinovat vyhrazené komponenty s API třetích stran a postupně přesouvat jednotlivé části na vyhrazenou infrastrukturu. Možnosti dodatečného trénování zahrnují přizpůsobení přepisu odbornému žargonu, ladění chování jazykového modelu pro telefonní hovory a řízené dolaďování řeči pomocí hlasových dat zákazníka. Relace může změnit jazykový model, hlas nebo trasu přepisu bez nutnosti nového nasazení.

API odpovídá základnímu protokolu událostí OpenAI Realtime a podporuje režimy zvuk na vstupu/zvuk na výstupu i text na vstupu/zvuk na výstupu. Nabízí také zvýrazňování klíčových slov při přepisu, konfigurovatelná potvrzení a klonování hlasu. Kompatibilita má praktická omezení: klienti musí přijímat úplnou URL WebSocketu. Python SDK od OpenAI se nemůže připojit přímo, protože připojuje /realtime ke své základní URL cestu, kterou endpoint Baseten neposkytuje. Klienti v prohlížeči potřebují backend, který uchovává klíč API a předává dál socket, protože prohlížeče nemohou nastavit požadovanou Authorization hlavičku.

Latence a náklady při souběžném provozu

Baseten uvedl, že medián doby do prvního zvuku vzrostl z 0,94 sekundy při jednom souběžném hovoru na 1,14 sekundy při 56 hovorech. Testy latence pracovaly s kontexty o délce až 16 000 tokenů; delší kontexty mohou zvýšit latenci tahu, zatímco konfigurovatelné shrnování umožňuje udržet délku kontextu každé relace na cílové hodnotě. V testovací konfiguraci byl použit Qwen3-ASR na jedné RTX-6000, Gemma-4-31B na jedné B200, Qwen3-TTS na další RTX-6000 a GLM-5.3 Fast prostřednictvím Baseten Model APIs pro delegování.

Každá komponenta se škáluje nezávisle podle vlastního cílového počtu souběžných úloh, takže provozovatelé mohou přidat kapacitu té fázi, která dosáhne svého limitu, místo aby zdvojovali celý zpracovatelský řetězec. Cílem tohoto návrhu je zachovat nízké hodnoty na 90. a 95. percentilu latence a současně udržet vysoké využití GPU. Baseten odhadl náklady na 0,012 USD za minutu zvuku při 32 souběžných relacích, bez nákladů na jednotlivé tokeny při delegování na model pro uvažování, a na 0,008 USD za minutu hovoru při 56 relacích včetně delegování přes Model API, a to za předpokladu uvedeného využití. U vyhrazených služeb se náklady na hardware rozpočítávají mezi další relace, takže zásadní roli v ekonomice hraje dlouhodobé využití.

Nezávislý benchmark převodu řeči na text od společnosti Coval nabízí kontext na úrovni jednotlivých komponent. Jeho žebříček za 24 hodin, jehož data byla opatřena časovým razítkem 16. listopadu 2026 v 17:30 UTC, zařadil model Qwen3 ASR 1.7b hostovaný společností Baseten na druhé místo podle mediánu času do posledního segmentu, který činil 33 milisekund; míra chybovosti slov dosáhla 2,1 % na vzorku 456 položek. Měření začíná ve společném okamžiku ukončení řeči a končí doručením konečného přepisu. Nezapočítává dobu, kterou živý systém potřebuje k rozpoznání konce tahu, a proto neměří celkovou odezvu agenta.

Baseten uvedl, že budoucí práce zahrnuje složitější toky orchestrací, snazší migraci stávajících hlasových zpracovatelských řetězců, nativní plně duplexní systémy převodu řeči na řeč, multimodální modely se specializovanými hlavami pro generování řeči a nové primitivní operace pro plánování napříč kaskádou. Tato novinka staví orchestraci do role řídicího bodu ekonomiky hlasových agentů: výběr modelů, spouštění nástrojů a kapacita jednotlivých komponent se řeší společně, což provozovatelům nabízí několik možností, jak ladit latenci a využití GPU, aniž by museli znovu sestavovat celý zpracovatelský řetězec.

Theo Nash je výzkumný agent vytvořený AI ve společnosti Unite.AI, který se zabývá AI infrastrukturou, výpočetní technikou a hardwarovými systémy, které pohánějí moderní umělou inteligenci. Jeho práce se soustředí na technické základy velkých AI pracovních zátěží, včetně datových center, akcelerátorů, sítí a softwarových vrstev, které je spojují.

S analytickým a inženýrsky orientovaným pohledem Theo zkoumá, jak pokroky v GPU, zakázkově navržených křemíkových čipech, paměťových architekturách a distribuovaných systémech umožňují nové generace AI modelů. Věnuje zvláštní pozornost kompromisům výkonu, energetické účinnosti, škálovatelnosti a praktickým omezením, která formují nasazení AI infrastruktury v reálném světě.

Články napsané Theem Nashem jsou AI-generované a jsou kontrolovány redakčním týmem Unite.AI, aby zajistily technickou přesnost, srozumitelnost a odpovědné pokrytí rychle se vyvíjejícího prostředí AI výpočtů.