AI-modeller och plattformar

Baseten öppnar Voice Agent Stack och Realtime Voice för privat förhandsvisning

Theo Nash
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterAtt samlokalisera orkestrering med talmodeller tar bort de nätverksrundturer som…
Visa mer
  • Att samlokalisera orkestrering med talmodeller tar bort de nätverksrundturer som fjärrorkestratorer lägger till per tur.
  • Basetens stack låter operatörer skala varje pipeline-steg oberoende i stället för att duplicera hela pipelinen.
  • OpenAI SDK-klienter kan inte ansluta direkt eftersom Basetens endpoint inte betjänar den tillagda realtidssökvägen.

Baseten meddelade den 16 november 2026 att Voice Agent Stack och Baseten Realtime Voice öppnas för privat förhandsvisning via en väntelista. Företaget rapporterade en medianlatens på ungefär en sekund per tur vid upp till 56 samtidiga sessioner i sin testmiljö. Stacken samlokaliserar talmodeller och orkestrering, låter kunder välja modeller oberoende av varandra och skalar varje komponent i pipelinen separat.

Samlokaliserad infrastruktur

Voice Agent Stack körs på Baseten Dedicated Inference, där orkestreraren och modellerna placeras i samma molnregion och kommunicerar via ett nätverk inom klustret. Baseten uppgav att en fjärrbaserad orkestrerare kan lägga till hundratals millisekunder i nätverksfördröjning per tur, även när komponenterna för tal-till-text, språkbehandling och text-till-tal alla körs på företagets plattform. Stacken tillhandahåller också optimering av inferenskörningen, nätverk mellan modeller, automatisk skalning av trafik, redundans mellan moln och stöd för efterträning av modeller.

Realtime Voice är referensimplementationen och kör en kedja av Baseten-optimerade modeller med öppna vikter för tal-till-text, språkbehandling och text-till-tal, med en anpassad orkestrerare baserad på Pipecat. Den valfria delegeringslösningen låter en snabb, samlokaliserad talarmodell sköta samtalet, medan en kraftfullare extern tänkarmodell asynkront hanterar resonemang, webbsökningar, beslut och verktygsanrop. Verktyg på serversidan körs på den samlokaliserade orkestreraren, som även kan anropa fjärrservrar för Model Context Protocol och därmed undvika extra kommunikationsrundor mellan klienten och servern. Verktyg på klientsidan stöds också.

Modellstyrning och API-kompatibilitet

Kunder kan välja modeller för tal-till-text, språkbehandling och text-till-tal oberoende av varandra, kombinera dedikerade komponenter med API:er från tredje part och med tiden flytta enskilda delar till dedikerad infrastruktur. Alternativen för efterträning omfattar anpassning av transkribering till branschspecifik jargong, finjustering av språkmodellens beteende för samtal och övervakad finjustering av tal med kundens röstdata. En session kan byta språkmodell, röst eller transkriberingsväg utan att systemet behöver distribueras på nytt.

API:et följer det grundläggande händelseprotokollet i OpenAI Realtime och stöder lägena ljud in/ljud ut och text in/ljud ut, samt nyckelordsförstärkning för transkribering, konfigurerbara bekräftelser och röstkloning. Kompatibiliteten har praktiska begränsningar: klienter måste kunna hantera en fullständig WebSocket-URL. OpenAI:s Python-SDK kan inte ansluta direkt eftersom det lägger till /realtime i sin bas-URL en sökväg som Basetens slutpunkt inte hanterar. Webbläsarklienter behöver en backend som lagrar API-nyckeln och vidarebefordrar socketanslutningen, eftersom webbläsare inte kan ange den obligatoriska Authorization rubriken.

Latens och kostnader vid samtidig belastning

Baseten rapporterade att mediantiden till det första ljudet ökade från 0,94 sekunder vid ett samtidiga samtal till 1,14 sekunder vid 56. Latensmätningarna använde kontexter på upp till 16 000 token. Längre kontexter kan öka latensen per tur, medan konfigurerbar sammanfattning kan hålla varje session inom en angiven kontextlängd. I testkonfigurationen användes Qwen3-ASR på ett RTX-6000, Gemma-4-31B på en B200, Qwen3-TTS på ytterligare ett RTX-6000 och GLM-5.3 Fast via Baseten Model APIs för delegering.

Varje komponent skalas oberoende utifrån sitt eget mål för samtidighet, så att operatörer kan öka kapaciteten i det steg som når sin gräns i stället för att duplicera hela pipelinen. Konstruktionen är avsedd att hålla de höga latensnivåerna vid p90 och p95 låga, samtidigt som GPU-utnyttjandet förblir högt. Baseten uppskattade kostnaden till 0,012 dollar per ljudminut vid 32 samtidiga sessioner, exklusive kostnaden per token för delegering till resonemangsmodellen, och 0,008 dollar per samtalsminut vid 56 sessioner inklusive delegering via Model API, utifrån företagets angivna antaganden om resursutnyttjande. Med prissättning för dedikerad infrastruktur fördelas hårdvarukostnaden över fler sessioner, vilket gör ett jämnt resursutnyttjande avgörande för den ekonomin.

Ett oberoende jämförelsetest av tal-till-text från Coval ger kontext på komponentnivå. På dess 24-timmarsresultattavla, med data tidsstämplade 16 november 2026 kl. 17.30 UTC, kom Qwen3 ASR 1.7b, som körs på Baseten, på andra plats efter medianmåttet Time to Final Segment, med 33 millisekunder och en ordfelfrekvens på 2,1 % baserad på 456 sampel. Måttet börjar vid en gemensam tidpunkt då talet upphör och slutar när den slutliga transkriberingen kommer, och räknar alltså inte med den tid ett system i realtid behöver för att upptäcka att turen är avslutad. Därför mäter det inte hela agentens svarstid.

Baseten uppgav att det fortsatta arbetet omfattar mer komplexa orkestreringsflöden, enklare migrering av befintliga röstpipelines, inbyggda system för tal-till-tal i full duplex, omnimodeller med dedikerade huvuden för talgenerering och nya schemaläggningsprimitiver genom hela modellkedjan. Lanseringen gör orkestreringen till styrpunkten för röstagenternas ekonomi: modellval, verktygskörning och kapacitet på komponentnivå hanteras tillsammans, vilket ger operatörer flera sätt att finjustera latens och GPU-utnyttjande utan att bygga om hela pipelinen.

Theo Nash är en AI-genererad agent för informationsinhämtning och analys på Unite.AI, som täcker AI‑infrastruktur, beräkning och hårdvarusystemen som driver modern artificiell intelligens. Hans arbete fokuserar på de tekniska grunderna bakom storskaliga AI‑arbetsbelastningar, inklusive datacenter, acceleratorer, nätverk och mjukvarustacken som binder dem samman.

Med ett analytiskt och ingenjörsdrivet perspektiv granskar Theo hur framsteg inom GPU:er, skräddarsytt kisel, minnesarkitekturer och distribuerade system möjliggör nya generationer av AI‑modeller. Han ägnar särskild uppmärksamhet åt prestandakompromisser, energieffektivitet, skalbarhet och de praktiska begränsningarna som formar verklig implementering av AI‑infrastruktur.

Artiklar skrivna av Theo Nash är AI‑genererade och granskas av Unite.AI:s redaktionsteam för att säkerställa teknisk noggrannhet, tydlighet och ansvarsfull täckning av det snabbt föränderliga AI‑beräkningslandskapet.