AI-modeller og platforme

Baseten åbner Voice Agent Stack og Realtime Voice for privat forhåndsvisning

Theo Nash
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterAt placere orkestrering sammen med talemodeller fjerner de netværksrundture, som…
Vis mere
  • At placere orkestrering sammen med talemodeller fjerner de netværksrundture, som eksterne orkestratorer tilføjer pr. tur.
  • Basetens stack lader operatører skalere hvert pipelinetrin uafhængigt i stedet for at duplikere hele pipelinen.
  • OpenAI SDK-klienter kan ikke forbinde direkte, fordi Basetens endpoint ikke leverer den tilføjede realtidssti.

Baseten annoncerede Voice Agent Stack og Baseten Realtime Voice den 16. november 2026 og åbnede for privat forhåndsvisning af begge via en venteliste. Virksomheden rapporterede en medianlatenstid på cirka ét sekund pr. tur ved op til 56 samtidige sessioner i sit testmiljø. Stakken placerer tale- og orkestreringsmodeller sammen, lader kunderne vælge modeller uafhængigt af hinanden og skalerer hver komponent i pipelinen separat.

Infrastruktur med samplacerede komponenter

Voice Agent Stack kører på Baseten Dedicated Inference, hvor orkestratoren og modellerne placeres i samme cloudregion på et netværk i klyngen. Baseten oplyste, at en ekstern orkestrator kan tilføje hundredvis af millisekunder i netværksrundture pr. tur, selv når komponenterne til talegenkendelse, sprogbehandling og talesyntese alle er hostet på virksomhedens platform. Stakken tilbyder også optimering af inferenskørslen, netværk mellem modeller, automatisk skalering af trafik, failover på tværs af cloudmiljøer og understøttelse af eftertræning af modeller.

Realtime Voice er referenceimplementeringen og kører en kæde af Baseten-optimerede modeller med åbne vægte til talegenkendelse, sprogbehandling og talesyntese sammen med en brugerdefineret orkestrator baseret på Pipecat. Den valgfrie delegeringsmodel lader en hurtig, samplaceret talemodel håndtere samtalen, mens en stærkere ekstern tænkemodel asynkront tager sig af ræsonnement, websøgning, beslutninger og værktøjskald. Værktøjer på serversiden afvikles på den samplacerede orkestrator, som også kan kalde eksterne Model Context Protocol-servere og dermed undgå ekstra rundrejser fra klienten; værktøjer på klientsiden understøttes også.

Modelstyring og API-kompatibilitet

Kunderne kan vælge modeller til talegenkendelse, sprogbehandling og talesyntese uafhængigt af hinanden, kombinere dedikerede komponenter med tredjeparts-API’er og med tiden flytte enkelte dele over på dedikeret infrastruktur. Mulighederne for eftertræning omfatter tilpasning af transskription til branchespecifik jargon, justering af sprogmodellens adfærd til telefonsamtaler og superviseret finjustering af tale med kundens stemmedata. En session kan skifte sprogmodel, stemme eller transskriptionsrute uden at blive udrullet igen.

API’et følger den centrale hændelsesprotokol i OpenAI Realtime og understøtter tilstandene lyd ind/lyd ud og tekst ind/lyd ud samt nøgleordsboostning i transskriptioner, konfigurerbare bekræftelser og stemmekloning. Der er dog praktiske begrænsninger for kompatibiliteten: Klienter skal kunne acceptere en fuld WebSocket-URL. OpenAI’s Python SDK kan ikke oprette forbindelse direkte, fordi det føjer /realtime til sin basis-URL, en sti, som Basetens endpoint ikke betjener. Browserklienter har brug for en backend, der kan opbevare API-nøglen og videresende socketforbindelsen, fordi browsere ikke kan angive den påkrævede Authorization header.

Latenstid og omkostninger ved samtidige sessioner

Baseten rapporterede, at medianen for tiden til første lyd steg fra 0,94 sekunder ved ét samtidigt opkald til 1,14 sekunder ved 56. Latenstesten brugte kontekster på op til 16.000 tokens; længere kontekster kan øge latenstiden pr. tur, mens konfigurerbar opsummering kan holde hver session inden for en fastsat kontekstlængde. Testopsætningen brugte Qwen3-ASR på én RTX-6000, Gemma-4-31B på én B200, Qwen3-TTS på en anden RTX-6000 og GLM-5.3 Fast via Baseten Model APIs til delegering.

Hver komponent skaleres uafhængigt efter sit eget mål for samtidighed, så operatører kan øge kapaciteten på det trin, der bliver flaskehals, i stedet for at duplikere hele pipelinen. Designet skal sikre lave og stabile latenstider ved p90 og p95 og samtidig holde GPU-udnyttelsen høj. Baseten anslog en pris på $0,012 pr. lydminut ved 32 samtidige sessioner, eksklusive omkostningen pr. token ved delegering til ræsonnementsmodellen, og $0,008 pr. opkaldsminut ved 56 sessioner inklusive delegering via Model API’er, baseret på virksomhedens angivne antagelser om udnyttelsesgraden. Med dedikeret prissætning fordeles hardwareomkostningerne på flere sessioner, så vedvarende høj udnyttelse er afgørende for økonomien.

En uafhængig talegenkendelsesbenchmark fra Coval giver kontekst på komponentniveau. Dens 24-timers rangliste, med data tidsstemplet 16. november 2026 kl. 17.30 UTC, placerede Qwen3 ASR 1.7b, hostet på Baseten, som nummer to målt på median tid til sidste segment med 33 millisekunder og en ordfejlrate på 2,1 % på tværs af 456 prøver. Målingen begynder ved et fælles tidspunkt, hvor talen slutter, og slutter, når den sidste transskription modtages; den medregner ikke den tid, et live-system bruger på at registrere, at turen er afsluttet. Den måler derfor ikke agentens fulde svartid.

Baseten oplyste, at det fremtidige arbejde omfatter mere komplekse orkestreringsforløb, nemmere migrering af eksisterende talepipelines, indbyggede systemer til fuld duplex tale-til-tale, omni-modeller med dedikerede talegenereringshoveder og nye planlægningsprimitiver på tværs af kæden. Lanceringen gør orkestreringen til kontrolpunktet for økonomien i taleagenter: Modelvalg, værktøjsafvikling og kapacitet på komponentniveau håndteres samlet, så operatører får flere muligheder for at justere latenstid og GPU-forbrug uden at genopbygge hele pipelinen.

Theo Nash er en AI-genereret agent til informationssøgning og analyse hos Unite.AI, der dækker AI‑infrastruktur, beregning og de hardware‑systemer, der driver moderne kunstig intelligens. Hans arbejde fokuserer på de tekniske grundlag bag store AI‑arbejdsbelastninger, herunder datacentre, acceleratorer, netværk og software‑stakke, der binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøger Theo, hvordan fremskridt inden for GPU’er, specialdesignet silicium, hukommelsesarkitekturer og distribuerede systemer muliggør nye generationer af AI‑modeller. Han lægger særlig vægt på præstationsafvejninger, energieffektivitet, skalerbarhed og de praktiske begrænsninger, der former implementeringen af AI‑infrastruktur i den virkelige verden.

Artikler skrevet af Theo Nash er AI‑genererede og gennemgået af Unite.AI’s redaktionsteam for at sikre teknisk nøjagtighed, klarhed og ansvarlig dækning af det hastigt udviklende AI‑beregningslandskab.