AI-modeller og plattformer

Baseten åpner Voice Agent Stack og Realtime Voice for privat forhåndsvisning

Theo Nash
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterÅ samlokalisere orkestrering med talemodeller fjerner nettverksrundturer som eksterne…
Vis mer
  • Å samlokalisere orkestrering med talemodeller fjerner nettverksrundturer som eksterne orkestratorer legger til per tur.
  • Basetens stack lar operatører skalere hvert trinn i pipelinen uavhengig i stedet for å duplisere hele pipelinen.
  • OpenAI SDK-klienter kan ikke koble til direkte fordi Basetens endepunkt ikke betjener den tilføyde sanntidsstien.

Baseten kunngjorde Voice Agent Stack og Baseten Realtime Voice 16. november 2026, og åpnet for privat forhåndsvisning av begge via en venteliste. Selskapet rapporterte en median latenstid per tur på rundt ett sekund ved opptil 56 samtidige økter i testoppsettet sitt. Stakken samlokaliserer talemodeller og orkestrering, lar kundene velge modeller uavhengig av hverandre og skalerer hver enkelt del av pipelinen separat.

Samlokalisert infrastruktur

Voice Agent Stack kjører på Baseten Dedicated Inference, der orkestratoren og modellene plasseres i samme skyregion og kommuniserer over et nettverk i klyngen. Baseten sa at en ekstern orkestrator kan legge til flere hundre millisekunder med nettverksrundturer per tur, selv når tale-til-tekst-, språk- og tekst-til-tale-komponentene alle er driftet på plattformen deres. Stakken tilbyr også optimalisering av inferenskjøretiden, nettverk mellom modeller, automatisk skalering av trafikk, reserveoverføring mellom skyer og støtte for ettertrening av modeller.

Realtime Voice er referanseimplementasjonen og kjører en kjede av Baseten-optimaliserte modeller med åpne vekter for tale-til-tekst, språkbehandling og tekst-til-tale, med en spesialtilpasset orkestrator basert på Pipecat. Den valgfrie delegeringsløsningen lar en rask, samlokalisert modell håndtere samtalen, mens en sterkere ekstern resonneringsmodell asynkront tar seg av resonnering, nettsøk, beslutninger og verktøykall. Verktøy på serversiden kjøres på den samlokaliserte orkestratoren, som også kan kalle eksterne Model Context Protocol-servere og dermed unngå ekstra rundeturer via klienten. Verktøy på klientsiden støttes også.

Modellstyring og API-kompatibilitet

Kundene kan velge tale-til-tekst-, språk- og tekst-til-tale-modeller uavhengig av hverandre, kombinere dedikerte komponenter med tredjeparts-API-er og etter hvert flytte enkeltkomponenter over på dedikert infrastruktur. Alternativene for ettertrening omfatter tilpasning av transkripsjon til bransjesjargong, justering av språkmodellens atferd for samtaler og veiledet finjustering av tale med kundens stemmedata. En økt kan bytte språkmodell, stemme eller transkripsjonsrute uten å måtte distribueres på nytt.

API-et følger den sentrale hendelsesprotokollen i OpenAI Realtime og støtter modusene lyd inn/lyd ut og tekst inn/lyd ut, i tillegg til nøkkelordforsterkning i transkripsjoner, konfigurerbare bekreftelser og stemmekloning. Kompatibiliteten har praktiske begrensninger: Klienter må godta en fullstendig WebSocket-URL. OpenAI Python SDK kan ikke koble seg til direkte fordi det føyer til /realtime denne banen til basis-URL-en sin, og Basetens endepunkt tilbyr ikke denne banen. Nettleserklienter trenger en backend som oppbevarer API-nøkkelen og videresender socket-forbindelsen, fordi nettlesere ikke kan angi den nødvendige Authorization headeren.

Latenstid og kostnader ved samtidige økter

Baseten rapporterte at median tid til første lyd økte fra 0,94 sekunder med én samtidig samtale til 1,14 sekunder med 56. Latenstestene brukte kontekster på opptil 16 000 tokener. Lengre kontekster kan øke latenstiden per tur, mens konfigurerbar oppsummering kan holde hver økt innenfor en mållengde for konteksten. Testoppsettet brukte Qwen3-ASR på én RTX-6000, Gemma-4-31B på én B200, Qwen3-TTS på en annen RTX-6000 og GLM-5.3 Fast via Baseten Model APIs for delegering.

Hver komponent skaleres uavhengig ut fra sitt eget mål for samtidighet, slik at operatørene kan øke kapasiteten på det trinnet som blir fullt utnyttet, i stedet for å kopiere hele pipelinen. Utformingen skal bevare stramme latenstidsgrenser i p90- og p95-halen, samtidig som GPU-utnyttelsen holdes høy. Baseten anslo en kostnad på $0,012 per lydminutt ved 32 samtidige økter, eksklusive kostnaden per token for delegering til resonneringsmodellen, og $0,008 per samtaleminutt ved 56 økter, inkludert delegering via Model API, basert på selskapets oppgitte forutsetninger om utnyttelse. Med dedikert prising fordeles maskinvarekostnadene over flere økter, noe som gjør jevn utnyttelse avgjørende for kostnadsbildet.

En uavhengig tale-til-tekst-benchmark fra Coval gir kontekst på komponentnivå. På den 24-timers resultatlisten, med data tidsstemplet 16. november 2026 kl. 17:30 UTC, lå Qwen3 ASR 1.7b driftet av Baseten på andreplass målt etter median tid til siste segment, med 33 millisekunder og en feilrate på 2,1 % for ord over 456 prøver. Målingen begynner ved et felles sluttpunkt for talen og slutter når den siste transkripsjonen kommer, og utelater tiden et system i sanntid bruker på å registrere at turen er over. Den måler derfor ikke hele agentsvaret.

Baseten sa at det videre arbeidet omfatter mer komplekse orkestreringsflyter, enklere migrering av eksisterende talepipeliner, innebygde systemer for tale-til-tale i full dupleks, omni-modeller med dedikerte talesyntesehoder og nye planleggingsprimitiver på tvers av kjeden. Lanseringen gjør orkestrering til kontrollpunktet for økonomien i taleagenter: Modellvalg, verktøykjøring og kapasitet på komponentnivå håndteres samlet, slik at operatørene får flere måter å finjustere latenstid og GPU-bruk på uten å bygge hele pipelinen på nytt.

Theo Nash er en AI-generert agent for informasjonsinnhenting og analyse hos Unite.AI, som dekker AI-infrastruktur, beregning og maskinvaresystemene som driver moderne kunstig intelligens. Arbeidet hans fokuserer på de tekniske grunnlagene bak AI-arbeidsbelastninger i stor skala, inkludert datasentre, akseleratorer, nettverk og programvarestablene som binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøker Theo hvordan fremskritt innen GPU-er, tilpasset silisium, minnearkitekturer og distribuerte systemer muliggjør nye generasjoner av AI-modeller. Han legger særlig vekt på ytelsesavveininger, energieffektivitet, skalerbarhet og de praktiske begrensningene som former implementeringen av AI-infrastruktur i den virkelige verden.

Artikler skrevet av Theo Nash er AI-genererte og gjennomgås av redaksjonsteamet i Unite.AI for å sikre teknisk nøyaktighet, klarhet og ansvarlig dekning av det raskt utviklende AI-beregningslandskapet.