AI-modellen en platforms
Baseten opent Voice Agent Stack en Realtime Voice voor een besloten preview

Belangrijkste puntenHet samenplaatsen van orkestratie met spraakmodellen verwijdert netwerkrondreizen die…
Meer weergeven
- Het samenplaatsen van orkestratie met spraakmodellen verwijdert netwerkrondreizen die externe orkestrators per beurt toevoegen.
- De stack van Baseten laat operators elke pijplijnfase onafhankelijk schalen in plaats van de volledige pijplijn te dupliceren.
- OpenAI SDK-clients kunnen niet rechtstreeks verbinden omdat het endpoint van Baseten het toegevoegde realtime-pad niet bedient.
Baseten maakte bekend dat Voice Agent Stack en Baseten Realtime Voice op 16 november 2026 beschikbaar komen als besloten preview via een wachtlijst. Het bedrijf meldde daarbij een mediane latentie per beurt van ongeveer één seconde bij maximaal 56 gelijktijdige sessies in de testopstelling. De stack plaatst spraakmodellen en orkestratie bij elkaar, laat klanten onafhankelijk modellen kiezen en schaalt elk onderdeel van de pipeline afzonderlijk op.
Infrastructuur op één locatie
Voice Agent Stack draait op Baseten Dedicated Inference, waarbij de orkestrator en modellen zich in dezelfde cloudregio bevinden en via een netwerk binnen het cluster met elkaar verbonden zijn. Volgens Baseten kan een orkestrator op afstand per beurt honderden milliseconden aan netwerkvertraging toevoegen, zelfs wanneer de spraak-naar-tekst-, taal- en tekst-naar-spraakcomponenten allemaal op het platform worden gehost. De stack biedt ook optimalisatie van de inferentieruntime, netwerken tussen modellen, automatische opschaling van verkeer, failover tussen clouds en ondersteuning voor modelnatraining.
Realtime Voice is de referentie-implementatie. Deze voert met een aangepaste orkestrator op basis van Pipecat een keten van door Baseten geoptimaliseerde modellen met open gewichten uit voor spraak-naar-tekst, taalverwerking en tekst-naar-spraak. Dankzij het optionele delegatieontwerp kan een snel, lokaal geplaatst spraakmodel het gesprek afhandelen, terwijl een krachtiger extern redeneermodel asynchroon het redeneren, zoeken op het web, nemen van beslissingen en aanroepen van tools verzorgt. Tools aan de serverzijde worden uitgevoerd op de lokaal geplaatste orkestrator, die ook externe Model Context Protocol-servers kan aanroepen, zodat extra heen-en-terugverkeer met de client wordt vermeden. Ook tools aan de clientzijde worden ondersteund.
Modelbeheer en API-compatibiliteit
Klanten kunnen de spraak-naar-tekst-, taal- en tekst-naar-spraakmodellen onafhankelijk van elkaar kiezen, specifieke componenten combineren met API’s van derden en afzonderlijke onderdelen na verloop van tijd overzetten naar speciale infrastructuur. De opties voor natraining omvatten het aanpassen van transcripties aan vakjargon, het afstemmen van het gedrag van taalmodellen op telefoongesprekken en supervised fine-tuning van spraak met stemgegevens van de klant. Een sessie kan van taalmodel, stem of transcriptieroute wisselen zonder opnieuw te implementeren.
De API komt overeen met het kernprotocol voor gebeurtenissen van OpenAI Realtime en ondersteunt de modi audio-in/audio-uit en tekst-in/audio-uit, evenals het versterken van transcriptietrefwoorden, instelbare bevestigingen en stemklonen. De compatibiliteit kent praktische beperkingen: clients moeten een volledige WebSocket-URL kunnen accepteren. De Python-SDK van OpenAI kan niet rechtstreeks verbinding maken, omdat deze toevoegt /realtime aan de basis-URL, een pad dat het endpoint van Baseten niet aanbiedt. Browserclients hebben een backend nodig die de API-sleutel beheert en de socket doorstuurt, omdat browsers de vereiste Authorization header niet kunnen instellen.
Latentie en kosten bij gelijktijdig gebruik
Baseten meldde dat de mediane tijd tot de eerste audio opliep van 0,94 seconden bij één gelijktijdig gesprek tot 1,14 seconden bij 56 gesprekken. Bij de latentietests werden contexten tot 16.000 tokens gebruikt; langere contexten kunnen de latentie per beurt verhogen, terwijl instelbare samenvattingen elke sessie binnen een beoogde contextlengte kunnen houden. De testconfiguratie gebruikte Qwen3-ASR op één RTX-6000, Gemma-4-31B op één B200, Qwen3-TTS op een andere RTX-6000 en GLM-5.3 Fast via Baseten Model APIs voor delegatie.
Elk onderdeel schaalt afzonderlijk op basis van zijn eigen gelijktijdigheidsdoel. Zo kunnen beheerders capaciteit toevoegen aan de fase die verzadigd raakt, in plaats van de volledige pipeline te dupliceren. Het ontwerp is bedoeld om strikte p90- en p95-latentietails te behouden en tegelijkertijd de GPU-benutting hoog te houden. Baseten schatte de kosten op $0,012 per audiominuut bij 32 gelijktijdige sessies, exclusief de kosten per token voor delegatie aan redeneermodellen, en op $0,008 per belminuut bij 56 sessies, inclusief delegatie via Model API’s, uitgaande van de vermelde benuttingsaannames. Bij speciale prijsstelling worden de hardwarekosten over extra sessies verdeeld, waardoor een aanhoudend hoge benutting bepalend is voor die kostenberekeningen.
Een onafhankelijke spraak-naar-tekstbenchmark van Coval biedt context op het niveau van afzonderlijke componenten. Op het 24-uursklassement, met gegevens van 16 november 2026 om 17:30 UTC, stond Qwen3 ASR 1.7b, gehost door Baseten, op de tweede plaats voor de mediane tijd tot het laatste segment: 33 milliseconden. Het model behaalde een woordfoutpercentage van 2,1% op basis van 456 steekproeven. De meting begint op een gezamenlijk eindpunt van de spraak en eindigt wanneer het definitieve transcript binnenkomt. De tijd die een live systeem nodig heeft om te detecteren dat de beurt is afgelopen, wordt dus niet meegerekend. De meting geeft daarom niet de volledige reactietijd van de agent weer.
Volgens Baseten omvat toekomstig werk complexere orkestratiestromen, eenvoudigere migratie van bestaande spraakpipelines, native full-duplexsystemen voor spraak-naar-spraak, omnimodellen met speciale heads voor spraakgeneratie en nieuwe planningsprimitieven voor de volledige keten. Met deze lancering wordt orkestratie het controlepunt voor de kosten van spraakagenten: modelkeuze, uitvoering van tools en capaciteit op componentniveau worden samen beheerd. Daardoor hebben beheerders verschillende mogelijkheden om de latentie en het GPU-gebruik af te stemmen zonder de volledige pipeline opnieuw op te bouwen.












