AI-mallit ja alustat
Baseten avaa Voice Agent Stackin ja Realtime Voicen yksityiseen esikatseluun

Keskeiset kohdatOrkestroinnin sijoittaminen samaan paikkaan puhemallien kanssa poistaa verkkoympäristön…
Näytä lisää
- Orkestroinnin sijoittaminen samaan paikkaan puhemallien kanssa poistaa verkkoympäristön edestakaiset siirrot, jotka etäorkestraattorit lisäävät jokaista vuoroa kohden.
- Basetenin teknologiapino antaa operaattoreiden skaalata jokaista putken vaihetta itsenäisesti sen sijaan, että koko putki monistettaisiin.
- OpenAI SDK -asiakkaat eivät voi yhdistää suoraan, koska Basetenin päätepiste ei tarjoile liitettyä reaaliaikapolkua.
Baseten ilmoitti Voice Agent Stackista ja Baseten Realtime Voicesta 16. marraskuuta 2026 ja avasi molemmat yksityiseen esikatseluun jonotuslistan kautta. Yhtiö kertoi testikokoonpanossaan saavuttaneensa noin sekunnin mediaaniviiveen vuoroa kohden jopa 56 samanaikaisessa istunnossa. Pino sijoittaa puhemallit ja orkestroinnin samaan paikkaan, antaa asiakkaille mahdollisuuden valita mallit itsenäisesti ja skaalata jokaisen käsittelyketjun osan erikseen.
Yhteissijoitettu infrastruktuuri
Voice Agent Stack toimii Baseten Dedicated Inference -alustalla, jossa orkestroija ja mallit sijaitsevat samalla pilvialueella klusterin sisäisen verkon kautta. Basetenin mukaan etäorkestroija voi lisätä vuoroon satoja millisekunteja verkkoliikenteen edestakaisista viiveistä, vaikka puheentunnistus-, kieli- ja puhesynteesikomponentit olisivat kaikki sen alustalla. Pino tarjoaa lisäksi päättelyajonaikaista optimointia, mallien välistä verkkoliikennettä, liikenteen automaattista skaalausta, pilvipalveluntarjoajien välistä vikasietoisuutta ja tukea mallien jälkikoulutukseen.
Realtime Voice on viitetoteutus, joka käyttää Basetenin optimoimien, avoimilla painoilla julkaistujen puheentunnistus-, kielenkäsittely- ja puhesynteesimallien ketjua sekä mukautettua, Pipecatiin perustuvaa orkestroijaa. Valinnaisessa delegointimallissa nopea, samalle alustalle sijoitettu puhemalli ylläpitää keskustelua, kun taas tehokkaampi ulkoinen päättelymalli käsittelee asynkronisesti päättelyä, verkkohakuja, päätöksiä ja työkalukutsuja. Palvelinpuolen työkalut suoritetaan samalle alustalle sijoitetussa orkestroijassa, joka voi kutsua myös etäkäyttöisiä Model Context Protocol -palvelimia. Näin vältetään ylimääräiset edestakaiset yhteydet asiakkaaseen. Myös asiakaspuolen työkaluja tuetaan.
Mallien hallinta ja API-yhteensopivuus
Asiakkaat voivat valita puheentunnistus-, kieli- ja puhesynteesimallit itsenäisesti, yhdistää omat komponentit kolmansien osapuolten rajapintoihin ja siirtää yksittäisiä osia ajan mittaan erilliseen infrastruktuuriin. Jälkikoulutusvaihtoehtoihin kuuluvat transkription mukauttaminen toimialan erikoissanastoon, kielimallin toiminnan hienosäätö puheluita varten sekä puheen ohjattu hienosäätö asiakkaan äänidatalla. Istunnossa voi vaihtaa kielimallia, ääntä tai transkriptioreittiä ottamatta järjestelmää uudelleen käyttöön.
Rajapinta vastaa keskeisiltä osin OpenAI Realtime -tapahtumaprotokollaa ja tukee ääni sisään / ääni ulos- sekä teksti sisään / ääni ulos -tiloja. Lisäksi se tarjoaa transkription avainsanojen tehostamisen, määritettävät kuittausilmaukset ja äänen kloonauksen. Yhteensopivuudella on käytännön rajoituksia: asiakasohjelmien on hyväksyttävä täydellinen WebSocket-URL-osoite. OpenAI:n Python SDK ei voi muodostaa yhteyttä suoraan, koska se lisää /realtime sen perus-URL-osoitteeseen polun, jota Basetenin päätepiste ei palvele. Selainasiakkaat tarvitsevat taustapalvelimen API-avaimen säilyttämiseen ja socket-yhteyden välittämiseen, sillä selaimet eivät voi asettaa vaadittua Authorization otsaketta.
Viive ja kustannukset samanaikaisessa käytössä
Baseten ilmoitti, että äänen saapumiseen ensimmäisen kerran kulunut mediaaniaika kasvoi 0,94 sekunnista yhdellä samanaikaisella puhelulla 1,14 sekuntiin 56 puhelulla. Viivetesteissä käytettiin enintään 16 000 tokenin konteksteja. Pidemmät kontekstit voivat kasvattaa vuoroviivettä, kun taas määritettävällä tiivistämisellä kunkin istunnon konteksti voidaan pitää tavoitepituudessa. Testikokoonpanossa käytettiin Qwen3-ASR:ää yhdellä RTX-6000-näytönohjaimella, Gemma-4-31B:tä yhdellä B200-näytönohjaimella, Qwen3-TTS:ää toisella RTX-6000-näytönohjaimella sekä GLM-5.3 Fastia Baseten Model API -rajapintojen kautta delegointiin.
Kukin komponentti skaalautuu itsenäisesti oman samanaikaisuustavoitteensa mukaan, joten kapasiteettia voidaan lisätä siihen käsittelyvaiheeseen, joka saavuttaa rajansa, sen sijaan että koko käsittelyketju monistettaisiin. Ratkaisun tavoitteena on pitää p90- ja p95-viivehäntäarvot tiukkoina ja samalla näytönohjainten käyttöaste korkeana. Baseten arvioi kustannuksiksi 0,012 dollaria ääniminuutilta 32 samanaikaisessa istunnossa, ilman päättelymallin delegoinnin token-kohtaista kustannusta, ja 0,008 dollaria puheluminuutilta 56 istunnossa, Model API -delegointi mukaan lukien. Arviot perustuvat yhtiön ilmoittamiin käyttöasteoletuksiin. Erillisen infrastruktuurin hinnoittelussa laitteiston kustannukset jakautuvat useammalle istunnolle, joten jatkuva käyttöaste on keskeinen tekijä kustannustehokkuudessa.
Riippumaton Covalin puheentunnistuksen vertailutesti tarjoaa tietoa yksittäisen komponentin suorituskyvystä. Sen 24 tunnin tulostaulukossa, jonka tiedot oli aikaleimattu 16. marraskuuta 2026 kello 17.30 UTC, Basetenin isännöimä Qwen3 ASR 1.7b sijoittui toiseksi mediaanilla mitatussa ajassa viimeisen segmentin valmistumiseen: tulos oli 33 millisekuntia. Sanavirheprosentti oli 2,1 % 456 näytteessä. Mittaus alkaa kaikille yhteisestä puheen päättymishetkestä ja päättyy, kun lopullinen transkriptio saapuu. Se ei sisällä aikaa, jonka reaaliaikainen järjestelmä käyttää vuoron päättymisen havaitsemiseen. Siksi mittari ei kuvaa agentin koko vastausviivettä.
Basetenin mukaan jatkokehitykseen kuuluvat monimutkaisemmat orkestrointikulut, nykyisten puheenkäsittelyketjujen helpompi siirtäminen, natiivisti puhetta puheeksi käsittelevät kaksisuuntaiset järjestelmät, omnimallit, joissa on erilliset puheentuotantoon tarkoitetut kerrokset, sekä uudet ajoitusmekanismit koko malliketjussa. Julkaisun myötä orkestroinnista tulee keskeinen ääniagenttien kustannustehokkuuden hallintapiste: mallivalinta, työkalujen suoritus ja komponenttikohtainen kapasiteetti käsitellään yhdessä. Näin operaattoreilla on useita tapoja hienosäätää viivettä ja näytönohjainten käyttöä rakentamatta koko käsittelyketjua uudelleen.












