Modelli e piattaforme di IA
Baseten apre in anteprima privata Voice Agent Stack e Realtime Voice

Punti chiaveLa co-localizzazione dell'orchestrazione con i modelli vocali elimina i viaggi di rete…
Vedi di più
- La co-localizzazione dell'orchestrazione con i modelli vocali elimina i viaggi di rete che gli orchestratori remoti aggiungono a ogni turno.
- Lo stack di Baseten consente agli operatori di scalare ogni fase della pipeline in modo indipendente invece di duplicare l'intera pipeline.
- I client dell'SDK di OpenAI non possono connettersi direttamente perché l'endpoint di Baseten non serve il percorso realtime aggiunto.
Baseten ha annunciato Voice Agent Stack e Baseten Realtime Voice il 16 novembre 2026, rendendo entrambi disponibili in anteprima privata tramite una lista d’attesa e riportando una latenza mediana per turno di circa un secondo su un massimo di 56 sessioni simultanee nella propria configurazione di test. Lo stack colloca i modelli vocali e l’orchestrazione nella stessa sede, consente ai clienti di scegliere i modelli in modo indipendente e scala separatamente ogni componente della pipeline.
Infrastruttura co-localizzata
Voice Agent Stack funziona su Baseten Dedicated Inference, collocando l’orchestratore e i modelli nella stessa regione cloud e utilizzando una rete interna al cluster. Baseten ha dichiarato che un orchestratore remoto può aggiungere centinaia di millisecondi di andata e ritorno di rete per turno, anche quando i componenti di conversione da voce a testo, linguistici e di sintesi vocale sono tutti ospitati sulla sua piattaforma. Lo stack offre inoltre ottimizzazione dell’ambiente di esecuzione per l’inferenza, rete tra modelli, scalabilità automatica del traffico, failover tra cloud e supporto al post-addestramento dei modelli.
Realtime Voice è l’implementazione di riferimento e utilizza una cascata di modelli open-weight ottimizzati da Baseten per la conversione da voce a testo, l’elaborazione linguistica e la sintesi vocale, con un orchestratore personalizzato basato su Pipecat. Il suo schema di delega opzionale affida la conversazione a un modello conversazionale rapido e co-localizzato, mentre un modello di ragionamento esterno più potente gestisce in modo asincrono il ragionamento, le ricerche sul Web, le decisioni e le chiamate agli strumenti. Gli strumenti lato server vengono eseguiti sull’orchestratore co-localizzato, che può anche richiamare server remoti Model Context Protocol, evitando ulteriori andate e ritorni verso il client; sono supportati anche gli strumenti lato client.
Controllo dei modelli e compatibilità delle API
I clienti possono scegliere in modo indipendente i modelli di conversione da voce a testo, linguistici e di sintesi vocale, combinare componenti dedicati con API di terze parti e trasferire gradualmente singoli elementi su un’infrastruttura dedicata. Le opzioni di post-addestramento includono l’adattamento della trascrizione al gergo di settore, la messa a punto del comportamento del modello linguistico per le chiamate e l’affinamento supervisionato della voce con i dati vocali del cliente. Durante una sessione è possibile cambiare il modello linguistico, la voce o il percorso di trascrizione senza ridistribuire il sistema.
L’API è conforme al protocollo degli eventi di base di OpenAI Realtime e supporta le modalità audio in ingresso/audio in uscita e testo in ingresso/audio in uscita, oltre al potenziamento delle parole chiave nella trascrizione, alle conferme configurabili e alla clonazione vocale. La compatibilità presenta alcuni limiti pratici: i client devono accettare un URL WebSocket completo. L’SDK Python di OpenAI non può connettersi direttamente perché aggiunge /realtime al proprio URL di base un percorso che l’endpoint di Baseten non gestisce. I client browser hanno bisogno di un backend che custodisca la chiave API e inoltri il socket, perché i browser non possono impostare l’header richiesto Authorization header.
Latenza e costi in condizioni di concorrenza
Baseten ha riportato un aumento del tempo mediano al primo audio da 0,94 secondi con una chiamata simultanea a 1,14 secondi con 56 chiamate simultanee. I test di latenza hanno utilizzato contesti fino a 16.000 token; i contesti più lunghi possono aumentare la latenza per turno, mentre la sintesi configurabile può mantenere ogni sessione entro una lunghezza di contesto prestabilita. La configurazione di test utilizzava Qwen3-ASR su una RTX-6000, Gemma-4-31B su una B200, Qwen3-TTS su un’altra RTX-6000 e GLM-5.3 Fast tramite Baseten Model APIs per la delega.
Ogni componente si scala in modo indipendente in base al proprio obiettivo di concorrenza, consentendo agli operatori di aggiungere capacità alla fase che raggiunge il limite invece di duplicare l’intera pipeline. Il progetto mira a mantenere rigorosi i valori di latenza di coda p90 e p95, pur mantenendo elevato l’utilizzo delle GPU. Baseten ha stimato un costo di 0,012 $ per minuto audio con 32 sessioni simultanee, escluso il costo per token della delega al modello di ragionamento, e di 0,008 $ per minuto di chiamata con 56 sessioni, inclusa la delega tramite Model API, sulla base delle ipotesi di utilizzo dichiarate. Il prezzo dell’infrastruttura dedicata distribuisce i costi dell’hardware su un numero maggiore di sessioni, rendendo l’utilizzo continuativo un fattore centrale per la sostenibilità economica.
Un benchmark indipendente di conversione da voce a testo di Coval offre un riferimento a livello di singolo componente. La sua classifica delle 24 ore, con dati aggiornati alle 17:30 UTC del 16 novembre 2026, collocava Qwen3 ASR 1.7b ospitato da Baseten al secondo posto per tempo mediano al segmento finale, con 33 millisecondi e un tasso di errore delle parole del 2,1% su 456 campioni. La metrica parte da un punto condiviso di fine del parlato e si conclude quando arriva la trascrizione finale, escludendo il tempo che un sistema in tempo reale impiega a rilevare la fine del turno. Non misura quindi la risposta completa dell’agente.
Baseten ha dichiarato che gli sviluppi futuri includono flussi di orchestrazione più complessi, una migrazione più semplice delle pipeline vocali esistenti, sistemi nativi full-duplex da voce a voce, modelli omni con teste dedicate alla generazione vocale e nuove primitive di pianificazione per l’intera cascata. Con questo lancio, l’orchestrazione diventa il punto di controllo dei costi degli agenti vocali: la scelta dei modelli, l’esecuzione degli strumenti e la capacità dei singoli componenti vengono gestite insieme, offrendo agli operatori diversi modi per ottimizzare la latenza e l’utilizzo delle GPU senza ricostruire l’intera pipeline.












