Modelos y plataformas de IA
Baseten abre su pila de agentes de voz y Realtime Voice a una vista previa privada

Puntos claveLa colocación conjunta de la orquestación con los modelos de voz elimina los viajes de…
Ver más
- La colocación conjunta de la orquestación con los modelos de voz elimina los viajes de ida y vuelta por la red que los orquestadores remotos añaden en cada turno.
- La pila de Baseten permite a los operadores escalar cada etapa del pipeline de forma independiente en lugar de duplicar el pipeline completo.
- Los clientes del SDK de OpenAI no pueden conectarse directamente porque el endpoint de Baseten no sirve la ruta en tiempo real añadida.
Baseten anunció la Voice Agent Stack y Baseten Realtime Voice el 16 de noviembre de 2026, y abrió el acceso a ambos productos mediante una lista de espera para una vista previa privada. La empresa informó de una latencia mediana por turno de aproximadamente un segundo en hasta 56 sesiones simultáneas en su entorno de pruebas. La pila sitúa los modelos de voz junto con la orquestación, permite a los clientes elegir los modelos de forma independiente y escala cada componente de la canalización por separado.
Infraestructura en la misma ubicación
La Voice Agent Stack funciona en Baseten Dedicated Inference, que sitúa el orquestador y los modelos en una misma región de nube y los conecta mediante una red dentro del clúster. Baseten afirmó que un orquestador remoto puede añadir cientos de milisegundos de latencia por los viajes de ida y vuelta de la red en cada turno, incluso cuando los componentes de voz a texto, lenguaje y texto a voz están alojados en su plataforma. La pila también ofrece optimización del entorno de ejecución de inferencia, redes entre modelos, escalado automático del tráfico, conmutación por error entre nubes y compatibilidad con el posentrenamiento de modelos.
Realtime Voice es la implementación de referencia y ejecuta una cascada de modelos de pesos abiertos optimizados por Baseten para convertir voz a texto, procesar lenguaje y convertir texto a voz, con un orquestador personalizado basado en Pipecat. Su diseño opcional de delegación permite que un modelo conversacional rápido, ubicado en la misma infraestructura, gestione la conversación mientras un modelo externo más potente, encargado del razonamiento, se ocupa de forma asíncrona del razonamiento, las búsquedas en la web, las decisiones y las llamadas a herramientas. Las herramientas del lado del servidor se ejecutan en el orquestador ubicado en la misma infraestructura, que también puede llamar a servidores remotos del Model Context Protocol, lo que evita viajes de ida y vuelta adicionales desde el cliente; también se admiten herramientas del lado del cliente.
Control de modelos y compatibilidad de la API
Los clientes pueden elegir por separado los modelos de voz a texto, lenguaje y texto a voz, combinar componentes dedicados con API de terceros y trasladar componentes individuales a infraestructura dedicada con el tiempo. Las opciones de posentrenamiento incluyen adaptar la transcripción a la jerga del sector, ajustar el comportamiento del modelo de lenguaje para las llamadas y realizar un ajuste fino supervisado del habla con datos de voz del cliente. Una sesión puede cambiar su modelo de lenguaje, su voz o su ruta de transcripción sin necesidad de volver a implementar.
La API se ajusta al protocolo básico de eventos de OpenAI Realtime y admite los modos de entrada y salida de audio y de entrada de texto y salida de audio, además de la potenciación de palabras clave en la transcripción, los acuses de recibo configurables y la clonación de voz. La compatibilidad tiene límites prácticos: los clientes deben aceptar una URL completa de WebSocket. El SDK de Python de OpenAI no puede conectarse directamente porque añade /realtime a su URL base una ruta que el endpoint de Baseten no ofrece. Los clientes de navegador necesitan un backend que almacene la clave de API y retransmita el socket, porque los navegadores no pueden establecer el Authorization encabezado requerido.
Latencia y costos con concurrencia
Baseten informó que la mediana del tiempo hasta el primer audio pasó de 0,94 segundos con una llamada simultánea a 1,14 segundos con 56. Las pruebas de latencia utilizaron contextos de hasta 16.000 tokens; los contextos más largos pueden aumentar la latencia por turno, mientras que la opción de resumen configurable permite mantener cada sesión dentro de una longitud de contexto objetivo. La configuración de prueba utilizó Qwen3-ASR en una RTX-6000, Gemma-4-31B en una B200, Qwen3-TTS en otra RTX-6000 y GLM-5.3 Fast a través de Baseten Model APIs para la delegación.
Cada componente se escala de forma independiente según su propio objetivo de concurrencia, lo que permite a los operadores añadir capacidad a la etapa que alcanza su límite en lugar de duplicar toda la canalización. El diseño busca mantener estrictas las colas de latencia p90 y p95 y, al mismo tiempo, elevar la utilización de las GPU. Baseten calculó un costo de 0,012 $ por minuto de audio con 32 sesiones simultáneas, sin incluir el costo por token de la delegación al modelo de razonamiento, y de 0,008 $ por minuto de llamada con 56 sesiones, incluida la delegación mediante Model API, según los supuestos de utilización indicados por la empresa. La tarificación de la infraestructura dedicada distribuye el costo del hardware entre más sesiones, por lo que una utilización sostenida es fundamental para esa economía.
Un punto de referencia independiente de voz a texto de Coval ofrece contexto sobre el rendimiento de los componentes. En su clasificación de 24 horas, con datos fechados a las 17:30 UTC del 16 de noviembre de 2026, Qwen3 ASR 1.7b alojado en Baseten ocupó el segundo puesto por mediana del tiempo hasta el segmento final, con 33 milisegundos y una tasa de error de palabras del 2,1 % en 456 muestras. La métrica empieza en un punto compartido de fin de habla y termina cuando llega la transcripción final; no incluye el tiempo que un sistema en vivo dedica a detectar que el turno ha terminado. Por lo tanto, no mide la respuesta completa del agente.
Baseten afirmó que sus próximos trabajos incluyen flujos de orquestación más complejos, una migración más sencilla de las canalizaciones de voz existentes, sistemas nativos de voz a voz y dúplex completo, modelos omni con cabezales dedicados a la generación de voz y nuevas primitivas de planificación para toda la cascada. El lanzamiento sitúa la orquestación como punto de control de la economía de los agentes de voz: la elección de modelos, la ejecución de herramientas y la capacidad de cada componente se gestionan conjuntamente, lo que ofrece a los operadores varias formas de ajustar la latencia y el uso de las GPU sin reconstruir toda la canalización.












