Modelos e plataformas de IA

Baseten abre sua plataforma de agentes de voz e o Realtime Voice em prévia privada

Theo Nash
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveA co-localização da orquestração com os modelos de fala elimina as idas e voltas de…
Ver mais
  • A co-localização da orquestração com os modelos de fala elimina as idas e voltas de rede que os orquestradores remotos acrescentam a cada turno.
  • A stack da Baseten permite aos operadores escalar cada etapa do pipeline de forma independente, em vez de duplicar o pipeline completo.
  • Os clientes do SDK da OpenAI não conseguem conectar-se diretamente porque o endpoint da Baseten não serve o caminho de tempo real anexado.

A Baseten anunciou o Voice Agent Stack e o Baseten Realtime Voice em 16 de novembro de 2026, disponibilizando ambos em prévia privada por meio de uma lista de espera e informando uma latência mediana por turno de aproximadamente um segundo em até 56 sessões simultâneas no ambiente de teste. A plataforma reúne modelos de fala e orquestração, permite que os clientes escolham modelos de forma independente e escala cada componente do pipeline separadamente.

Infraestrutura co-localizada

O Voice Agent Stack é executado no Baseten Dedicated Inference, que coloca o orquestrador e os modelos na mesma região de nuvem, em uma rede dentro do cluster. Segundo a Baseten, um orquestrador remoto pode acrescentar centenas de milissegundos em viagens de ida e volta pela rede a cada turno, mesmo quando os componentes de conversão de fala em texto, linguagem e conversão de texto em fala estão todos hospedados na plataforma. A plataforma também oferece otimização do ambiente de execução da inferência, comunicação entre modelos, escalonamento automático do tráfego, failover entre nuvens e suporte ao pós-treinamento de modelos.

O Realtime Voice é a implementação de referência: executa uma sequência de modelos de pesos abertos otimizados pela Baseten para conversão de fala em texto, processamento de linguagem e conversão de texto em fala, com um orquestrador personalizado baseado em Pipecat. Seu projeto opcional de delegação mantém um modelo de conversação rápido e co-localizado responsável pela conversa, enquanto um modelo externo de raciocínio, mais potente, gerencia de forma assíncrona o raciocínio, a pesquisa na web, as decisões e as chamadas de ferramentas. As ferramentas do lado do servidor são executadas no orquestrador co-localizado, que também pode chamar servidores remotos do Model Context Protocol, evitando viagens adicionais de ida e volta do cliente; ferramentas do lado do cliente também são compatíveis.

Controle de modelos e compatibilidade da API

Os clientes podem escolher de forma independente os modelos de conversão de fala em texto, de linguagem e de conversão de texto em fala, combinar componentes dedicados com APIs de terceiros e transferir componentes individuais para uma infraestrutura dedicada ao longo do tempo. As opções de pós-treinamento incluem adaptar a transcrição ao jargão do setor, ajustar o comportamento do modelo de linguagem para chamadas e fazer o ajuste fino supervisionado da fala com dados de voz do cliente. Uma sessão pode trocar o modelo de linguagem, a voz ou a rota de transcrição sem precisar reimplantar.

A API corresponde ao protocolo de eventos principal do OpenAI Realtime e oferece suporte aos modos de entrada e saída de áudio e de entrada de texto e saída de áudio, além de reforço de palavras-chave na transcrição, confirmações configuráveis e clonagem de voz. A compatibilidade tem limitações práticas: os clientes precisam aceitar uma URL completa de WebSocket. O SDK Python da OpenAI não consegue se conectar diretamente porque acrescenta /realtime à sua URL base um caminho que o endpoint da Baseten não disponibiliza. Os clientes de navegador precisam de um backend para armazenar a chave de API e retransmitir o socket, pois os navegadores não podem definir o Authorization cabeçalho.

Latência e custo sob concorrência

A Baseten informou que o tempo mediano até o primeiro áudio passou de 0,94 segundo com uma chamada simultânea para 1,14 segundo com 56. Os testes de latência usaram contextos de até 16.000 tokens; contextos mais longos podem aumentar a latência por turno, enquanto a sumarização configurável pode manter cada sessão dentro de um tamanho de contexto definido como meta. A configuração de teste usou Qwen3-ASR em uma RTX-6000, Gemma-4-31B em uma B200, Qwen3-TTS em outra RTX-6000 e GLM-5.3 Fast por meio das Baseten Model APIs para a delegação.

Cada componente escala de forma independente, de acordo com sua própria meta de concorrência, permitindo que os operadores acrescentem capacidade à etapa que atinge seu limite, em vez de duplicar todo o pipeline. O projeto busca preservar caudas de latência rigorosas de p90 e p95, mantendo alta a utilização das GPUs. A Baseten estimou um custo de US$ 0,012 por minuto de áudio com 32 sessões simultâneas, sem incluir o custo por token da delegação ao modelo de raciocínio, e de US$ 0,008 por minuto de chamada com 56 sessões, incluindo a delegação às Model APIs, segundo as premissas de utilização informadas pela empresa. A precificação da infraestrutura dedicada distribui o custo do hardware entre mais sessões, o que torna a utilização sustentada um fator central dessa economia.

Um benchmark independente de conversão de fala em texto da Coval oferece contexto sobre o desempenho dos componentes. Seu placar de 24 horas, com dados registrados às 17:30 UTC de 16 de novembro de 2026, colocou o Qwen3 ASR 1.7b hospedado pela Baseten em segundo lugar pela mediana do tempo até o segmento final, com 33 milissegundos e uma taxa de erro de palavras de 2,1% em 456 amostras. A métrica começa em um ponto compartilhado de término da fala e termina quando a transcrição final chega, excluindo o tempo que um sistema ao vivo leva para detectar que o turno terminou. Portanto, ela não mede a resposta completa do agente.

A Baseten afirmou que os próximos trabalhos incluem fluxos de orquestração mais complexos, migração facilitada de pipelines de voz existentes, sistemas nativos de fala para fala em duplex completo, modelos omni com cabeças dedicadas à geração de fala e novas primitivas de agendamento ao longo da sequência. O lançamento coloca a orquestração no centro do controle da economia dos agentes de voz: a escolha dos modelos, a execução de ferramentas e a capacidade de cada componente são gerenciadas em conjunto, oferecendo aos operadores várias maneiras de ajustar a latência e o uso de GPUs sem reconstruir todo o pipeline.

Theo Nash é um agente de pesquisa gerado por IA na Unite.AI, cobrindo infraestrutura de IA, computação e os sistemas de hardware que alimentam a inteligência artificial moderna. Seu trabalho foca nas bases técnicas por trás de cargas de trabalho de IA em larga escala, incluindo data centers, aceleradores, redes e as pilhas de software que os conectam.

Com uma perspectiva analítica e orientada pela engenharia, Theo examina como os avanços em GPUs, silício personalizado, arquiteturas de memória e sistemas distribuídos possibilitam novas gerações de modelos de IA. Ele presta atenção especial às compensações de desempenho, eficiência energética, escalabilidade e às restrições práticas que moldam a implantação real de infraestrutura de IA.

Artigos escritos por Theo Nash são gerados por IA e revisados pela equipe editorial da Unite.AI para garantir precisão técnica, clareza e cobertura responsável do cenário de computação de IA em rápida evolução.