Alex Smola, cofundador da Boson AI – Série de entrevistas

Alex Smola é cofundador da Boson AI, onde trabalha com IA de voz conversacional e sistemas multimodais. Sua carreira abrange pesquisa acadêmica na Carnegie Mellon University e iniciativas de IA em larga escala na AWS. Ele combina essa experiência em pesquisa e desenvolvimento de produtos para criar assistentes capazes de compreender sinais da conversa, lidar com interrupções e realizar tarefas úteis.

Boson AI desenvolve modelos fundacionais e ferramentas para interação por voz, áudio e em modalidades diversas. Seu modelo Higgs Realtime permite conversas ao vivo de fala para fala, enquanto sua plataforma mais ampla inclui geração de fala expressiva, avatares e agentes de voz empresariais. Nesta entrevista, Smola fala sobre inteligência conversacional, desempenho multilíngue, economia da inferência e as salvaguardas necessárias para integrar agentes de voz a fluxos de trabalho empresariais reais.

Sua carreira levou você da pesquisa acadêmica na Carnegie Mellon University à liderança de iniciativas de IA em larga escala na AWS e, agora, à cofundação da Boson AI. O que inspirou você a se dedicar à IA de voz conversacional e quais limitações fundamentais da interação entre humanos e IA espera superar?

Os seres humanos se comunicam com muito mais do que palavras. É possível perceber a incerteza na voz de alguém ou notar que a pessoa não entendeu uma explicação. Um breve sinal de compreensão pode indicar que você deve continuar falando. Percebemos esses sinais sem pensar, mas ensinar computadores a reconhecê-los ainda é um trabalho em andamento.

É isso que torna essa área tão interessante para mim. Hoje temos sistemas com inteligência considerável, mas ainda pode ser estranho se comunicar com eles. Quero que as pessoas possam explicar o que precisam com as próprias palavras, sem ter de descobrir como falar com o software.

Na AWS, aprendi a prestar muita atenção ao que os clientes tentavam fazer e a avaliar se o produto os ajudava nessa tarefa. Trouxemos essa abordagem para a Boson, com liberdade para avançar rapidamente à medida que a pesquisa progride.

A voz e o vídeo nos dão mais informações para trabalhar. Se alguém parece confuso ou hesita, o assistente tem a oportunidade de responder antes que a conversa saia dos trilhos. Acertar nessas interações cotidianas é uma parte importante da nossa ambição.

A Boson AI apresentou recentemente o Higgs Realtime, desenvolvido para permitir interações naturais, em tempo real, de fala para fala. O que diferencia fundamentalmente essa abordagem dos sistemas tradicionais que combinam reconhecimento de fala, modelos de linguagem e conversão de texto em fala? E por que essa diferença importa para o futuro dos assistentes de IA?

Em um fluxo de processamento tradicional, o reconhecimento de fala transforma suas palavras em texto, um modelo de linguagem gera uma resposta e um modelo de fala a lê em voz alta. Cada etapa depende da anterior, o que pode fazer a conversa parecer lenta e desconexa.

Higgs Realtime é um modelo de fala para fala nativo de áudio, desenvolvido para interações ao vivo. Seu treinamento aborda o comportamento conversacional, incluindo a alternância de turnos e a resposta a mudanças nos pedidos. Isso é bem diferente de simplesmente dar voz a um chatbot baseado em texto.

Pense em quando você faz uma pergunta difícil a alguém. A pessoa pode dizer: “Deixe-me pesquisar isso”, enquanto procura a resposta. Você sabe que ela ouviu o que você disse e está trabalhando nisso. Um assistente de IA precisa fazer o mesmo enquanto busca informações ou usa uma ferramenta, para que você não fique em dúvida se ele entendeu o pedido ou parou de funcionar.

Isso se torna ainda mais importante em tarefas mais longas. O assistente precisa manter você informado enquanto trabalha e responder caso você faça uma pergunta ou mude de ideia.

Um dos maiores desafios da IA conversacional é saber quando falar, quando ouvir e como lidar com interrupções ou mudanças de rumo. Como a Boson AI está enfrentando esses desafios e quais avanços técnicos ainda são necessários para que as conversas com a IA pareçam genuinamente naturais?

Um sinal de confirmação e uma interrupção podem soar bastante parecidos, mas exigem respostas diferentes. Se alguém diz “sim” enquanto você está falando, talvez queira que você continue. Se a pessoa corrige um algarismo do número de telefone, você precisa parar e usar o número correto. Um assistente de IA deve ser capaz de perceber a diferença.

O Higgs Realtime usa o significado do que alguém diz para ajudar a decidir se a pessoa terminou de falar ou está fazendo uma pausa. Responder rapidamente é importante, mas saber como responder também é.

Ainda é bastante difícil acertar nisso de forma consistente. As pessoas não falam em turnos organizados, e as mesmas palavras podem significar coisas diferentes dependendo da conversa. O assistente precisa entender o que mudou e se lembrar do que estava fazendo.

A Boson AI desenvolveu avaliações comparativas, como a IHBench, para medir a capacidade dos agentes de voz de se recuperar de interrupções. O que essas avaliações revelaram sobre as fragilidades dos principais modelos de voz atuais e como o setor deveria repensar a maneira de medir a inteligência conversacional?

Criamos o IHBench para testar o que acontece quando alguém interrompe um agente de voz. Se você corrigir algo no meio de uma reserva, o agente deve aceitar a correção e continuar do ponto certo. Você não deveria ter que começar de novo nem ouvir informações que ele já forneceu. Os resultados variaram bastante conforme o modelo e o tipo de interrupção. Uma constatação que não gostamos muito de publicar: em geral, os sistemas de pesos fechados lidaram melhor com as interrupções e se saíram melhor quanto mais tarde na conversa elas ocorriam.

Essa é uma lacuna real no ecossistema aberto, e preferimos medi-la publicamente a fingir que ela não existe. Esse é também o principal motivo da existência do benchmark. Não é possível fechar uma lacuna sem que haja um acordo sobre como medi-la. Publicamos esse benchmark sem incluir nenhum modelo nosso. Quando incluímos um, o Higgs Realtime obteve 71.2 em qualidade de recuperação, à frente do GPT Realtime 1.5, com 65.5, do GPT Realtime 2, com 62.4, e do Gemini 3.1 Flash Live, com 61.1. Portanto, é possível fechar essa lacuna, e um modelo de pesos abertos conseguiu fazê-lo.

Prefiro demonstrar isso em um teste que projetamos para ser difícil e publicamos antes de termos qualquer resultado para apresentar. De forma mais ampla, acho que o setor mede as coisas erradas. Uma voz pode soar completamente natural e ainda assim não cumprir sua função, porque o que realmente importa é se o agente conclui a tarefa. Se você precisa ficar lembrando o agente do que estava fazendo, a qualidade da voz deixa de importar muito rapidamente.

Há uma diferença significativa entre uma demonstração impressionante de IA de voz e um agente autônomo capaz de lidar com interações reais com clientes. O que distingue um do outro e quais capacidades precisam melhorar antes que as empresas possam implementar agentes de voz com confiança em fluxos de trabalho essenciais para os negócios?

Quando foi a última vez que você gostou de ligar para a sua operadora de TV a cabo? Para a maioria das pessoas, a resposta é nunca. Você é transferido de uma pessoa para outra e, a cada vez, precisa explicar seu nome, sua data de nascimento e o problema novamente, para que a pessoa seguinte peça todas essas informações outra vez. Agora imagine a quarta ligação sobre o mesmo problema. Você quer que o agente saiba o que aconteceu nas três primeiras. Se reiniciar o roteador não resolveu, talvez seja hora de enviar um técnico, e você não deveria ter que justificar isso por conta própria. Para fazer isso, o agente precisa do histórico da sua conta e de acesso ao sistema que agenda a visita.

Ele também precisa lidar com situações em que o agendamento falha e saber quando transferir você para alguém que possa realmente resolver o problema. São essas as situações que uma empresa precisa testar antes de colocar um agente para atender ligações de clientes. Há também o custo de operação. Um sistema que funciona muito bem em uma demonstração pode ser caro demais para operar com milhares de ligações por dia. Por isso, a eficiência faz parte da prontidão para os negócios, não é uma preocupação separada.

Há vários meses, estamos executando esse cenário exato para uma seguradora global. Não se trata de um teste paralelo ao sistema real. O sistema atende conversas reais com clientes, recebidas e realizadas, ao lado dos agentes de vendas humanos, no centro de atendimento da empresa. São milhares de ligações simultâneas, por cerca de um terço do custo de um agente humano.

O que acho mais interessante do que o custo é que o sistema melhorou durante a operação. Na avaliação da própria empresa, a qualidade das nossas conversas recebeu nota 30 no início. Cinco meses depois, chegou a 80, a nota que a empresa atribui a um operador de telemarketing humano qualificado. Na mesma avaliação, o GPT-4o Realtime recebeu 55. Não alcançamos esse resultado ajustando o modelo em um laboratório. O sistema melhorou com base nas interações que realmente atendia, o único tipo de melhoria que importa para um centro de atendimento.

À medida que os agentes de voz deixam de apenas responder a perguntas e passam a executar tarefas, acessar informações de clientes e interagir com sistemas empresariais, como os desenvolvedores devem equilibrar a autonomia com a supervisão humana? Quais salvaguardas são essenciais para estabelecer confiança nesses sistemas a longo prazo?

Eu começaria perguntando o que você está confiando ao agente. Permitir que ele consulte o saldo de uma conta é muito diferente de permitir que transfira dinheiro ou cancele um serviço. As permissões devem refletir essa diferença, e os sistemas aos quais ele se conecta precisam aplicá-las. Não se pode deixar tudo isso a cargo de uma instrução no prompt.

As pessoas também devem saber com o que estão concordando. Antes de fazer uma alteração difícil de desfazer, o agente deve explicar as consequências e pedir confirmação. Assim, se ele ficar sem saber como prosseguir, será simples envolver uma pessoa.

Ainda haverá problemas. Quando isso acontecer, será preciso poder ver o que o agente fez e em que ponto parou, para que alguém possa corrigir a situação. Uma voz confiante pode nos levar a presumir que o sistema sabe o que está fazendo, mas essa confiança precisa ser conquistada pela confiabilidade do seu comportamento.

O Higgs Realtime oferece suporte a mais de 100 idiomas, incluindo a possibilidade de mudar de idioma durante uma conversa. Quais são os maiores desafios técnicos para oferecer inteligência conversacional consistente em diferentes idiomas, sotaques e estilos de comunicação, especialmente ao interpretar o contexto emocional e a intenção do usuário?

A cobertura de idiomas parece uma lista, mas não é. Há algum tempo, um cliente precisava de tailandês. Tínhamos cobertura parcial, e a primeira coisa que descobrimos foi que não sabíamos absolutamente nada sobre a língua tailandesa propriamente dita — a começar pelo fato de que a escrita tailandesa praticamente não usa pontuação. Isso invalida as premissas sobre limites entre frases nas quais se baseia a maioria dos sistemas de fala. Poderíamos ter adiado a entrada nesse mercado. Em vez disso, encontramos cientistas da computação que falavam tailandês e reconstruímos a forma como o sistema processava a língua.

Cerca de seis semanas depois, estávamos em Bangkok fazendo uma demonstração. Durante a apresentação, não consegui perceber como estava correndo — eu ouvia as pessoas testarem um sistema em uma língua que não falo — e, depois, elas disseram que estava bom, o que foi um grande alívio. As convenções variam tanto quanto o vocabulário. Em japonês, os ouvintes fazem pequenas manifestações de assentimento enquanto você fala para mostrar que estão acompanhando. Se o assistente interrompe a conversa todas as vezes para passar a vez ao outro, destrói o ritmo do diálogo.

As palavras podem estar perfeitas e, ainda assim, a conversa pode fracassar. E a maneira como você diz algo importa tanto quanto o que diz. É possível usar exatamente as mesmas palavras com afeto ou sarcasmo, e a resposta adequada é completamente diferente. Manter o tom e o contexto quando o idioma muda no meio da frase é uma grande parte do que torna esse tema tão interessante para mim.

Empresas como OpenAI e Google estão investindo fortemente em IA multimodal em tempo real. Como uma empresa especializada como a Boson AI pode competir com organizações que dispõem de recursos computacionais significativamente maiores, e onde você vê as maiores oportunidades de diferenciação na arquitetura dos modelos, no desempenho e na economia da inferência?

Ter mais capacidade computacional não significa automaticamente que você a esteja usando bem. Em uma conversa ao vivo, é possível gastar muito dinheiro para executar um modelo extremamente poderoso só para processar alguém dizendo “hum” ou “sim, provavelmente”. Esse modelo vai usar boa parte da sua inteligência para ouvir palavras de preenchimento. Os modelos são caros e consomem muita energia, assim como a inferência. No fim, quem paga por isso é o cliente.

Os seres humanos resolvem isso dividindo a atenção. Você pode estar em uma cafeteria tendo uma conversa um pouco entediante enquanto, no fundo da mente, pensa no que vai preparar para o jantar. A parte consciente da mente mantém a conversa. Então, a outra pessoa faz uma pergunta realmente difícil, e você se concentra por completo, dedicando toda a sua atenção a ela. Construímos sistemas de conversação da mesma maneira.

Um modelo barato cuida da parte inicial da conversa; recursos mais caros de raciocínio e chamadas de ferramentas entram em ação quando a tarefa realmente exige isso. A outra parte é que compramos nossa capacidade computacional em vez de alugá-la. A conta é simples: pegue o custo por hora de uma instância na nuvem, multiplique-o pelo número de horas de um ano e você chegará a um valor próximo ao custo de compra do equipamento. Calculamos o ponto de equilíbrio componente por componente e partimos daí. Foi mais difícil do que parece, e nem tudo correu perfeitamente. Mas isso elimina a escalabilidade baseada apenas em força bruta, o que significa que todo avanço precisa vir de dados melhores e de uma arquitetura melhor. Também acabou nos protegendo: componentes cotados para nós por menos de US$ 100.000 custaram cerca do dobro seis meses depois. Conseguimos avançar rapidamente porque somos uma equipe pequena que trabalha em uma única coisa. Um pesquisador pode ter uma ideia, testá-la e incorporá-la ao produto por conta própria. Também nos beneficiamos da comunidade de pesquisa aberta e contribuímos com ela, o que permite que uma equipe pequena faça bem mais do que seu tamanho poderia sugerir.

Sua pesquisa sobre o ProactBench explora uma dimensão importante da inteligência conversacional: reconhecer as necessidades dos usuários mesmo quando eles não as expressam explicitamente. Como você imagina que os agentes de voz evoluirão de assistentes reativos para colaboradores proativos, e onde devem estar os limites entre antecipar as necessidades dos usuários e ir longe demais?

Digamos que você esteja marcando uma consulta médica e, no início da conversa, mencione que não pode dirigir. Um bom assistente se lembraria disso e sugeriria uma consulta remota ou ajudaria com o transporte. Você não deveria ter que repetir essa informação.

É isso que estamos estudando com o ProactBench: se um assistente consegue usar o que você contou para antecipar suas necessidades e oferecer ajuda que você não pediu diretamente.

É claro que talvez você já tenha organizado uma carona para a consulta. O assistente deve oferecer essa opção e deixar que você decida, em vez de presumir que sabe quais são seus planos. Gostaria que esses sistemas poupassem o esforço das pessoas, mas mantivessem sob o controle delas o que acontece.

Pensando nos próximos cinco anos, você acredita que a voz se tornará a principal interface pela qual as pessoas interagem com a IA e os softwares? Em caso afirmativo, como essa transformação poderá remodelar os aplicativos tradicionais, o software empresarial e o papel das telas e das interfaces gráficas?

Acredito que vamos conversar muito mais com os computadores, muitas vezes também com vídeo. Quando você consegue ver alguém com uma expressão confusa, sabe que talvez precise explicar algo de outra maneira. Nossa demonstração de áudio e vídeo mostra o início desse tipo de interação, em que a IA responde tanto ao que vê quanto ao que ouve.

Ainda prefiro usar um teclado para escrever código e, se estiver comparando informações, talvez queira vê-las em uma tela, onde posso analisá-las no meu próprio ritmo.

Para software empresarial, imagino começar uma tarefa explicando do que preciso, depois analisar o resultado na tela e fazer alterações diretamente. Ao longo dos próximos cinco anos, acho que será muito mais fácil alternar entre essas formas de trabalhar. Você poderia conversar quando fosse conveniente e usar a tela quando precisasse de precisão.

Agradecemos pela ótima entrevista. Leitores que desejem explorar a IA de voz conversacional e os agentes de voz empresariais devem visitar Boson AI.