Alex Smola, cofundador de Boson AI: serie de entrevistas

Alex Smola es cofundador de Boson AI, donde trabaja en inteligencia artificial conversacional por voz y sistemas multimodales. Su trayectoria abarca la investigación académica en Carnegie Mellon University y proyectos de inteligencia artificial a gran escala en AWS. Combina esa experiencia en investigación y desarrollo de productos para crear asistentes capaces de comprender las señales de una conversación, gestionar interrupciones y realizar tareas útiles.

Boson AI desarrolla modelos fundacionales y herramientas para la interacción por voz, audio y medios multimodales. Su modelo Higgs Realtime permite mantener conversaciones en directo de voz a voz, mientras que su plataforma más amplia incluye generación expresiva de voz, avatares y agentes de voz para empresas. En esta entrevista, Smola habla sobre inteligencia conversacional, rendimiento multilingüe, economía de la inferencia y las medidas de protección necesarias para integrar agentes de voz en flujos de trabajo empresariales reales.

Su trayectoria lo ha llevado de la investigación académica en Carnegie Mellon University a dirigir proyectos de inteligencia artificial a gran escala en AWS y, ahora, a cofundar Boson AI. ¿Qué lo llevó a centrarse en la inteligencia artificial conversacional por voz y qué limitaciones fundamentales de la interacción entre las personas y la inteligencia artificial espera superar?

Las personas nos comunicamos con mucho más que palabras. Se puede oír la incertidumbre en la voz de alguien o darse cuenta de que no ha entendido una explicación. Un pequeño gesto de asentimiento puede indicar que hay que seguir hablando. Percibimos estas señales sin pensarlo, pero enseñar a las computadoras a reconocerlas sigue siendo un desafío en curso.

Eso es lo que hace que este campo me resulte tan interesante. Ahora contamos con sistemas bastante inteligentes, pero comunicarse con ellos todavía puede resultar incómodo. Quiero que las personas puedan explicar lo que necesitan con sus propias palabras, sin tener que averiguar cómo hablarle al software.

En AWS aprendí a prestar mucha atención a lo que los clientes intentaban hacer y a si el producto les ayudaba a conseguirlo. Hemos llevado ese enfoque a Boson, con la libertad de avanzar rápidamente a medida que progresa la investigación.

La voz y el video nos ofrecen más información. Si alguien parece confundido o duda, el asistente tiene la oportunidad de responder antes de que la conversación se desvíe. Lograr que esas interacciones cotidianas funcionen bien es una parte importante de nuestra ambición.

Boson AI presentó recientemente Higgs Realtime, diseñado para permitir interacciones naturales de voz a voz en tiempo real. ¿Qué diferencia fundamental tiene este enfoque frente a los sistemas tradicionales que combinan reconocimiento de voz, modelos de lenguaje y conversión de texto a voz? ¿Y por qué es importante esa diferencia para el futuro de los asistentes de inteligencia artificial?

En un sistema tradicional, el reconocimiento de voz convierte las palabras en texto, un modelo de lenguaje genera una respuesta y un modelo de voz la lee en voz alta. Cada etapa depende de la anterior, lo que puede hacer que la conversación parezca lenta y entrecortada.

Higgs Realtime es un modelo de voz a voz nativo de audio, creado para la interacción en directo. Su entrenamiento aborda el comportamiento conversacional, incluidos los turnos de palabra y las respuestas a solicitudes que van cambiando. Es muy distinto de ponerle voz a un chatbot de texto.

Piense en una ocasión en la que le hace a alguien una pregunta difícil. Mientras busca la respuesta, quizá diga: «Déjeme consultarlo». Usted sabe que le ha oído y que está trabajando en ello. Un asistente de inteligencia artificial debería hacer lo mismo mientras busca información o utiliza una herramienta, para que usted no se quede preguntándose si lo ha entendido o si ha dejado de funcionar.

Esto cobra aún más importancia en las tareas largas. El asistente debe mantenerle al tanto mientras trabaja y responder si usted hace una pregunta o cambia de opinión.

Uno de los mayores desafíos de la inteligencia artificial conversacional es saber cuándo hablar, cuándo escuchar y cómo gestionar las interrupciones o los cambios de rumbo. ¿Cómo aborda Boson AI estos desafíos y qué avances técnicos siguen siendo necesarios para que las conversaciones con inteligencia artificial parezcan realmente naturales?

Una señal de asentimiento y una interrupción pueden sonar muy parecidas, pero requieren respuestas distintas. Si alguien dice «sí» mientras usted habla, quizá quiera que continúe. Si corrige un dígito de su número de teléfono, usted debe detenerse y usar el número correcto. Un asistente de inteligencia artificial debería poder distinguir entre ambas situaciones.

Higgs Realtime utiliza el significado de lo que dice una persona para ayudar a decidir si ha terminado de hablar o si está haciendo una pausa. Es importante responder rápido, pero también saber cómo hacerlo.

Sigue siendo bastante difícil lograrlo de manera sistemática. Las personas no hablan siguiendo turnos ordenados, y las mismas palabras pueden significar cosas distintas según la conversación. El asistente debe entender qué ha cambiado y recordar lo que estaba haciendo.

Boson AI ha desarrollado pruebas de evaluación como IHBench para medir cómo se recuperan los agentes de voz tras una interrupción. ¿Qué han revelado estas evaluaciones sobre las debilidades de los principales modelos de voz actuales y cómo debería replantearse el sector la manera de medir la inteligencia conversacional?

Desarrollamos IHBench para comprobar qué ocurre cuando alguien interrumpe a un agente de voz. Si corriges algo a mitad de una reserva, el agente debería aceptar la corrección y continuar desde el punto adecuado. No deberías tener que empezar de nuevo ni escuchar información que ya te ha dado. Los resultados variaron mucho según el modelo y el tipo de interrupción. Hubo un resultado que no nos hizo especial ilusión publicar: por lo general, los sistemas de pesos cerrados gestionaron mejor las interrupciones y resistieron mejor cuanto más avanzada estaba la conversación cuando se producía la interrupción.

Esa es una brecha real en el ecosistema de código abierto, y preferimos medirla públicamente antes que fingir que no existe. De hecho, esa es la principal razón de ser del benchmark. No se puede cerrar una brecha si nadie se ha puesto de acuerdo sobre cómo medirla. Publicamos ese benchmark sin incluir ningún modelo propio. Cuando añadimos uno, Higgs Realtime obtuvo una puntuación de 71.2 en calidad de recuperación, por delante de GPT Realtime 1.5, con 65.5; GPT Realtime 2, con 62.4; y Gemini 3.1 Flash Live, con 61.1. Así que la brecha se puede cerrar, y un modelo de pesos abiertos la cerró.

Preferiría demostrarlo con una prueba que diseñamos para que fuera difícil y que publicamos antes de tener ningún resultado que mostrar. En términos más generales, creo que el sector mide lo que no debe. Una voz puede sonar completamente natural y, aun así, no cumplir su cometido, porque la prueba importante es si el agente completa la tarea. Si tienes que recordarle constantemente lo que estabas haciendo, lo bien que suene la voz deja de importar muy pronto.

Hay una diferencia significativa entre una impresionante demostración de IA de voz y un agente autónomo capaz de gestionar interacciones reales con clientes. ¿Qué distingue a una de otro y qué capacidades deben mejorar antes de que las empresas puedan implementar agentes de voz con confianza en flujos de trabajo críticos para el negocio?

¿Cuándo fue la última vez que disfrutaste llamando a tu compañía de cable? Para la mayoría de la gente, la respuesta es nunca. Te pasan de una persona a otra y, cada vez, vuelves a explicar tu nombre, tu fecha de nacimiento y tu problema para que la siguiente persona te lo pregunte todo otra vez. Pensemos, entonces, en la cuarta llamada por el mismo problema. Quieres que el agente sepa qué ocurrió en las tres primeras. Si reiniciar el router no ha funcionado, quizá sea hora de enviar a un técnico, y no deberías tener que justificarlo tú mismo. Para hacerlo, el agente necesita el historial de tu cuenta y acceso al sistema que programa la visita.

También tiene que saber qué hacer cuando falla la reserva y cuándo transferirte a una persona que realmente pueda resolver el problema. Esas son las situaciones que una empresa debe poner a prueba antes de que un agente atienda llamadas de clientes. Luego está el costo de funcionamiento. Un sistema que gestiona una demostración a la perfección puede resultar demasiado caro para atender miles de llamadas al día, así que la eficiencia forma parte de estar preparado para operar en una empresa; no es una cuestión aparte.

Llevamos varios meses poniendo en práctica este mismo escenario con una aseguradora internacional. No es una prueba que funcione en paralelo al sistema real: gestiona conversaciones reales con clientes, tanto entrantes como salientes, junto a los agentes de ventas humanos de la empresa, en su centro de contacto. Atiende miles de llamadas simultáneas, a aproximadamente un tercio del costo de un agente humano.

Lo que me parece más interesante que el costo es que mejoró sin salir del entorno de producción. En la evaluación de la empresa, la calidad de nuestras conversaciones obtuvo una puntuación de 30 al empezar. Cinco meses después, llegó a 80, la puntuación que utilizan para un teleoperador humano cualificado. GPT-4o Realtime obtuvo 55 en la misma evaluación. No logramos ese resultado ajustando el sistema en un laboratorio. El sistema mejoró con el tráfico que realmente atendía, que es el único tipo de mejora que le importa a un centro de contacto.

A medida que los agentes de voz dejan de limitarse a responder preguntas y empiezan a ejecutar tareas, acceder a información de clientes e interactuar con sistemas empresariales, ¿cómo deberían los desarrolladores equilibrar la autonomía con la supervisión humana? ¿Qué salvaguardas son esenciales para generar confianza a largo plazo en estos sistemas?

Empezaría por preguntarme qué esperamos que haga el agente. Permitirle consultar el saldo de una cuenta es muy distinto de dejarle transferir dinero o cancelar un servicio. Los permisos deberían reflejar esa diferencia, y los sistemas a los que se conecta deben hacerlos cumplir. No se puede dejar todo eso en manos de una instrucción en un prompt.

La gente también debería saber qué está aceptando. Antes de realizar un cambio difícil de revertir, el agente debería explicar las consecuencias y pedir confirmación. Así, si se queda atascado, debería ser sencillo recurrir a una persona.

Aun así, las cosas seguirán saliendo mal. Cuando eso ocurra, hay que poder ver qué hizo el agente y dónde se detuvo para que alguien pueda corregirlo. Una voz que suena segura puede hacernos suponer que un sistema sabe lo que hace, pero esa confianza debe ganársela con un comportamiento fiable.

Higgs Realtime admite más de 100 idiomas y permite cambiar de idioma durante una conversación. ¿Cuáles son los principales desafíos técnicos para ofrecer una inteligencia conversacional coherente en distintos idiomas, acentos y estilos de comunicación, sobre todo a la hora de comprender el contexto emocional y la intención del usuario?

La cobertura de idiomas suena como una lista, pero no lo es. Hace un tiempo, un cliente necesitaba tailandés. Teníamos una cobertura parcial y lo primero que descubrimos fue que no sabíamos absolutamente nada del tailandés propiamente dicho, empezando por el hecho de que el tailandés escrito prácticamente no tiene puntuación. Eso rompe los supuestos sobre los límites entre oraciones en los que se basan la mayoría de los sistemas de voz. Podríamos haber aplazado nuestra entrada en ese mercado. En cambio, encontramos informáticos que hablaban tailandés y reconstruimos correctamente el procesamiento del idioma.

Unas seis semanas después, estábamos en Bangkok haciendo una demostración. Durante la prueba no podía saber cómo iba: escuchaba a la gente probar un sistema en un idioma que no hablo; después me dijeron que había salido bien, lo cual fue un gran alivio. Las convenciones varían tanto como el vocabulario. En japonés, quienes escuchan hacen pequeñas señales de asentimiento mientras uno habla para mostrar que siguen la conversación. Si el asistente se detiene cada vez para ceder el turno, destruye el ritmo de la conversación.

Las palabras pueden ser perfectas y, aun así, la conversación fracasar. Y la forma de decir algo importa tanto como lo que se dice. Se pueden usar exactamente las mismas palabras con afecto o con sarcasmo, y la respuesta adecuada será completamente distinta. Mantener el tono y el contexto cuando el idioma cambia a mitad de una oración es una parte importante de lo que me resulta interesante de esto.

Empresas como OpenAI y Google están invirtiendo mucho en IA multimodal en tiempo real. ¿Cómo puede competir una empresa especializada como Boson AI con organizaciones que disponen de muchos más recursos computacionales, y dónde ve las mayores oportunidades para diferenciarse en arquitectura de modelos, rendimiento y economía de la inferencia?

Tener más capacidad de cómputo no significa automáticamente que se esté usando bien. En una conversación en tiempo real, se puede gastar mucho dinero ejecutando un modelo muy potente solo para procesar que alguien diga «mmm» o «sí, probablemente». Ese modelo dedicará buena parte de su capacidad a escuchar muletillas. La capacidad de cómputo es costosa y consume mucha energía; la inferencia también. Al final, el cliente es quien paga.

Los seres humanos resuelven esto dividiendo la atención. Puedes estar en una cafetería manteniendo una conversación un poco aburrida mientras, en segundo plano, piensas qué cocinar para la cena. La parte consciente de tu mente sigue la conversación. Luego, la otra persona te hace una pregunta realmente difícil y te concentras por completo, dedicándole todos tus recursos. Construimos sistemas conversacionales de la misma manera.

Un modelo económico se encarga de la parte inicial de la conversación; cuando la tarea realmente lo requiere, entran en juego el razonamiento más costoso y las llamadas a herramientas. La otra parte es que compramos nuestra capacidad de cómputo en lugar de alquilarla. El cálculo no es complicado: se toma el costo por hora de una instancia en la nube, se multiplica por las horas de un año y se obtiene una cifra cercana al costo de comprar el hardware directamente. Calculamos el punto de equilibrio componente por componente y construimos a partir de ahí. Fue más difícil de lo que parece y no todo salió a la perfección. Pero esto elimina la posibilidad de escalar a fuerza bruta, lo que significa que cada mejora debe provenir de mejores datos y una mejor arquitectura. También resultó protegernos: componentes cuyo precio cotizado era inferior a 100.000 dólares costaban aproximadamente el doble seis meses después. Podemos avanzar rápido porque somos un equipo pequeño que trabaja en una sola cosa. Un investigador puede tomar una idea, ponerla a prueba e incorporarla al producto por sí mismo. Además, nos beneficiamos de la comunidad de investigación abierta y contribuimos a ella, lo que permite que un equipo pequeño haga bastante más de lo que cabría esperar por su tamaño.

Su investigación sobre ProactBench explora una dimensión importante de la inteligencia conversacional: reconocer lo que necesitan los usuarios aunque no lo hayan pedido explícitamente. ¿Cómo imagina que evolucionarán los agentes de voz, de asistentes reactivos a colaboradores proactivos, y dónde deberían estar los límites entre anticiparse a las necesidades de los usuarios y excederse?

Supongamos que estás concertando una cita médica y, al principio de la conversación, mencionas que no puedes conducir. Un buen asistente lo recordaría y te sugeriría una cita a distancia o te ayudaría a organizar el transporte. No deberías tener que repetir esa información.

Eso es lo que estamos estudiando con ProactBench: si un asistente puede usar lo que le has contado para anticiparse a tus necesidades y ofrecerte ayuda que no hayas pedido directamente.

Por supuesto, puede que ya hayas organizado cómo llegar a la cita. El asistente debería ofrecerte la opción y dejar que decidas, en lugar de dar por sentado que conoce tus planes. Me gustaría que estos sistemas ahorraran esfuerzo a las personas, pero que ellas siguieran teniendo el control de lo que ocurre.

De cara a los próximos cinco años, ¿cree que la voz se convertirá en la interfaz principal con la que las personas interactúen con la IA y el software? De ser así, ¿cómo podría esa transformación cambiar las aplicaciones tradicionales, el software empresarial y el papel de las pantallas y las interfaces gráficas de usuario?

Espero que hablemos mucho más con las computadoras, a menudo también con video. Cuando puedes ver que alguien está confundido, sabes que quizá tengas que explicar algo de otra manera. Nuestra demostración de audio y video muestra los primeros pasos de ese tipo de interacción, en la que la IA responde tanto a lo que ve como a lo que oye.

Sigo prefiriendo usar un teclado para escribir código y, si estoy comparando información, quizá quiera verla en una pantalla para revisarla a mi propio ritmo.

Para el software empresarial, imagino que se podría empezar una tarea explicando qué necesito, luego revisar el resultado en pantalla y hacer cambios directamente. Durante los próximos cinco años, creo que será mucho más fácil pasar de una forma de trabajar a otra. Se podría hablar cuando resulte conveniente y usar la pantalla cuando se necesite precisión.

Gracias por la excelente entrevista. Los lectores que deseen explorar la IA de voz conversacional y los agentes de voz empresariales pueden visitar Boson AI.