Alex Smola, cofondateur de Boson AI – Série d’entretiens

Alex Smola est cofondateur de Boson AI, où il travaille sur l’IA vocale conversationnelle et les systèmes multimodaux. Sa carrière l’a conduit de la recherche universitaire à Carnegie Mellon University aux grandes initiatives en IA menées chez AWS. Il met cette double expérience de la recherche et des produits au service de la création d’assistants capables de comprendre les indices conversationnels, de gérer les interruptions et d’accomplir des tâches utiles.

Boson AI développe des modèles de fondation et des outils pour la voix, l’audio et les interactions multimodales. Son modèle Higgs Realtime permet des conversations en direct de parole à parole, tandis que sa plateforme propose également la génération de parole expressive, des avatars et des agents vocaux destinés aux entreprises. Dans cet entretien, Smola aborde l’intelligence conversationnelle, les performances multilingues, les coûts de l’inférence et les garde-fous nécessaires pour intégrer les agents vocaux aux processus opérationnels des entreprises.

Votre carrière vous a conduit de la recherche universitaire à Carnegie Mellon University à la direction de grandes initiatives en IA chez AWS, puis à la cofondation de Boson AI. Qu’est-ce qui vous a amené à vous consacrer à l’IA vocale conversationnelle, et quelles limites fondamentales des interactions entre humains et IA espérez-vous dépasser ?

Les humains communiquent par bien plus que les mots. On peut entendre l’incertitude dans la voix d’une personne ou voir qu’elle n’a pas compris une explication. Un petit signe d’acquiescement peut indiquer qu’il faut poursuivre. Nous percevons ces indices sans y penser, mais apprendre aux ordinateurs à les reconnaître reste un travail en cours.

C’est ce qui rend ce domaine si intéressant à mes yeux. Nous disposons désormais de systèmes très intelligents, mais communiquer avec eux peut encore sembler maladroit. Je voudrais que chacun puisse expliquer ce dont il a besoin avec ses propres mots, sans avoir à chercher comment s’adresser au logiciel.

Chez AWS, j’ai appris à prêter une attention particulière à ce que les clients cherchaient à faire et à déterminer si le produit les y aidait. Nous avons transposé cette approche chez Boson, avec la liberté d’avancer rapidement au rythme des progrès de la recherche.

La voix et la vidéo nous donnent davantage d’éléments à exploiter. Si une personne semble perplexe ou hésite, l’assistant peut intervenir avant que la conversation ne déraille. Réussir ces interactions du quotidien est au cœur de notre ambition.

Boson AI a récemment présenté Higgs Realtime, conçu pour permettre des interactions naturelles en temps réel, de parole à parole. En quoi cette approche diffère-t-elle fondamentalement des systèmes traditionnels qui associent reconnaissance vocale, modèles de langage et synthèse vocale, et pourquoi cette différence est-elle importante pour l’avenir des assistants IA ?

Dans une architecture traditionnelle, la reconnaissance vocale transforme vos paroles en texte, un modèle de langage génère une réponse, puis un modèle vocal la lit à voix haute. Chaque étape dépend de la précédente, ce qui peut rendre la conversation lente et décousue.

Higgs Realtime est un modèle audio natif qui convertit la parole en parole et qui a été conçu pour les interactions en direct. Son entraînement porte notamment sur les comportements conversationnels, comme l’alternance des tours de parole et la prise en compte de demandes qui évoluent. C’est très différent du simple ajout d’une voix à un chatbot textuel.

Imaginez que vous posiez une question difficile à quelqu’un. Pendant qu’il cherche la réponse, il pourrait vous dire : « Laissez-moi vérifier. » Vous savez alors qu’il vous a entendu et qu’il s’en occupe. Un assistant IA doit faire de même lorsqu’il récupère des informations ou utilise un outil, afin que vous ne vous demandiez pas s’il vous a compris ou s’il a cessé de fonctionner.

C’est encore plus important pour les tâches longues. L’assistant doit vous tenir au courant pendant qu’il travaille et réagir si vous posez une question ou changez d’avis.

L’un des principaux défis de l’IA conversationnelle consiste à savoir quand parler, quand écouter et comment gérer les interruptions ou les changements de direction. Comment Boson AI s’attaque-t-elle à ces difficultés, et quelles avancées techniques restent nécessaires pour que les conversations avec l’IA paraissent véritablement naturelles ?

Un signe d’acquiescement et une interruption peuvent se ressembler beaucoup, mais ils appellent des réponses différentes. Si quelqu’un dit « oui » pendant que vous parlez, il souhaite peut-être que vous poursuiviez. S’il corrige un chiffre de son numéro de téléphone, vous devez vous arrêter et utiliser le bon numéro. Un assistant IA doit pouvoir faire la différence.

Higgs Realtime s’appuie sur le sens des paroles d’une personne pour déterminer si elle a fini de parler ou si elle marque une pause. Il est important de répondre rapidement, mais aussi de savoir comment répondre.

Il reste difficile d’y parvenir de manière constante. Les gens ne parlent pas selon des tours de parole bien délimités, et les mêmes mots peuvent avoir des sens différents selon la conversation. L’assistant doit comprendre ce qui a changé et se souvenir de ce qu’il était en train de faire.

Boson AI a mis au point des bancs d’essai tels qu’IHBench pour mesurer la capacité des agents vocaux à reprendre le fil après une interruption. Qu’ont révélé ces évaluations sur les faiblesses des principaux modèles vocaux actuels, et comment le secteur devrait-il repenser sa façon de mesurer l’intelligence conversationnelle ?

Nous avons conçu IHBench pour tester ce qui se passe lorsqu’une personne interrompt un agent vocal. Si vous corrigez quelque chose au beau milieu d’une réservation, l’agent doit prendre en compte la correction et reprendre au bon endroit. Vous ne devriez pas avoir à recommencer ni à réentendre des informations qu’il vous a déjà communiquées. Les résultats variaient beaucoup selon le modèle et le type d’interruption. Un constat que nous n’avons pas particulièrement pris plaisir à publier : les systèmes à poids fermés géraient généralement mieux les interruptions et résistaient mieux lorsque celles-ci survenaient plus tard dans la conversation.

Il existe un véritable écart dans l’écosystème ouvert, et nous préférons le mesurer publiquement plutôt que de faire comme s’il n’existait pas. C’est aussi la principale raison d’être de ce benchmark. On ne peut pas combler un écart sans s’être mis d’accord sur la manière de le mesurer. Nous avons publié ce benchmark sans y inclure notre propre modèle. Lorsque nous en avons ajouté un, Higgs Realtime a obtenu un score de 71.2 en matière de qualité de reprise, devançant GPT Realtime 1.5, à 65.5, GPT Realtime 2, à 62.4, et Gemini 3.1 Flash Live, à 61.1. L’écart peut donc être comblé, et un modèle à poids ouverts l’a comblé.

Je préfère le démontrer à l’aide d’un test que nous avons conçu pour être difficile et publié avant d’avoir le moindre résultat à présenter. Plus généralement, je pense que le secteur mesure les mauvaises choses. Une voix peut sembler tout à fait naturelle et pourtant échouer dans sa tâche, car le test décisif consiste à savoir si l’agent mène la tâche à bien. Si vous devez sans cesse lui rappeler ce que vous étiez en train de faire, la qualité de sa voix cesse très vite d’avoir de l’importance.

Il y a une différence importante entre une démonstration impressionnante d’IA vocale et un agent autonome capable de gérer de véritables interactions avec les clients. Qu’est-ce qui distingue les deux, et quelles capacités doivent progresser avant que les entreprises puissent déployer en toute confiance des agents vocaux dans des processus essentiels à leurs activités ?

Quand avez-vous, pour la dernière fois, apprécié d’appeler votre opérateur de télévision par câble ? Pour la plupart des gens, la réponse est : jamais. On vous passe d’une personne à l’autre et, à chaque fois, vous devez de nouveau expliquer votre nom, votre date de naissance et votre problème, afin que la personne suivante puisse vous demander de tout répéter. Prenons donc le quatrième appel au sujet du même problème. Vous voulez que l’agent sache ce qui s’est passé lors des trois premiers. Si le redémarrage du routeur n’a pas fonctionné, il est peut-être temps d’envoyer un technicien, et vous ne devriez pas avoir à justifier vous-même cette décision. Pour cela, l’agent doit avoir accès à l’historique de votre compte et au système de prise de rendez-vous.

Il doit aussi pouvoir gérer les échecs de réservation et savoir quand vous transférer à une personne capable de résoudre réellement le problème. Ce sont les situations qu’une entreprise doit tester avant de confier des appels clients à un agent. Il faut aussi tenir compte du coût d’exploitation. Un système qui réussit brillamment une démonstration peut coûter beaucoup trop cher à exploiter pour traiter des milliers d’appels par jour. L’efficacité fait donc partie des conditions nécessaires à son déploiement en entreprise ; ce n’est pas une préoccupation distincte.

Depuis plusieurs mois, nous faisons fonctionner ce scénario précis pour une compagnie d’assurance internationale. Il ne s’agit pas d’un essai mené parallèlement au système réel : il traite des conversations réelles avec les clients, entrantes comme sortantes, aux côtés des agents commerciaux humains, dans leur centre de contact. Il peut gérer des milliers d’appels simultanés pour environ un tiers du coût d’un agent humain.

Ce qui m’intéresse davantage que le coût, c’est que le système s’est amélioré en place. Lors de notre démarrage, leur propre évaluation attribuait à la qualité de nos conversations un score de 30. Cinq mois plus tard, ce score était de 80, celui qu’ils utilisent pour un télévendeur humain qualifié. GPT-4o Realtime a obtenu 55 lors de la même évaluation. Nous n’avons pas obtenu ce résultat en ajustant le modèle dans un laboratoire. Le système s’est amélioré au contact du trafic qu’il traitait réellement, et c’est le seul type d’amélioration qui compte pour un centre de contact.

À mesure que les agents vocaux ne se contentent plus de répondre aux questions, mais exécutent des tâches, accèdent aux informations des clients et interagissent avec les systèmes d’entreprise, comment les développeurs doivent-ils concilier autonomie et supervision humaine ? Quels garde-fous sont indispensables pour établir une relation de confiance durable avec ces systèmes ?

Je commencerais par demander ce que vous confiez à l’agent. Lui permettre de consulter le solde d’un compte est très différent de l’autoriser à transférer de l’argent ou à résilier un service. Les autorisations doivent en tenir compte, et les systèmes auxquels il se connecte doivent les faire respecter. On ne peut pas s’en remettre entièrement à une instruction dans un prompt.

Les personnes doivent aussi savoir à quoi elles consentent. Avant d’effectuer une modification difficile à annuler, l’agent doit en expliquer les conséquences et demander confirmation. Ainsi, s’il se retrouve bloqué, il devrait être facile de faire intervenir une personne.

Des erreurs se produiront malgré tout. Dans ce cas, il faut pouvoir voir ce que l’agent a fait et où il s’est arrêté, afin que quelqu’un puisse corriger la situation. Une voix assurée peut nous amener à supposer qu’un système sait ce qu’il fait, mais cette confiance doit se mériter par la fiabilité de son comportement.

Higgs Realtime prend en charge plus de 100 langues et peut notamment passer d’une langue à l’autre au cours d’une conversation. Quels sont les principaux défis techniques à relever pour offrir une intelligence conversationnelle cohérente dans différentes langues, avec différents accents et styles de communication, notamment lorsqu’il s’agit de comprendre le contexte émotionnel et l’intention de l’utilisateur ?

La couverture linguistique peut sembler n’être qu’une liste, mais ce n’est pas le cas. Il y a quelque temps, un client avait besoin du thaï. Notre couverture était partielle et la première chose que nous avons découverte, c’est que nous ne connaissions absolument rien au thaï proprement dit, à commencer par le fait que le thaï écrit ne comporte pratiquement pas de ponctuation. Cela remet en cause les hypothèses sur les limites des phrases sur lesquelles reposent la plupart des systèmes de reconnaissance vocale. Nous aurions pu reporter notre entrée sur ce marché. À la place, nous avons trouvé des informaticiens qui parlaient thaï et avons repensé correctement le traitement de cette langue.

Environ six semaines plus tard, nous étions à Bangkok pour en faire la démonstration. Pendant la démo, je n’arrivais pas à savoir comment cela se passait — j’écoutais des gens tester un système dans une langue que je ne parle pas — et, après coup, ils m’ont dit que c’était réussi, ce qui m’a considérablement soulagé. Les conventions varient autant que le vocabulaire. En japonais, les interlocuteurs ponctuent la conversation de petits signes d’acquiescement pendant que vous parlez, pour montrer qu’ils vous suivent. Si l’assistant s’interrompt chaque fois pour céder la parole, il brise le rythme de la conversation.

Les mots peuvent être parfaits et la conversation échouer malgré tout. Et la manière de dire quelque chose compte autant que ce que l’on dit. On peut employer exactement les mêmes mots avec affection ou avec sarcasme, et la réponse appropriée sera complètement différente. Préserver le ton et le contexte alors que la langue change au milieu d’une phrase est une grande partie de ce qui rend cela intéressant à mes yeux.

Des entreprises comme OpenAI et Google investissent massivement dans l’IA multimodale en temps réel. Comment une entreprise spécialisée comme Boson AI peut-elle rivaliser avec des organisations disposant de ressources informatiques nettement plus importantes, et où voyez-vous les meilleures possibilités de différenciation en matière d’architecture des modèles, de performances et de coûts d’inférence ?

Disposer d’une plus grande puissance de calcul ne signifie pas automatiquement qu’on l’utilise bien. Lors d’une conversation en direct, on peut dépenser beaucoup d’argent pour faire tourner un modèle très puissant simplement pour traiter les « hum » ou les « oui, probablement » de quelqu’un. Ce modèle consacrera une grande partie de ses capacités à écouter des mots de remplissage. Les cerveaux coûtent cher et consomment beaucoup d’énergie ; l’inférence aussi. Au bout du compte, c’est le client qui paie.

Les humains résolvent ce problème en partageant leur attention. On peut être dans un café, avoir une conversation un peu ennuyeuse, tandis qu’une partie de son esprit réfléchit à ce qu’on va préparer pour le dîner. La partie consciente de l’esprit suit la conversation. Puis l’autre personne vous pose une question vraiment difficile et vous vous y consacrez pleinement, en mobilisant toutes vos ressources. Nous concevons les systèmes conversationnels de la même façon.

Un modèle peu coûteux gère le fil de la conversation, tandis que des capacités de raisonnement et des appels à des outils plus coûteux interviennent lorsque la tâche l’exige réellement. L’autre aspect, c’est que nous avons acheté notre matériel informatique au lieu de le louer. Le calcul est simple : prenez le coût horaire d’une instance cloud, multipliez-le par le nombre d’heures dans une année, et vous obtenez un montant proche du prix d’achat du matériel. Nous avons déterminé le seuil de rentabilité composant par composant, puis nous avons construit notre solution à partir de là. C’était plus difficile que cela n’en a l’air, et tout ne s’est pas déroulé parfaitement. Mais cela écarte la possibilité de miser sur une montée en puissance brute, ce qui signifie que chaque progrès doit venir de meilleures données et d’une meilleure architecture. Cela s’est également révélé être une protection pour nous : des composants qui nous avaient été proposés à moins de 100 000 $ coûtaient environ deux fois plus cher six mois plus tard. Nous pouvons avancer rapidement parce que nous sommes une petite équipe concentrée sur un seul sujet. Un chercheur peut avoir une idée, la tester et l’intégrer lui-même au produit. Nous profitons aussi de la communauté de recherche ouverte et y apportons notre contribution, ce qui permet à une petite équipe d’accomplir bien plus que sa taille ne le laisserait penser.

Vos travaux sur ProactBench explorent une dimension importante de l’intelligence conversationnelle : comprendre les besoins des utilisateurs même lorsqu’ils ne les ont pas exprimés explicitement. Comment imaginez-vous l’évolution des agents vocaux, qui passeraient d’assistants réactifs à des collaborateurs proactifs, et où devraient se situer les limites entre l’anticipation des besoins des utilisateurs et le risque d’aller trop loin ?

Imaginons que vous preniez rendez-vous chez le médecin et que vous mentionniez au début de la conversation que vous ne pouvez pas conduire. Un bon assistant s’en souviendrait et vous proposerait un rendez-vous à distance ou vous aiderait à trouver un moyen de transport. Vous ne devriez pas avoir à répéter cette information.

C’est ce que nous étudions avec ProactBench : déterminer si un assistant peut s’appuyer sur ce que vous lui avez dit pour anticiper vos besoins et vous proposer une aide que vous n’avez pas directement demandée.

Bien sûr, vous avez peut-être déjà organisé votre trajet jusqu’à votre rendez-vous. L’assistant devrait proposer cette possibilité et vous laisser décider, plutôt que de supposer qu’il connaît vos projets. J’aimerais que ces systèmes épargnent des efforts aux gens tout en leur laissant le contrôle de ce qui se passe.

Dans cinq ans, pensez-vous que la voix sera devenue le principal moyen d’interagir avec l’IA et les logiciels ? Si oui, comment cette transformation pourrait-elle remodeler les applications traditionnelles, les logiciels d’entreprise, ainsi que la place des écrans et des interfaces graphiques ?

Je pense que nous parlerons beaucoup plus aux ordinateurs, souvent avec de la vidéo en plus. Quand on voit quelqu’un qui a l’air perplexe, on sait qu’il faudra peut-être expliquer les choses autrement. Notre démo audio-vidéo montre les prémices de ce type d’interaction : l’IA réagit à ce qu’elle voit autant qu’à ce qu’elle entend.

Je préfère toujours utiliser un clavier pour écrire du code et, si je compare des informations, je peux vouloir les afficher à l’écran afin de les examiner à mon rythme.

Pour les logiciels professionnels, je peux imaginer commencer une tâche en expliquant ce dont j’ai besoin, puis examiner le résultat à l’écran et y apporter directement des modifications. Au cours des cinq prochaines années, je pense qu’il sera beaucoup plus facile de passer d’une façon de travailler à l’autre. Vous pourriez parler quand cela vous convient et utiliser l’écran lorsque vous avez besoin d’être précis.

Merci pour cet excellent entretien. Les lecteurs qui souhaitent découvrir l’IA vocale conversationnelle et les agents vocaux d’entreprise peuvent consulter Boson AI.