Vikrant Tomar, CTO et fondateur de Fluent.ai – Série d’entretiens

Vikrant Tomar est le CTO et le fondateur de Fluent.ai, un logiciel de compréhension de la parole et d’interface utilisateur vocale pour les fabricants de dispositifs et les fournisseurs de services.

Qu’est-ce qui vous a initialement attiré vers l’étude de la modélisation acoustique pour la reconnaissance de la parole ?

En réalité, être capable de parler aux dispositifs de la même manière que nous parlons à un autre être humain. Cette vision m’a fasciné. J’ai commencé à étudier la reconnaissance de la parole pendant ma dernière année d’études universitaires. C’est également à ce moment-là que j’ai commencé à m’intéresser à la recherche, donc j’ai suivi un cours de reconnaissance de la parole et un projet de recherche connexe. J’ai pu publier un article de recherche à la conférence InterSpeech, l’une des plus grandes et des plus réputées conférences de reconnaissance de la parole, à partir de ce travail. Tout cela m’a motivé à choisir la recherche en reconnaissance de la parole comme axe de recherche à long terme, d’où le doctorat.

En 2015, vous avez lancé Fluent.ai, pouvez-vous partager l’histoire de la création de cette startup ?

J’ai toujours eu une envie d’entreprendre en moi. J’ai, avec deux autres amis, tenté de lancer une entreprise après notre diplôme universitaire, mais pour plusieurs raisons, cette tentative n’a pas abouti. Pendant mon doctorat à McGill, j’ai gardé un œil sur la scène startup de Montréal. À cette époque, j’ai également eu l’occasion de rencontrer des personnes de TandemLaunch, la fonderie de startups où j’ai créé Fluent.ai. À ce moment-là, j’étais vers la fin de mon doctorat et je réfléchissais sérieusement à me lancer à nouveau dans l’entrepreneuriat. Grâce à mon expérience professionnelle, à mes recherches et à mes associations avec d’autres groupes de recherche en parole, j’ai réalisé que la plupart de ces expériences avaient porté sur la reconnaissance de la parole de manière spécifique : passer de la parole à la transcription de texte, puis au traitement du langage naturel. Cependant, cela laissait un vide en termes d’utilisabilité. Une grande partie de la population ne peut pas bénéficier des solutions de parole développées de cette manière. La quantité de données requise pour ces méthodes est si importante qu’il ne serait pas rentable de développer des modèles distincts pour les langues avec moins de locuteurs. De plus, de nombreux dialectes et langues n’ont pas de forme écrite distincte. Même ma propre famille n’a pas pu utiliser les outils que j’avais développés (ils parlent un dialecte de l’hindi). En tenant compte de tout cela, j’ai commencé à réfléchir à des moyens différents de créer des modèles de parole, où la quantité de données requise serait moindre, et/ou où l’utilisateur final pourrait lui-même former ou mettre à jour les modèles. J’étais conscient du travail effectué à l’Université de KU Leuven (KUL) qui pourrait répondre à certaines de ces exigences. Avec une partie de la technologie issue de KUL, nous avons pu faire les premiers pas vers ce que Fluent est aujourd’hui.

Pouvez-vous élaborer sur les solutions de compréhension de la parole intuitives de Fluent.ai ?

Les solutions de reconnaissance de la parole de Fluent.ai sont inspirées de la façon dont les humains acquièrent et reconnaissent les langues. Les systèmes de reconnaissance de la parole conventionnels transcrivent d’abord la parole en texte, puis extraient le sens de ce texte. Ce n’est pas ainsi que les humains reconnaissent la parole. Prenons l’exemple des enfants avant qu’ils n’apprennent à lire et à écrire : malgré le fait qu’ils ne connaissent rien sur la représentation écrite des langues, ils sont capables d’avoir une conversation orale avec facilité. De même, les modèles de réseaux de neurones profonds de Fluent sont capables d’extraire directement le sens des sons de la parole sans avoir à les transcrire d’abord en texte. Techniquement, c’est une véritable compréhension de la langue parlée. Il y a plusieurs avantages à cette approche. La reconnaissance de la parole traditionnelle est une approche fastidieuse, où plusieurs modules formés de manière disjointe sont assemblés pour fournir une réponse finale. Cela aboutit à une solution non optimale qui souffre de variations dans les résultats pour les accents, les bruits, les conditions de fond, etc. Le système de reconnaissance automatique d’intention (AIR) de Fluent est optimisé de bout en bout ; c’est une architecture entièrement basée sur les réseaux de neurones, où tous les modules sont formés conjointement pour fournir la solution la plus optimale. En outre, nous pouvons supprimer un certain nombre de modules lourds en calculs présents dans les systèmes de reconnaissance de la parole conventionnels. Cela nous permet de créer des systèmes de reconnaissance de la parole à faible empreinte qui peuvent fonctionner avec seulement 40 ko de RAM sur un microcontrôleur à faible puissance fonctionnant à 50 MHz. Enfin, nos systèmes de compréhension de la langue parlée basés sur l’AIR peuvent exploiter les similarités entre les différentes langues d’une manière unique pour fournir des fonctionnalités sans précédent, telles que la capacité de reconnaître plusieurs langues dans le même modèle.

Quels sont certains des défis liés à l’intelligence artificielle pour surmonter le problème du bruit ambiant ?

Le bruit est l’un des plus grands défis pour la reconnaissance de la parole. Ce qui le rend vraiment difficile est qu’il existe de nombreux types de bruit et qu’ils affectent le spectre de la parole de différentes manières. Parfois, le bruit peut également avoir un impact sur la réponse du microphone. Dans de nombreux cas, il n’est pas possible de séparer les sources de parole des sources de bruit. Dans certains cas, le bruit peut masquer les informations disponibles dans le spectre de la parole, tandis que dans d’autres, il peut supprimer complètement les informations utiles. Les deux aboutissent à une faible précision. Alors que il est facile de supprimer les types de bruit constants, tels que le bruit de ventilateur, certains types de bruit, tels que le bavardage ou les gens qui parlent en arrière-plan ou la musique, sont très difficiles à supprimer car ils affectent le spectre de la parole de différentes manières.

Pouvez-vous définir ce qu’est l’IA de bord et comment Fluent.ai utilise ce type d’IA ?

L’IA de bord est un terme générique utilisé pour couvrir un certain nombre de façons dont les applications d’IA pourraient être déplacées vers des dispositifs à faible puissance. De plus en plus, ce terme est utilisé pour les cas où les dispositifs de bord effectuent eux-mêmes certaines calculs intelligents. Chez Fluent, nous nous concentrons sur l’apport de la compréhension de la langue parlée de haute qualité à la périphérie. Nous avons développé des algorithmes efficaces qui permettent aux dispositifs de calcul à faible puissance de reconnaître eux-mêmes la parole d’entrée sans avoir à envoyer les données à un serveur cloud pour le traitement. Les avantages sont doubles : premièrement, la vie privée de l’utilisateur n’est pas compromise par le streaming et le stockage de ses données vocales dans le cloud. Deuxièmement, cette approche réduit la latence car les données de parole et la réponse n’ont pas à voyager entre le serveur cloud et le dispositif.

Quels autres types de technologies d’apprentissage automatique sont utilisés ?

Notre focus principal est sur les approches basées sur l’apprentissage profond pour la reconnaissance de la parole. Nous utilisons des méthodes de renforcement (RL), par exemple NASIL[1], pour découvrir de nouvelles architectures de modèles d’IA inconnues jusqu’alors (en quelque sorte, l’IA créant l’IA). Et nous utilisons l’AutoML pour ajuster nos modèles d’IA prédéterminés pour obtenir des résultats fiables pour différentes applications, augmentant ainsi la fiabilité et la reproductibilité. La compression de modèle et d’autres approches mathématiques aident encore à optimiser les performances du modèle.

Qu’est-ce que vous voyez se produire dans les 5 prochaines années pour la compréhension et le traitement de la langue naturelle ?

Je pense que les systèmes évolueront pour fournir des interactions plus naturelles. Malgré les progrès réalisés ces dernières années, la plupart des systèmes actuels ne peuvent répondre qu’à des requêtes simples ou effectuer une recherche vocale sur Internet. Nous allons voir de plus en plus de solutions capables de raisonner et de répondre à une requête complète pour une personne, au lieu de fonctionner simplement comme un moteur de recherche vocal glorifié.

L’autre aspect intéressant est la vie privée. Les solutions populaires actuelles sont principalement des dispositifs connectés à Internet qui transmettent toutes les données vocales de l’utilisateur à un serveur cloud. Cependant, la vie privée de ces solutions devient un problème. Nous commençons également à voir les applications de l’interface vocale au-delà des dispositifs de consommation dans les environnements industriels, dans l’espace audio professionnel, ainsi que dans l’hôtellerie et les salles de conférence. Une exigence clé pour ces applications est la vie privée, donc les solutions connectées actuelles ne suffisent pas – nous allons donc voir de plus en plus d’IA de bord ou de solutions de traitement de la langue naturelle sur dispositif.

Comme je l’ai mentionné plus tôt, les solutions de parole et de langage naturel restent inaccessibles à une grande partie de la population mondiale. Il y a un travail important en cours pour créer de nouveaux types de modèles d’IA qui peuvent être formés avec une petite quantité de données, ce qui réduit les coûts de développement et permet ainsi le développement de modèles dans des langues avec moins de locuteurs. Dans le même esprit, nous allons voir des solutions capables d’apprendre à reconnaître plusieurs langues dans le même modèle. Dans l’ensemble, nous allons voir de plus en plus de déploiements de modèles d’IA multilingues qui peuvent répondre à la requête d’un utilisateur dans sa langue maternelle.

Y a-t-il autre chose que vous aimeriez partager sur Fluent.ai ?

La technologie de la parole a parcouru un long chemin ces dernières années et a un grand potentiel de croissance sur la route qui s’étend devant nous. Chez Fluent.ai, nous sommes toujours à la recherche de nouveaux cas d’utilisation de notre technologie existante, tout en innovant en interne. La pandémie de COVID-19 a créé une sensibilité accrue aux zones à forte fréquentation, telles que les boutons d’ascenseur, les kiosques dans les restaurants et plus encore, ce qui a suscité une nouvelle demande pour la technologie vocale. Fluent.ai espère combler ces lacunes, car nos solutions sont multilingues et donc plus inclusives, et fonctionnent hors ligne, offrant ainsi une couche supplémentaire de confidentialité. Ces fonctions, comme mentionné, sont susceptibles d’être l’avenir de la technologie de la parole.

Je vous remercie pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter le site de Fluent.ai.

[1] https://www.researchgate.net/profile/Farzaneh_Sheikhnezhad_Fard/publication/341083699_Nasil_Neural_Archit