Amr Nour-Eldin, Vice-Président de la Technologie chez LXT – Série d’entretiens

Amr Nour-Eldin est le Vice-Président de la Technologie chez LXT. Amr est un scientifique de recherche titulaire d’un doctorat avec plus de 16 ans d’expérience professionnelle dans les domaines du traitement du signal et de l’apprentissage automatique dans le contexte de la reconnaissance automatique de la parole (ASR), avec une attention particulière et une expérience pratique ces dernières années sur les techniques d’apprentissage profond pour la reconnaissance de la parole en continu.

LXT est un leader émergent dans les données de formation d’IA pour alimenter les technologies intelligentes pour les organisations mondiales. En partenariat avec un réseau international de contributeurs, LXT collecte et annoté des données sur plusieurs modalités avec la vitesse, l’échelle et l’agilité requises par l’entreprise. Leur expertise mondiale s’étend à plus de 145 pays et à plus de 1000 lieux de langue.

Vous avez poursuivi un doctorat en traitement du signal à l’Université McGill, qu’est-ce qui vous a initialement intéressé dans ce domaine ?

J’ai toujours voulu étudier l’ingénierie et j’aimais vraiment les sciences naturelles en général, mais j’étais attiré plus spécifiquement par les mathématiques et la physique. Je me suis trouvé toujours à essayer de comprendre comment la nature fonctionne et comment appliquer cette compréhension pour créer de la technologie. Après le lycée, j’ai eu l’opportunité d’aller en médecine et d’autres professions, mais j’ai spécifiquement choisi l’ingénierie car c’est la combinaison parfaite, à mon avis, de théorie et d’application dans les deux domaines les plus proches de mon cœur : les mathématiques et la physique. Et puis, une fois que j’ai choisi, il y avait de nombreux chemins possibles – mécanique, civil, etc. Mais j’ai spécifiquement choisi l’ingénierie électrique car c’est le plus proche, et le plus difficile, à mon avis, des problèmes de mathématiques et de physique que j’ai toujours trouvés stimulants et donc, plus appréciés, ainsi que la base de la technologie moderne qui m’a toujours motivé.

Au sein de l’ingénierie électrique, il y a diverses spécialisations à choisir, qui tombent généralement sous deux catégories : les télécommunications et le traitement du signal, et celle de l’énergie et de l’ingénierie électrique. Lorsque le moment est venu de choisir entre ces deux, j’ai choisi les télécommunications et le traitement du signal car c’est plus proche de la façon dont nous décrivons la nature à travers la physique et les équations. On parle de signaux, qu’il s’agisse d’audio, d’images ou de vidéo ; comprendre comment nous communiquons et ce que nos sens perçoivent, et comment représenter mathématiquement ces informations d’une manière qui nous permet de tirer parti de ces connaissances pour créer et améliorer la technologie.

Pouvez-vous discuter de vos recherches à l’Université McGill sur l’aspect information-théorique de l’extension de bande artificielle (BWE) ?

Après avoir terminé mon baccalauréat, j’ai voulu continuer à poursuivre le domaine du traitement du signal sur le plan académique. Après une année d’études en photonique dans le cadre d’une maîtrise en physique, j’ai décidé de revenir à l’ingénierie pour poursuivre ma maîtrise en traitement du signal audio et de la parole, en me concentrant sur la reconnaissance de la parole. Lorsqu’il est venu le temps de faire mon doctorat, j’ai voulu élargir un peu mon domaine dans le traitement du signal audio et de la parole, ainsi que dans les domaines étroitement liés de l’apprentissage automatique et de la théorie de l’information, plutôt que de me concentrer uniquement sur l’application de la reconnaissance de la parole.

Le véhicule de mon doctorat a été l’extension de bande de la parole à bande étroite. La parole à bande étroite fait référence à la parole téléphonique conventionnelle. Le contenu de fréquence de la parole s’étend jusqu’à environ 20 kilohertz, mais la majeure partie du contenu d’information est concentrée jusqu’à 4 kilohertz. L’extension de bande fait référence à l’extension artificielle du contenu de la parole à partir de 3,4 kilohertz, qui est la limite de fréquence supérieure dans la téléphonie conventionnelle, à plus de 8 kilohertz ou plus. Pour mieux reconstruire ce contenu de fréquence supérieure manquant étant donné uniquement le contenu de bande étroite disponible, il faut d’abord quantifier l’information mutuelle entre le contenu de la parole dans les deux bandes de fréquence, puis utiliser cette information pour former un modèle qui apprend cette information partagée ; un modèle qui, une fois formé, peut alors être utilisé pour générer du contenu de bande large étant donné uniquement la parole à bande étroite et ce que le modèle a appris sur la relation entre cette parole à bande étroite disponible et le contenu de bande large manquant. La quantification et la représentation de cette « information mutuelle » sont là où la théorie de l’information intervient. La théorie de l’information est l’étude de la quantification et de la représentation de l’information dans n’importe quel signal. Ainsi, mes recherches portaient sur l’intégration de la théorie de l’information pour améliorer l’extension de bande artificielle de la parole. Comme tel, mon doctorat était plus une activité de recherche interdisciplinaire où j’ai combiné le traitement du signal avec la théorie de l’information et l’apprentissage automatique.

Vous étiez un scientifique principal en parole chez Nuance Communications, maintenant une partie de Microsoft (MSFT ), pendant plus de 16 ans, quels étaient certains de vos principaux enseignements de cette expérience ?

De mon point de vue, le bénéfice le plus important était que j’ai toujours travaillé sur des techniques de pointe en traitement du signal et en apprentissage automatique et que j’ai appliqué cette technologie à des applications du monde réel. J’ai eu la chance d’appliquer ces techniques à des produits d’IA conversationnelle dans de multiples domaines. Ces domaines allaient de l’entreprise à la santé, en passant par l’automobile et la mobilité, entre autres. Certaines des applications spécifiques incluaient des assistants virtuels, des réponses interactives vocales, des transcriptions de voicemail, et d’autres où une représentation et une transcription appropriées sont critiques, comme dans le domaine de la santé avec les interactions médecin-patient. Au cours de ces 16 ans, j’ai eu la chance de voir de première main et de faire partie de l’évolution de l’IA conversationnelle, des jours de modélisation statistique à l’aide de modèles de Markov cachés, à travers la prise en main progressive de l’apprentissage profond, jusqu’à maintenant où l’apprentissage profond prolifère et domine presque tous les aspects de l’IA, y compris l’IA générative ainsi que l’IA traditionnelle prédictive ou discriminative. Un autre enseignement clé de cette expérience est le rôle crucial que joue les données, en termes de quantité et de qualité, en tant que moteur clé des capacités et des performances des modèles d’IA.

Vous avez publié une douzaine de documents de recherche, notamment dans des publications de renom telles que l’IEEE. Quel est, selon vous, le document de recherche le plus révolutionnaire que vous avez publié et pourquoi était-il important ?

Le plus impactant, en termes de nombre de citations selon Google (GOOGL ) Scholar, serait un document de 2008 intitulé « Extension de bande basée sur les coefficients cepstraux de fréquence de Mel de la parole à bande étroite ». À un niveau élevé, l’objectif de ce document est de savoir comment reconstruire le contenu de la parole en utilisant une représentation de fonctionnalités largement utilisée dans le domaine de la reconnaissance automatique de la parole (ASR), les coefficients cepstraux de fréquence de Mel.

Cependant, le document le plus innovant à mon avis est un document avec la deuxième plus grande quantité de citations, un document de 2011 intitulé “Approximation basée sur la mémoire du cadre du modèle de mélange de Gauss pour l’extension de bande de la parole à bande étroite“. Dans ce travail, j’ai proposé une nouvelle technique de modélisation statistique qui intègre l’information temporelle dans la parole. L’avantage de cette technique est qu’elle permet de modéliser l’information à long terme dans la parole avec une complexité minimale et de manière à permettre encore la génération de parole à bande large en temps réel.

En juin 2023, vous avez été recruté en tant que Vice-Président de la Technologie chez LXT, qu’est-ce qui vous a attiré dans ce poste ?

Au cours de mon expérience académique et professionnelle avant LXT, j’ai toujours travaillé directement avec les données. En fait, comme je l’ai noté plus tôt, l’un des enseignements clés que j’ai tirés de mon travail sur la science de la parole et l’apprentissage automatique était le rôle crucial que jouent les données dans le cycle de vie du modèle d’IA. Avoir suffisamment de données de qualité dans le bon format était, et continue d’être, vital pour le succès des techniques d’IA basées sur l’apprentissage profond. Comme tel, lorsque j’étais à un stade de ma carrière où je cherchais un environnement de type startup où je pourrais apprendre, élargir mes compétences, ainsi que tirer parti de mon expérience en parole et en IA pour avoir le plus d’impact, j’ai eu la chance de rejoindre LXT. C’était la combinaison parfaite. Non seulement LXT est un fournisseur de données d’IA qui grandit à un rythme impressionnant et constant, mais j’ai également vu qu’il était au stade parfait en termes de croissance en termes de connaissances en IA ainsi qu’en termes de taille et de diversité des clients, et donc en termes de types de données d’IA. J’ai apprécié l’opportunité de rejoindre et d’aider dans son parcours de croissance ; d’avoir un grand impact en apportant la perspective d’un utilisateur final de données après avoir été un utilisateur scientifique de données d’IA pendant toutes ces années.

Quelle est votre vision pour la façon dont LXT peut accélérer les efforts d’IA pour différents clients ?

Notre objectif chez LXT est de fournir les solutions de données qui permettent un développement d’IA efficace, précis et rapide. Grâce à nos 12 ans d’expérience dans l’espace des données d’IA, non seulement avons-nous accumulé une grande expertise sur les besoins des clients en termes de tous les aspects liés aux données, mais nous avons également continué à affiner nos processus afin de livrer les données de la plus haute qualité au rythme le plus rapide et aux meilleurs prix. Par conséquent, en raison de notre engagement inébranlable à fournir à nos clients la combinaison optimale de qualité, d’efficacité et de tarifs des données d’IA, nous sommes devenus un partenaire de confiance en matière de données d’IA, comme en témoigne notre clientèle récurrente qui continue de revenir vers LXT pour répondre à leurs besoins croissants et évoluant en matière de données d’IA. Ma vision est de consolider, d’améliorer et d’étendre cette « marque » de LXT à toutes les modalités de données sur lesquelles nous travaillons, ainsi qu’à tous les types de développement d’IA que nous servons désormais, y compris l’IA générative. La réalisation de cet objectif tourne autour de l’expansion stratégique de nos propres capacités en matière d’apprentissage automatique et de science des données, tant en termes de technologie que de ressources.

Qu’est-ce que votre journée type chez LXT ressemble ?

Ma journée type commence par la recherche des dernières recherches sur un sujet ou un autre, qui a récemment porté sur l’IA générative, et sur la façon dont nous pouvons l’appliquer aux besoins de nos clients. Heureusement, j’ai une équipe excellente qui est très habile à créer et à personnaliser des solutions pour répondre aux besoins spécifiques en matière de données d’IA de nos clients. Je travaille donc en étroite collaboration avec eux pour établir cet agenda.

Il y a également, bien sûr, une planification stratégique annuelle et trimestrielle, et la décomposition des objectifs stratégiques en objectifs d’équipe individuels, ainsi que le suivi des développements le long de ces plans. En ce qui concerne le développement de fonctionnalités que nous réalisons, nous avons généralement deux pistes technologiques. L’une consiste à s’assurer que nous avons les bonnes pièces en place pour livrer les meilleurs résultats sur nos projets actuels et nouveaux. L’autre piste consiste à améliorer et à étendre nos capacités technologiques, en mettant l’accent sur l’intégration de l’apprentissage automatique dans celles-ci.

Pouvez-vous discuter des types d’algorithmes d’apprentissage automatique sur lesquels vous travaillez chez LXT ?

Les solutions d’IA sont en train de transformer les entreprises à travers toutes les industries, et nous chez LXT sommes honorés de fournir les données de haute qualité pour former les algorithmes d’apprentissage automatique qui les alimentent. Nos clients travaillent sur une large gamme d’applications, notamment la réalité augmentée et virtuelle, la vision par ordinateur, l’IA conversationnelle, l’IA générative, la pertinence de la recherche et le traitement automatique des langues (TAL), entre autres. Nous sommes déterminés à alimenter les algorithmes et les technologies d’apprentissage automatique de l’avenir grâce à la génération et à l’amélioration des données à travers toutes les langues, cultures et modalités.

Intérieurement, nous intégrons également l’apprentissage automatique pour améliorer et optimiser nos processus internes, allant de l’automatisation de notre validation de la qualité des données à l’activation d’un modèle d’étiquetage humain dans la boucle sur toutes les modalités de données sur lesquelles nous travaillons.

Le traitement de la parole et de l’audio est en train de s’approcher rapidement de la perfection lorsqu’il s’agit de l’anglais et plus particulièrement des hommes blancs. Combien de temps pensez-vous qu’il faudra pour que ce soit un jeu d’égalité sur tous les langages, les genres et les ethnies ?

Ceci est une question compliquée, et dépend de nombreux facteurs, notamment économiques, politiques, sociaux et technologiques, entre autres. Mais ce qui est clair, c’est que la prédominance de la langue anglaise est ce qui a conduit l’IA à l’endroit où nous sommes maintenant. Pour atteindre un stade où c’est un jeu d’égalité, cela dépend vraiment de la vitesse à laquelle la représentation des données provenant de différentes ethnies et populations augmente en ligne, et le rythme auquel cela augmente est ce qui déterminera quand nous y arriverons.

Cependant, LXT et des sociétés similaires peuvent jouer un grand rôle pour conduire à un jeu d’égalité plus nivelé. Tant que les données pour les langues, les genres et les ethnies moins représentés sont difficiles à accéder ou simplement non disponibles, ce changement viendra plus lentement. Mais nous essayons de faire notre part. Avec une couverture pour plus de 1 000 lieux de langue et une expérience dans 145 pays, LXT aide à rendre l’accès à plus de données linguistiques possible.

Je vous remercie pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter LXT.