Anastassia Loukina, scientifique de recherche principale (NLP/Parole) chez ETS – Série d’entretiens

Anastassia Loukina est une scientifique de recherche chez Educational Testing Services (ETS) où elle travaille sur la notation automatisée de la parole.

Ses intérêts de recherche couvrent un large éventail de sujets. Elle a travaillé, entre autres, sur les dialectes grecs modernes, le rythme de la parole et l’analyse de la prosodie automatisée.

Ses travaux actuels se concentrent sur la combinaison d’outils et de méthodes de technologies de la parole et d’apprentissage automatique avec des connaissances issues d’études sur la perception et la production de la parole afin de créer des modèles de notation automatisés pour évaluer la parole non native.

Vous avez clairement une passion pour les langues, qu’est-ce qui vous a introduit à cette passion ?

J’ai grandi en parlant russe à Saint-Pétersbourg, en Russie, et je me souviens d’avoir été fascinée lorsque j’ai été introduite à la langue anglaise : pour certains mots, il y avait un modèle qui permettait de « convertir » un mot russe en un mot anglais. Et puis je tombais sur un mot où « mon » modèle échouait et j’essayais de trouver une meilleure règle plus générale. À cette époque, bien sûr, je ne savais rien sur la typologie linguistique ou la différence entre les cognats et les emprunts, mais cela a alimenté ma curiosité et mon désir d’apprendre plus de langues. Cette passion pour identifier des modèles dans la façon dont les gens parlent et les tester sur les données est ce qui m’a menée à la phonétique, à l’apprentissage automatique et au travail que je fais maintenant.

Auparavant, vous étiez traductrice entre l’anglais et le russe, ainsi qu’entre le grec moderne et le russe. Pensez-vous que votre travail de traductrice vous a donné des insights supplémentaires sur certaines des nuances et des problèmes associés au traitement automatique des langues ?

Mon identité première a toujours été celle d’une chercheuse. Il est vrai que j’ai commencé ma carrière universitaire en tant que spécialiste du grec moderne, ou plus précisément, de la phonétique du grec moderne. Pour mon travail de doctorat, j’ai exploré les différences phonétiques entre plusieurs dialectes du grec moderne et comment les différences entre ces dialectes pourraient être liées à l’histoire de la région. J’ai soutenu que certaines des différences entre les dialectes pourraient avoir émergé en raison du contact linguistique entre chaque dialecte et d’autres langues parlées dans la région. Même si je ne travaille plus sur le grec moderne, les changements qui se produisent lorsque deux langues entrent en contact l’une avec l’autre sont toujours au cœur de mon travail : cette fois, je me concentre sur ce qui se passe lorsque quelqu’un apprend une nouvelle langue et sur la façon dont la technologie peut aider à le faire de la manière la plus efficace.

Lorsqu’il s’agit de la langue anglaise, il existe une myriade d’accents. Comment concevez-vous un système de traitement automatique des langues capable de comprendre tous les différents dialectes ? Est-ce une simple question de fournir à l’algorithme d’apprentissage profond des données supplémentaires provenant de chaque type d’accent ?

Il existe plusieurs approches qui ont été utilisées dans le passé pour résoudre ce problème. En plus de créer un grand modèle qui couvre tous les accents, vous pourriez d’abord identifier l’accent et puis utiliser un modèle personnalisé pour cet accent, ou vous pouvez essayer plusieurs modèles en même temps et choisir celui qui fonctionne le mieux. En fin de compte, pour obtenir de bons résultats sur une large gamme d’accents, vous avez besoin de données de formation et d’évaluation représentatives des nombreux accents que le système peut rencontrer.

Chez ETS, nous effectuons des évaluations complètes pour nous assurer que les notes produites par nos systèmes automatisés reflètent les différences réelles dans les compétences que nous voulons mesurer et ne sont pas influencées par les caractéristiques démographiques de l’apprenant, telles que son sexe, sa race ou son pays d’origine.

Les enfants et/ou les apprenants de langues ont souvent des difficultés avec la prononciation parfaite. Comment surmontez-vous le problème de la prononciation ?

Il n’y a pas de telle chose que la prononciation parfaite : la façon dont nous parlons est étroitement liée à notre identité et, en tant que développeurs et chercheurs, notre objectif est de nous assurer que nos systèmes sont équitables pour tous les utilisateurs.

Les enfants et les apprenants de langues présentent des défis particuliers pour les systèmes basés sur la parole. Par exemple, les voix d’enfants ont non seulement une qualité acoustique très différente, mais les enfants parlent également différemment des adultes et il y a beaucoup de variabilité entre les enfants. En conséquence, le développement d’un système de reconnaissance de la parole pour les enfants est généralement une tâche distincte qui nécessite une grande quantité de données de parole d’enfants.

De même, même s’il y a de nombreuses similitudes entre les apprenants de langues du même milieu, les apprenants peuvent varier considérablement dans leur utilisation de modèles phonétiques, grammaticaux et lexicaux, ce qui rend la reconnaissance de la parole une tâche particulièrement difficile. Lorsque nous construisons nos systèmes pour noter la compétence en langue anglaise, nous utilisons des données d’apprenants de langues avec une large gamme de niveaux de compétence et de langues maternelles.

En janvier 2018, vous avez publié « Utilisation de réponses exemplaires pour la formation et l’évaluation de systèmes de notation de la parole automatisés ». Quels sont les principaux éléments de base qui devraient être compris à partir de cet article ?

Dans cet article, nous avons examiné comment la qualité des données de formation et de test affecte les performances des systèmes de notation automatisés.

Les systèmes de notation automatisés, comme de nombreux autres systèmes automatisés, sont formés à partir de données qui ont été étiquetées par des humains. Dans ce cas, il s’agit de notes attribuées par des évaluateurs humains. Les évaluateurs humains ne sont pas toujours d’accord sur les notes qu’ils attribuent. Il existe plusieurs stratégies utilisées dans l’évaluation pour garantir que la note finale communiquée à l’apprenant reste très fiable malgré les variations dans l’accord humain au niveau de la question individuelle. Cependant, puisque les moteurs de notation automatisés sont généralement formés en utilisant des notes au niveau de la réponse, les incohérences dans ces notes en raison de la variété des raisons mentionnées ci-dessus peuvent affecter négativement le système.

Nous avons pu avoir accès à une grande quantité de données avec différents niveaux d’accord entre les évaluateurs humains et comparer les performances du système dans différents scénarios. Ce que nous avons constaté, c’est que la formation du système sur des données parfaites n’améliore pas réellement ses performances par rapport à un système formé sur des données avec des étiquettes plus bruyantes. Les étiquettes parfaites ne vous donnent un avantage que lorsque la taille totale de l’ensemble de formation est très faible. En revanche, la qualité des étiquettes humaines a un effet énorme sur l’évaluation du système : vos estimations de performance peuvent être jusqu’à 30 % plus élevées si vous évaluez sur des étiquettes propres.

Le message à retenir est que si vous avez beaucoup de données et de ressources pour nettoyer vos étiquettes de référence, il peut être plus intelligent de nettoyer les étiquettes dans l’ensemble d’évaluation plutôt que les étiquettes dans l’ensemble de formation. Et cette découverte s’applique non seulement à la notation automatisée, mais également à de nombreux autres domaines.

Pouvez-vous décrire certains de vos travaux chez ETS ?

Je travaille sur un système de notation de la parole qui traite la langue parlée dans un contexte éducatif. L’un de ces systèmes est SpeechRater®, qui utilise une technologie de reconnaissance et d’analyse de la parole avancée pour évaluer et fournir des commentaires détaillés sur la compétence en langue anglaise. SpeechRater est une application très mature qui existe depuis plus de 10 ans. Je construis des modèles de notation pour différentes applications et je travaille avec d’autres collègues chez ETS pour nous assurer que nos notes sont fiables, équitables et valides pour tous les apprenants. Nous travaillons également avec d’autres groupes chez ETS pour surveiller en permanence les performances du système.

En plus de maintenir et d’améliorer nos systèmes opérationnels, nous créons de nouveaux systèmes. L’un des projets qui me passionne particulièrement est RelayReader™ : une application conçue pour aider les lecteurs en développement à acquérir de la fluidité et de la confiance. Lorsque vous lisez avec RelayReader, un utilisateur alterne entre l’écoute et la lecture à haute voix d’un livre. Sa lecture est ensuite envoyée à nos serveurs pour fournir des commentaires. En termes de traitement de la parole, le principal défi de cette application est de mesurer l’apprentissage et de fournir des commentaires fiables et exploitables de manière non intrusive, sans perturber l’engagement du lecteur avec le livre.

Qu’est-ce que vous aimez le plus chez ETS ?

Ce qui m’a initialement attirée chez ETS, c’est qu’il s’agit d’une organisation à but non lucratif dont la mission est d’améliorer la qualité de l’éducation pour toutes les personnes du monde. Même si, bien sûr, il est formidable que la recherche conduise à un produit, j’apprécie d’avoir l’opportunité de travailler sur des projets qui sont plus fondamentaux par nature, mais qui aideront au développement de produits à l’avenir. J’apprécie également le fait qu’ETS prend très au sérieux les questions telles que la confidentialité des données et l’équité, et que tous nos systèmes subissent une évaluation très stricte avant d’être déployés opérationnellement.

Mais ce qui rend vraiment ETS un excellent endroit pour travailler, c’est ses gens. Nous avons une communauté incroyable de scientifiques, d’ingénieurs et de développeurs issus de divers horizons, ce qui permet de nombreuses collaborations intéressantes.

Croyez-vous qu’un système d’intelligence artificielle pourra un jour passer le test de Turing ?

Depuis les années 1950, il y a eu de nombreuses interprétations de la façon dont le test de Turing devrait être réalisé dans la pratique. Il y a probablement un consensus général sur le fait que le test de Turing n’a pas été passé dans un sens philosophique, c’est-à-dire qu’il n’y a pas de système d’intelligence artificielle qui pense comme un humain. Cependant, cela est également devenu un sujet très spécialisé. La plupart des gens ne construisent pas leurs systèmes pour passer le test de Turing – nous voulons qu’ils atteignent des objectifs spécifiques.

Pour certaines de ces tâches, par exemple, la reconnaissance de la parole ou la compréhension de la langue naturelle, les performances humaines peuvent être considérées comme une norme de référence. Mais il y a également de nombreuses autres tâches où nous nous attendons à ce qu’un système automatisé fasse beaucoup mieux que les humains, ou où un système automatisé et un expert humain doivent travailler ensemble pour obtenir le meilleur résultat. Par exemple, dans un contexte éducatif, nous ne voulons pas qu’un système d’intelligence artificielle remplace un enseignant : nous voulons qu’il aide les enseignants, que ce soit en identifiant des modèles dans les trajectoires d’apprentissage des étudiants, en aidant à la notation ou en trouvant les meilleurs matériaux pédagogiques.

Y a-t-il autre chose que vous aimeriez partager sur ETS ou le traitement automatique des langues ?

Beaucoup de gens connaissent ETS pour ses évaluations et ses systèmes de notation automatisés. Mais nous faisons beaucoup plus que cela. Nous avons de nombreuses capacités, allant de la biométrie vocale aux applications de dialogue parlé, et nous sommes toujours à la recherche de nouvelles façons d’intégrer la technologie dans l’apprentissage. Maintenant que de nombreux étudiants apprennent à domicile, nous avons ouvert certaines de nos capacités de recherche au grand public.

Je vous remercie pour l’entretien et pour avoir offert ces insights sur les dernières avancées dans le traitement automatique des langues et la reconnaissance de la parole. Quiconque souhaite en savoir plus peut visiter Educational Testing Services.