Nitin Madnani, Senior Research Scientist chez ETS – Série d’entretiens

Nitin Madnani est un chercheur principal au sein du groupe de recherche en traitement automatique des langues (NLP) de l’Educational Testing Service (ETS). L’ETS a été fondé en 1947 et est la plus grande organisation privée à but non lucratif de tests et d’évaluation éducative au monde.

Pouvez-vous commencer par expliquer quelle est la mission de l’ETS ?

La mission de l’ETS est de promouvoir la qualité et l’équité dans l’éducation pour tous les apprenants du monde entier. Cette mission sous-tend nos produits, services, recherches et efforts de développement dans le but de promouvoir l’apprentissage, de soutenir l’éducation, le développement professionnel et de mesurer les connaissances et les compétences, pour tous.

Nous croyons que quiconque, n’importe où, peut faire une différence dans sa vie grâce à l’apprentissage et que les travaux de recherche, d’évaluation, de mesure et de politique de l’ETS peuvent jouer un rôle important pour rendre cet apprentissage possible.

Qu’est-ce qui vous passionne dans le domaine du traitement automatique des langues ?

Toutes les langues humaines sont si complexes et si désordonnées. Elles nous permettent d’exprimer une gamme d’émotions dans notre parole et même dans notre écriture, et elles évoluent avec le temps. D’un autre côté, un ordinateur est si déterministe et clinique dans le traitement de ses entrées. Le traitement automatique des langues (NLP) est un domaine de l’intelligence artificielle qui tente de faire comprendre à cet appareil non humain les complexités de la langue humaine en combinant des techniques issues de l’informatique, de la linguistique et des statistiques. Comment pourrait-on ne pas trouver cela fascinant ?

Les scientifiques de l’ETS en traitement automatique des langues et en reconnaissance vocale ont récemment développé RSMTool. Pouvez-vous nous expliquer ce que fait RSMTool ?

Comme nous l’avons vu ces dernières années, tous les modèles d’apprentissage automatique peuvent potentiellement présenter un comportement biaisé, quelle que soit le domaine dans lequel ils sont appliqués, l’éducation n’étant pas une exception. Les systèmes de notation automatisés utilisés pour attribuer des notes ou des scores aux élèves pour leurs discours ou leurs essais dans les tests ou les salles de classe utilisent souvent des modèles d’apprentissage automatique. Par conséquent, il est tout à fait possible pour de tels systèmes de se comporter de manière biaisée. Un tel biais peut avoir des conséquences graves, en particulier si les scores de ces systèmes sont utilisés pour prendre des décisions importantes.

RSMTool est un outil open-source que mon collègue Anastassia Loukina (précédemment présenté sur Unite.AI) et moi avons développé à l’ETS pour aider à garantir que les biais systématiques et nuisibles dans les systèmes de notation automatisés soient identifiés le plus tôt possible, idéalement même avant que les systèmes ne soient déployés dans le monde réel. RSMTool est conçu pour fournir une évaluation complète des moteurs de notation IA, y compris non seulement les métriques standard de précision de prédiction, mais également des mesures de justice du modèle et des métriques basées sur la théorie des tests, aidant ainsi les développeurs de ces moteurs à identifier les biais ou les problèmes potentiels dans leurs systèmes.

D’où vient le nom RSMTool ?

Dans le domaine de l’évaluation éducative, une personne qui attribue une note (ou « évalue ») un essai est souvent appelée un « évaluateur ». Il existe des évaluateurs humains et des évaluateurs automatisés. RSMTool – abréviation de Rater Scoring Modeling Tool – est conçu pour aider à construire (et à évaluer) les modèles de notation utilisés par les évaluateurs automatisés.

Comment cet outil peut-il aider les développeurs à identifier les biais ou les problèmes potentiels dans leurs systèmes de notation IA ?

Au cours des cinq dernières décennies, les scientifiques de la mesure éducative – y compris de nombreux de nos collègues de l’ETS – ont mené des recherches précieuses sur ce qui fait que la notation automatisée (et humaine) est équitable. Dans le cadre de ces recherches, ils ont développé de nombreuses analyses statistiques et psychométriques pour calculer les indicateurs de biais systématique. Cependant, comme les communautés de traitement automatique des langues et de psychométrie interagissent rarement, il y a peu d’opportunités de fertilisation croisée des idées. Le résultat est que les chercheurs et les développeurs en traitement automatique des langues qui construisent des systèmes de notation automatisés – en particulier les chercheurs individuels et ceux des petites entreprises – n’ont pas un accès facile aux analyses psychométriques qu’ils devraient utiliser pour vérifier leurs systèmes pour les biais. RSMTool tente de résoudre ce problème en fournissant un large éventail d’analyses psychométriques dans un seul package Python facile à utiliser qui peut être facilement intégré par tout chercheur en traitement automatique des langues dans sa chaîne de recherche ou opérationnelle.

Dans un cas d’utilisation typique, un chercheur fournirait en entrée un fichier ou un cadre de données avec les scores numériques du système, les scores de référence (humains) et les métadonnées, le cas échéant. RSMTool traite ces données et génère un rapport HTML contenant une évaluation complète, y compris des statistiques descriptives ainsi que de multiples mesures de performance et d’équité du système, entre autres. Un exemple de rapport RSMTool peut être trouvé à https://bit.ly/fair-tool. RSMTool peut fonctionner avec des modèles d’apprentissage automatique traditionnels à fonctionnalités (par exemple, de la bibliothèque scikit-learn) et avec des modèles d’apprentissage profond. Bien que la sortie principale de RSMTool soit le rapport HTML qui facilite le partage, il génère également des fichiers de données tabulaires (au format CSV, TSV ou XLSX) comme sorties intermédiaires pour les utilisateurs avancés. Enfin, pour rendre les choses extrêmement personnalisables, RSMTool met en œuvre chaque section de son rapport sous la forme d’un notebook Jupyter afin que les utilisateurs puissent non seulement choisir les sections qui sont pertinentes pour leurs modèles de notation spécifiques, mais également mettre facilement en œuvre des analyses personnalisées et les inclure dans le rapport avec très peu de travail.

Il y a de nombreuses études récentes sur la notation automatisée qui ont utilisé RSMTool pour évaluer leurs modèles de notation proposés.

Quels sont les types de biais courants qui peuvent avoir un impact sur les systèmes de notation automatisés ?

Le type de biais le plus courant affectant un système de notation automatisé est la performance différentielle des sous-groupes, c’est-à-dire lorsque le système automatisé se comporte différemment pour différents sous-groupes de population. Par exemple, un système de notation biaisé pourrait produire systématiquement des scores plus bas pour des essais écrits par, par exemple, des femmes noires par rapport à ceux pour des hommes blancs, même s’il n’y a pas de différences systématiques dans les compétences d’écriture réelles affichées par ces deux sous-groupes dans leurs essais, du point de vue d’un humain.

L’ETS a une riche histoire de recherche sur l’équité pour les moteurs de notation automatisés. Par exemple, nous avons examiné si notre moteur de notation automatisé, e-rater, présente des différences de performance pour les sous-groupes définis par l’ethnicité, le sexe et le pays (ils ont trouvé des différences mineures qui ont été abordées par des changements de politique ultérieurs). Des études ont également examiné si e-rater traite les réponses écrites par les candidats au test GRE avec des troubles d’apprentissage et/ou du TDAH de manière systématiquement différente en moyenne (il ne le fait pas). Plus récemment, une étude opportune examine si un système automatisé de notation de la compétence en langue présente un biais systématique envers les candidats qui devaient porter des masques faciaux par rapport à ceux qui ne portaient pas de masques (il ne le fait pas). RSMTool contient plusieurs analyses psychométriques qui tentent de quantifier la performance différentielle des sous-groupes sur les sous-groupes que l’utilisateur peut définir sur ses propres données.

L’ETS a choisi de rendre RSMTool open-source, pouvez-vous expliquer la raison et l’importance derrière cette décision ?

Oui, RSMTool est disponible sur GitHub avec une licence Apache 2.0. Nous croyons qu’il est important pour un tel outil d’être open-source et non propriétaire afin que la communauté puisse (a) auditer le code source des analyses déjà disponibles pour garantir leur conformité aux normes d’équité et (b) contribuer à de nouvelles analyses à mesure que les normes évoluent et changent. Nous voulons également faciliter l’utilisation de RSMTool par les chercheurs et les développeurs en traitement automatique des langues dans leur travail et nous aider à l’améliorer. Le fait de rendre RSMTool open-source est un exemple clair de l’engagement continu de l’ETS en faveur de l’utilisation responsable de l’IA dans l’éducation.

Quelles sont les leçons que vous avez apprises en développant et en maintenant RSMTool ?

Au cours des cinq dernières années que Anastassia et moi avons développées et maintenues RSMTool – avec l’aide de nombreux collègues de l’ETS et de contributeurs non ETS sur GitHub –, nous avons appris deux leçons fondamentales. La première est que les différents utilisateurs ont des besoins différents et qu’une approche unique ne fonctionnera pas pour un logiciel interdisciplinaire comme RSMTool. La deuxième leçon que nous avons apprise est qu’il est vraiment nécessaire d’aller au-delà pour le rendre aussi robuste que possible afin de rendre plus probable l’adoption de logiciels open-source.

Au cours de notre mandat en tant que responsables de la maintenance de RSMTool, nous avons identifié de nombreux types d’utilisateurs de RSMTool. Certains d’entre eux sont des « utilisateurs avancés » (par exemple, des chercheurs et des développeurs en traitement automatique des langues) qui veulent choisir et sélectionner des fonctionnalités spécifiques de RSMTool pour les intégrer dans leur propre chaîne d’apprentissage automatique tout en utilisant d’autres packages Python. Pour satisfaire de tels utilisateurs, nous avons créé une API complète pour exposer diverses fonctions de prétraitement et de post-traitement ainsi que des métriques personnalisées contenues dans RSMTool. Un autre groupe d’utilisateurs est ce que nous appelons des « minimalistes » : des analystes de données et des ingénieurs qui peuvent ne pas avoir les compétences statistiques ou de programmation pour interagir avec l’API et préfèrent une chaîne prête à l’emploi. Pour satisfaire de tels utilisateurs, nous avons créé des outils de ligne de commande qui peuvent être facilement appelés dans des scripts de shell, par exemple. Nous avons également constaté que les utilisateurs minimalistes hésitent souvent à lire la (admittedly longue) liste des options de configuration de RSMTool. Par conséquent, nous avons construit un générateur de configuration interactif avec une autocomplétion qui peut aider ces utilisateurs à créer des fichiers de configuration en fonction de leurs besoins spécifiques.

Afin de répondre aux besoins de tous nos groupes d’utilisateurs, nous avons dû adopter des pratiques que nous croyions nécessaires pour rendre RSMTool robuste. Que signifie un logiciel robuste ? Pour être robuste, tout logiciel doit répondre aux critères suivants : l’impact de tout changement de code sur sa précision et ses performances peut être mesuré (bien testé), sa documentation est toujours à jour (bien documenté) et le logiciel (ainsi que ses dépendances) est facilement installable par les utilisateurs. Pour RSMTool, nous avons utilisé plusieurs outils et services open-source pour le rendre conforme à notre définition. Nous avons un ensemble de tests complet (>90 % de couverture de code) que nous exécutons automatiquement via une intégration continue pour tous les changements soumis au code. Nous maintenons une documentation extensive (y compris de nombreux tutoriels du monde réel) et toute nouvelle fonctionnalité proposée pour RSMTool doit inclure un composant de documentation qui est également examiné dans le cadre de l’examen du code. Enfin, nous publions RSMTool sous forme de packages qui peuvent être facilement installés (via pip ou conda) et toutes les dépendances nécessaires sont également installées automatiquement.

Que l’ETS espère-t-il accomplir en publiant RSMTool ?

Le secteur de l’éducation a connu l’une des expansions les plus importantes de l’IA au cours des dernières années, avec la notation automatisée du texte et de la parole devenant une application de plus en plus courante du traitement automatique des langues. L’ETS a longtemps été un leader dans le domaine de la notation automatisée et, depuis sa création, s’est engagé à construire des produits et des évaluations équitables conçus pour servir les apprenants du monde entier. En publiant RSMTool, développé en étroite collaboration entre les scientifiques en traitement automatique des langues et les psychométriciens, l’ETS veut continuer à plaider en faveur de l’utilisation responsable de l’IA dans l’éducation de manière très concrète ; plus précisément, nous voulons faire comprendre que lorsque les chercheurs en IA pensent à la « performance » d’un système de notation automatisé, ils devraient considérer non seulement les métriques standard de précision de prédiction (par exemple, la corrélation de Pearson), mais également celles de l’équité du modèle. Plus largement, nous aimerions également que RSMTool serve d’exemple de la manière dont les chercheurs en traitement automatique des langues et les psychométriciens peuvent et devraient travailler ensemble.

Y a-t-il autre chose que vous aimeriez partager sur RSMTool ?

Nous voulons encourager les lecteurs à nous aider à améliorer RSMTool ! Ils n’ont pas besoin d’être un psychométricien ou un expert en traitement automatique des langues pour contribuer. Nous avons de nombreux problèmes ouverts liés à la documentation et à la programmation Python qui seraient parfaits pour tout débutant ou programmeur Python intermédiaire. Nous invitons également les contributions à SKLL (Scikit-Learn Laboratory), – un autre package open-source de l’ETS pour exécuter efficacement des expériences d’apprentissage automatique configurables par l’utilisateur et batchées – qui est utilisé sous-jacentement par RSMTool.