Nouveau modèle d’IA fonctionnant avec une plus grande variété de langues humaines

Les chercheurs de l’Université de Waterloo ont développé un modèle d’IA qui permet aux ordinateurs de traiter une plus grande variété de langues humaines. Il s’agit d’une étape importante dans le domaine, compte tenu du nombre de langues souvent laissées pour compte dans le processus de programmation. Les langues africaines ne sont souvent pas prises en compte par les informaticiens, ce qui a conduit à des capacités de traitement du langage naturel (NLP) limitées sur le continent.

Le nouveau modèle de langage a été développé par une équipe de chercheurs de l’École de sciences informatiques David R. Cheriton de l’Université de Waterloo.

La recherche a été présentée à l’atelier Multilingual Representation Learning à la Conférence 2021 sur les méthodes empiriques en traitement automatique des langues naturelles.

Le modèle joue un rôle clé dans l’aide aux ordinateurs pour analyser le texte dans les langues africaines pour de nombreuses tâches utiles, et il est appelé AfriBERTa. Il utilise des techniques d’apprentissage profond pour obtenir des résultats impressionnants pour les langues à faibles ressources.

Travailler avec 11 langues africaines

AfriBERTa fonctionne avec 11 langues africaines spécifiques pour le moment, notamment l’amharique, le haoussa et le swahili, qui sont parlés par plus de 400 millions de personnes. Le modèle a démontré une qualité de sortie comparable aux meilleurs modèles existants, et il a fait cela en ne s’appuyant que sur un gigaoctet de texte. D’autres modèles similaires nécessitent souvent des milliers de fois plus de données.

Kelechi Ogueji est un étudiant en maîtrise en sciences informatiques à Waterloo.

« Les modèles de langage préentraînés ont transformé la façon dont les ordinateurs traitent et analysent les données textuelles pour des tâches allant de la traduction automatique à la réponse aux questions », a déclaré Ogueji. « Malheureusement, les langues africaines ont reçu peu d’attention de la part de la communauté de recherche. »

« L’un des défis est que les réseaux de neurones sont déroutants en termes de texte et d’intensité informatique pour les construire. Et contrairement à l’anglais, qui dispose de quantités énormes de texte disponible, la plupart des 7 000 langues ou plus parlées dans le monde peuvent être caractérisées comme à faibles ressources, en raison du manque de données disponibles pour alimenter les réseaux de neurones avides de données. »

Technique de pré-entraînement

La plupart de ces modèles s’appuient sur une technique de pré-entraînement, qui consiste pour le chercheur à présenter le modèle avec du texte dont certains mots sont cachés ou masqués. Le modèle doit alors deviner les mots cachés, et il répète ce processus des milliards de fois. Il apprend finalement les associations statistiques entre les mots, ce qui est similaire à la connaissance humaine de la langue.

Jimmy Lin est le titulaire de la chaire Cheriton en sciences informatiques et le conseiller d’Ogueji.

« Être capable de pré-entraîner des modèles qui sont tout aussi précis pour certaines tâches en aval, mais en utilisant beaucoup moins de données, présente de nombreux avantages », a déclaré Lin. « Avoir besoin de moins de données pour entraîner le modèle de langage signifie que moins de calcul est requis et, par conséquent, des émissions de carbone plus faibles associées au fonctionnement de centres de données massifs. Des ensembles de données plus petits rendent également la curation des données plus pratique, ce qui est une approche pour réduire les biais présents dans les modèles. »

« Ce travail constitue un petit mais important pas pour apporter des capacités de traitement du langage naturel à plus de 1,3 milliard de personnes sur le continent africain. »

La recherche a également impliqué Yuxin Zhu, qui a récemment terminé un diplôme de premier cycle en sciences informatiques à l’université.