MOSEL : Améliorer la collecte de données de parole pour toutes les langues européennes

Le développement de modèles de langage basés sur l’intelligence artificielle a été largement dominé par l’anglais, laissant de nombreuses langues européennes sous-représentées. Cela a créé un déséquilibre important dans la façon dont les technologies basées sur l’intelligence artificielle comprennent et répondent à différentes langues et cultures. MOSEL vise à changer ce récit en créant une collection complète et open-source de données de parole pour les 24 langues officielles de l’Union européenne. En fournissant des données linguistiques diverses, MOSEL cherche à garantir que les modèles basés sur l’intelligence artificielle soient plus inclusifs et représentatifs du paysage linguistique riche de l’Europe.

La diversité linguistique est cruciale pour assurer l’inclusivité dans le développement de l’intelligence artificielle. S’appuyer trop sur des modèles centrés sur l’anglais peut entraîner des technologies moins efficaces ou même inaccessibles pour les locuteurs d’autres langues. Les ensembles de données multilingues aident à créer des systèmes basés sur l’intelligence artificielle qui servent tout le monde, quelle que soit la langue parlée. L’adoption de la diversité linguistique améliore l’accessibilité des technologies et garantit une représentation équitable des différentes cultures et communautés. En promouvant l’inclusivité linguistique, l’intelligence artificielle peut véritablement refléter les besoins et les voix diversifiés de ses utilisateurs.

Présentation de MOSEL

MOSEL, ou Données de parole ouvertes et massives pour les langues européennes, est un projet innovant qui vise à créer une collection extensive et open-source de données de parole couvrant toutes les 24 langues officielles de l’Union européenne. Développé par une équipe internationale de chercheurs, MOSEL intègre des données de 18 projets différents, tels que CommonVoice, LibriSpeech et VoxPopuli. Cette collection comprend à la fois des enregistrements de parole transcrits et des données audio non étiquetées, offrant une ressource significative pour faire progresser le développement de l’intelligence artificielle multilingue.

L’une des contributions clés de MOSEL est l’inclusion à la fois de données transcrites et de données non étiquetées. Les données transcrites fournissent une base fiable pour la formation de modèles basés sur l’intelligence artificielle, tandis que les données audio non étiquetées peuvent être utilisées pour des recherches et des expérimentations ultérieures, en particulier pour les langues à ressources limitées. La combinaison de ces ensembles de données crée une opportunité unique de développer des modèles de langage plus inclusifs et capables de comprendre le paysage linguistique diversifié de l’Europe.

Combler le fossé des données pour les langues sous-représentées

La répartition des données de parole entre les langues européennes est fortement inégale, l’anglais dominant la majorité des ensembles de données disponibles. Ce déséquilibre présente des défis importants pour le développement de modèles basés sur l’intelligence artificielle qui peuvent comprendre et répondre avec précision aux langues moins représentées. De nombreuses langues officielles de l’UE, telles que le maltais ou l’irlandais, ont très peu de données, ce qui entrave la capacité des technologies basées sur l’intelligence artificielle à servir efficacement ces communautés linguistiques.

MOSEL vise à combler ce fossé des données en exploitant le modèle Whisper d’OpenAI pour transcrire automatiquement 441 000 heures de données audio précédemment non étiquetées. Cette approche a considérablement élargi la disponibilité de matériel de formation, en particulier pour les langues qui manquaient de données transcrites manuellement. Même si la transcription automatique n’est pas parfaite, elle fournit un point de départ précieux pour un développement ultérieur, permettant la construction de modèles de langage plus inclusifs.

Cependant, les défis sont particulièrement évidents pour certaines langues. Par exemple, le modèle Whisper a eu du mal avec le maltais, atteignant un taux d’erreur de mots supérieur à 80 %. De tels taux d’erreur élevés soulignent la nécessité d’un travail supplémentaire, notamment pour améliorer les modèles de transcription et collecter davantage de données transcrites manuellement de haute qualité. L’équipe MOSEL est déterminée à poursuivre ces efforts, garantissant que même les langues à ressources limitées puissent bénéficier des progrès de la technologie basée sur l’intelligence artificielle.

Le rôle de l’accès ouvert dans la promotion de l’innovation de l’IA

La disponibilité open-source de MOSEL est un facteur clé dans la promotion de l’innovation dans la recherche européenne sur l’intelligence artificielle. En rendant les données de parole librement accessibles, MOSEL permet aux chercheurs et aux développeurs de travailler avec des ensembles de données étendus et de haute qualité qui étaient précédemment indisponibles ou limités. Cette accessibilité encourage la collaboration et l’expérimentation, favorisant une approche communautaire pour faire progresser les technologies basées sur l’intelligence artificielle pour toutes les langues européennes.

Les chercheurs et les développeurs peuvent utiliser les données de MOSEL pour former, tester et affiner les modèles de langage basés sur l’intelligence artificielle, en particulier pour les langues qui ont été sous-représentées dans le paysage de l’intelligence artificielle. La nature ouverte de ces données permet également aux petites organisations et aux institutions universitaires de participer à la recherche sur l’intelligence artificielle de pointe, brisant les barrières qui favorisent souvent les grandes entreprises technologiques dotées de ressources exclusives.

Directions futures et chemin à suivre

En regardant vers l’avenir, l’équipe MOSEL prévoit de continuer à élargir l’ensemble de données, en particulier pour les langues sous-représentées. En collectant davantage de données et en améliorant la précision des transcriptions automatisées, MOSEL vise à créer une ressource plus équilibrée et plus inclusive pour le développement de l’intelligence artificielle. Ces efforts sont cruciaux pour garantir que toutes les langues européennes, quelle que soit le nombre de locuteurs, aient une place dans le paysage de l’intelligence artificielle en évolution.

Le succès de MOSEL pourrait également inspirer des initiatives similaires à l’échelle mondiale, promouvant la diversité linguistique dans l’intelligence artificielle au-delà de l’Europe. En établissant un précédent pour l’accès ouvert et le développement collaboratif, MOSEL ouvre la voie à des projets futurs qui donnent la priorité à l’inclusivité et à la représentation dans l’intelligence artificielle, contribuant finalement à un avenir technologique plus équitable.