Les monocultures de données dans l’IA : menaces pour la diversité et l’innovation

L’IA est en train de transformer le monde, de la santé à l’éducation. Elle résout des défis de longue date et ouvre des possibilités que nous n’aurions jamais cru possibles. Les données sont au cœur de cette révolution – le carburant qui alimente chaque modèle d’IA. C’est ce qui permet à ces systèmes de faire des prévisions, de trouver des modèles et de fournir des solutions qui ont un impact sur notre vie quotidienne.

Mais, alors que cette abondance de données stimule l’innovation, la domination de jeux de données uniformes – souvent appelés monocultures de données – pose des risques importants pour la diversité et la créativité dans le développement de l’IA. C’est comme une monoculture agricole, où planter la même culture sur de grands champs rend l’écosystème fragile et vulnérable aux parasites et aux maladies. Dans l’IA, s’appuyer sur des jeux de données uniformes crée des modèles rigides, biaisés et souvent peu fiables.

Cet article explore le concept de monocultures de données, en examinant ce qu’elles sont, pourquoi elles persistent, les risques qu’elles posent et les mesures que nous pouvons prendre pour construire des systèmes d’IA plus intelligents, plus équitables et plus inclusifs.

Comprendre les monocultures de données

Une monoculture de données se produit lorsqu’un seul jeu de données ou un ensemble étroit de sources de données domine la formation des systèmes d’IA. La reconnaissance faciale est un exemple bien documenté de monoculture de données dans l’IA. Des études du MIT Media Lab ont montré que les modèles formés principalement sur des images d’individus à peau claire avaient des difficultés avec les visages à peau plus foncée. Les taux d’erreur pour les femmes à peau plus foncée atteignaient 34,7 %, contre 0,8 % pour les hommes à peau claire. Ces résultats mettent en évidence l’impact de données de formation qui n’incluaient pas suffisamment de diversité dans les tons de peau.

Des problèmes similaires surgissent dans d’autres domaines. Par exemple, les grands modèles de langage (LLM) tels que GPT d’OpenAI et Bard de Google sont formés sur des jeux de données qui s’appuient fortement sur du contenu en anglais provenant de contextes occidentaux. Ce manque de diversité les rend moins précis pour comprendre les nuances linguistiques et culturelles d’autres parties du monde. Des pays comme l’Inde sont en train de développer des LLM qui reflètent mieux les langues et les valeurs culturelles locales.

Ce problème peut être critique, en particulier dans des domaines comme la santé. Par exemple, un outil de diagnostic médical formé principalement sur des données de populations européennes peut fonctionner moins bien dans des régions avec des facteurs génétiques et environnementaux différents.

D’où viennent les monocultures de données

Les monocultures de données dans l’IA se produisent pour une variété de raisons. Les jeux de données populaires comme ImageNet et COCO sont massifs, facilement accessibles et largement utilisés. Mais ils reflètent souvent une vision étroite et centrée sur l’Occident. La collecte de données diverses n’est pas gratuite, donc de nombreuses petites organisations s’appuient sur ces jeux de données existants. Cette dépendance renforce le manque de variété.

La normalisation est également un facteur clé. Les chercheurs utilisent souvent des jeux de données largement reconnus pour comparer leurs résultats, décourageant involontairement l’exploration de sources alternatives. Cette tendance crée une boucle de rétroaction où tout le monde optimise les mêmes références au lieu de résoudre des problèmes du monde réel.

Parfois, ces problèmes se produisent en raison d’une omission. Les créateurs de jeux de données peuvent involontairement laisser de côté certains groupes, langues ou régions. Par exemple, les premières versions des assistants vocaux comme Siri ne géraient pas bien les accents non occidentaux. La raison en était que les développeurs n’avaient pas inclus suffisamment de données de ces régions. Ces omissions créent des outils qui ne répondent pas aux besoins d’un public mondial.

Pourquoi cela compte

Alors que l’IA prend des rôles plus importants dans la prise de décision, les monocultures de données peuvent avoir des conséquences dans le monde réel. Les modèles d’IA peuvent renforcer la discrimination lorsqu’ils héritent de biais de leurs données de formation. Un algorithme de recrutement formé sur des données d’industries à prédominance masculine pourrait involontairement favoriser les candidats masculins, excluant les femmes qualifiées de la considération.

La représentation culturelle est un autre défi. Les systèmes de recommandation comme Netflix et Spotify ont souvent favorisé les préférences occidentales, mettant de côté le contenu d’autres cultures. Cette discrimination limite l’expérience utilisateur et freine l’innovation en gardant les idées étroites et répétitives.

Les systèmes d’IA peuvent également devenir fragiles lorsqu’ils sont formés sur des données limitées. Pendant la pandémie de COVID-19, les modèles médicaux formés sur des données pré-pandémiques n’ont pas su s’adapter aux complexités d’une crise sanitaire mondiale. Cette rigidité peut rendre les systèmes d’IA moins utiles lorsqu’ils sont confrontés à des situations inattendues.

Les monocultures de données peuvent également conduire à des problèmes éthiques et juridiques. Des entreprises comme Twitter et Apple ont été confrontées à des critiques pour des algorithmes biaisés. L’outil de recadrage d’images de Twitter a été accusé de biais racial, tandis que l’algorithme de crédit d’Apple Card aurait offert des limites plus basses aux femmes. Ces controverses nuisent à la confiance dans les produits et soulèvent des questions sur la responsabilité dans le développement de l’IA.

Comment résoudre les monocultures de données

Résoudre le problème des monocultures de données nécessite d’élargir la gamme de données utilisées pour former les systèmes d’IA. Cette tâche nécessite de développer des outils et des technologies qui facilitent la collecte de données provenant de sources diverses. Des projets comme Common Voice de Mozilla, par exemple, rassemblent des échantillons vocaux de personnes du monde entier, créant un jeu de données plus riche avec divers accents et langues – de même, des initiatives comme les données pour l’IA de l’UNESCO se concentrent sur l’inclusion de communautés sous-représentées.

Établir des lignes directrices éthiques est une autre étape cruciale. Des cadres comme la Déclaration de Toronto promeuvent la transparence et l’inclusivité pour garantir que les systèmes d’IA soient équitables par conception. Des politiques de gouvernance des données solides inspirées par les réglementations RGPD peuvent également faire une grande différence. Elles exigent une documentation claire des sources de données et tiennent les organisations responsables de garantir la diversité.

Les plateformes open source peuvent également faire une différence. Par exemple, le référentiel de données de Hugging Face permet aux chercheurs d’accéder et de partager des données diverses. Ce modèle collaboratif favorise l’écosystème de l’IA, réduisant la dépendance à l’égard de jeux de données étroits. La transparence joue également un rôle important. Utiliser des systèmes d’IA explicables et mettre en place des vérifications régulières peut aider à identifier et à corriger les biais. Cette explication est essentielle pour maintenir les modèles à la fois équitables et adaptables.

Construire des équipes diverses pourrait être l’étape la plus efficace et la plus simple. Les équipes aux profils variés sont meilleures pour repérer les angles morts dans les données et concevoir des systèmes qui fonctionnent pour un éventail plus large d’utilisateurs. Les équipes inclusives conduisent à de meilleurs résultats, rendant l’IA plus intelligente et plus équitable.

En conclusion

L’IA a un potentiel incroyable, mais son efficacité dépend de la qualité de ses données. Les monocultures de données limitent ce potentiel, produisant des systèmes biaisés, rigides et souvent déconnectés des besoins du monde réel. Pour surmonter ces défis, les développeurs, les gouvernements et les communautés doivent collaborer pour diversifier les jeux de données, mettre en œuvre des pratiques éthiques et favoriser des équipes inclusives.
En abordant ces questions directement, nous pouvons créer des systèmes d’IA plus intelligents et plus équitables, reflétant la diversité du monde qu’ils visent à servir.