Les jeux de données d’intelligence artificielle issus du web-scraping et la vie privée : pourquoi CommonPool mérite un regard

L’intelligence artificielle (IA) est devenue une partie de la vie quotidienne. Elle est visible dans les chatbots médicaux qui guident les patients et dans les outils de génération qui aident les artistes, les écrivains et les développeurs. Ces systèmes semblent avancés, mais ils dépendent d’une seule ressource essentielle : les données.

La plupart des données utilisées pour entraîner les systèmes d’IA proviennent de l’internet public. Des programmes automatisés collectent de grandes quantités de texte, d’images et d’audio à partir de plateformes en ligne. Ces collections forment la base de modèles bien connus tels que GPT-4, Stable Diffusion et bien d’autres. Cette vaste collection soulève cependant des préoccupations non résolues en matière de vie privée, de propriété et de consentement éclairé.

Le marché des jeux de données de formation reflète l’ampleur de cette activité. Actuellement, la valeur mondiale des jeux de données d’IA est estimée à 3,2 milliards de dollars. Selon les prévisions, elle pourrait atteindre 16,3 milliards de dollars d’ici 2034, avec un taux de croissance annuel de 20,5 %. Derrière ces chiffres se cache un défi important. Une partie importante du matériel collecté est obtenue sans autorisation explicite. Il contient souvent des données personnelles, des œuvres protégées par le droit d’auteur et d’autres contenus sensibles qui n’ont jamais été destinés à être utilisés par des systèmes d’apprentissage automatique.

En réponse à ces problèmes, des approches alternatives de gouvernance des données sont explorées. L’un des exemples est CommonPool, publié en avril 2023 dans le cadre du benchmark DataComp. Il s’agit d’un grand jeu de données de 12,8 milliards de paires d’images et de texte conçu pour la recherche sur l’IA multimodale. Contrairement aux efforts de scraping traditionnels, il applique des méthodes de filtration, met l’accent sur la transparence et inclut la participation de la communauté dans son développement. Bien qu’il fasse l’objet d’un débat, CommonPool indique une tentative de construire des pratiques plus responsables et auditable pour les données de formation d’IA. De telles initiatives mettent en évidence la nécessité de normes éthiques dans l’avenir de l’intelligence artificielle.

Le rôle des données issues du web-scraping dans le développement de l’intelligence artificielle

Les données sont centrales pour l’IA, avec des performances de système étroitement liées à la quantité et à la variété d’informations disponibles pour la formation. Ces dernières années, le web-scraping est devenu une méthode standard pour assembler de grands jeux de données à grande échelle. En collectant du contenu en ligne accessible au public, les chercheurs et les développeurs ont obtenu des ressources de données vastes et diversifiées.

Un exemple populaire est Common Crawl, qui, d’ici 2025, a stocké des pétaoctets de texte collectés grâce à des crawls mensuels de plus de 250 téraoctets chacun. Ce jeu de données est largement utilisé pour la formation de modèles d’IA basés sur le texte. Un autre exemple est LAION-5B, qui contient environ 5,85 milliards de paires d’images et de texte. Il a été important pour des applications telles que Stable Diffusion, qui peut créer des images réalistes à partir de prompts écrits.

Ces jeux de données sont précieux car ils améliorent la précision des modèles, améliorent la généralisation grâce à un contenu varié et permettent à des groupes plus petits, y compris les universités, de participer au développement de l’IA. L’indice d’IA de Stanford 2025 montre que la plupart des modèles avancés dépendent toujours de données issues du web-scraping, avec des jeux de données qui grandissent rapidement en taille. Cette demande a également entraîné des investissements importants, atteignant plus de 57 milliards de dollars en 2024 pour les centres de données et la puissance de calcul.

En même temps, le web-scraping n’est pas sans défis. Il soulève des questions sur la vie privée, la propriété et les droits légaux, car une grande partie du contenu collecté n’a pas été créé à l’origine pour une utilisation par des machines. Les affaires judiciaires et les discussions politiques montrent que ces défis deviennent de plus en plus urgents. L’avenir de la collecte de données d’IA dépendra de la capacité à trouver un équilibre entre le progrès et la responsabilité éthique.

Le problème de confidentialité lié aux données issues du web-scraping

Les outils de web-scraping collectent des informations sans séparation claire entre le contenu général et les détails sensibles. Avec le texte et les images, ils capturent souvent des informations personnelles identifiables (PII) telles que les noms, les adresses e-mail et les photographies de visages.

Une audit du jeu de données CommonPool en juillet 2025 a révélé que, même après filtration, 0,1 % des échantillons contenaient encore des visages non floutés, des pièces d’identité gouvernementales et des documents tels que des CV et des passeports. Bien que le pourcentage semble faible, à l’échelle de milliards d’enregistrements, cela se traduit par des centaines de millions de personnes touchées. Les examens et les audits de sécurité confirment que la présence d’un tel matériel n’est pas inhabituelle et que les risques incluent le vol d’identité, le harcèlement ciblé et l’exposition non souhaitée de données privées.

Les litiges juridiques augmentent également à mesure que les préoccupations concernant la propriété des données et l’utilisation équitable se traduisent par des poursuites judiciaires. Entre 2023 et 2024, des entreprises telles que OpenAI et Stability AI ont été poursuivies pour avoir utilisé des données personnelles et des données protégées par le droit d’auteur sans consentement. En février 2025, un tribunal fédéral américain a décidé que la formation d’IA sur des informations personnelles non licenciées constitue une violation du droit d’auteur. Cette décision a encouragé davantage de poursuites collectives. Le droit d’auteur est une autre question majeure. De nombreux jeux de données issus du web-scraping contiennent des livres, des articles, des œuvres d’art et des codes. Les écrivains et les artistes soutiennent que leur travail est utilisé sans autorisation ou paiement. L’affaire en cours New York Times c. OpenAI remet en question si les systèmes d’IA reproduisent illégalement du contenu protégé. Les artistes visuels ont soulevé des plaintes similaires, affirmant que l’IA copie leur style individuel. En juin 2025, un tribunal américain a soutenu une entreprise d’IA en vertu de l’utilisation équitable, mais les experts disent que les jugements restent incohérents et que le cadre juridique est encore flou.

Le manque de consentement dans la formation d’IA a affaibli la confiance du public. De nombreuses personnes découvrent que leurs blogs, leurs œuvres créatives ou leur code sont inclus dans des jeux de données sans leur connaissance. Cela a soulevé des préoccupations éthiques et des appels à une plus grande transparence. En réponse, les gouvernements se dirigent vers une surveillance plus stricte grâce à des lois qui favorisent le développement équitable de modèles d’IA et l’utilisation prudente des données.

Pourquoi les jeux de données issus du web-scraping sont difficiles à remplacer

Même avec des préoccupations concernant la vie privée et le consentement, les jeux de données issus du web-scraping restent nécessaires pour la formation d’IA. La raison en est l’échelle. Les modèles d’IA modernes nécessitent des milliards de jetons de texte, d’images et d’autres médias. La construction de tels jeux de données uniquement à partir de sources licenciées ou ciblées coûterait des centaines de millions de dollars. Cela n’est pas pratique pour la plupart des startups ou des universités.

Le coût élevé n’est pas le seul défi lié aux jeux de données ciblés. Ils manquent souvent de diversité et se concentrent sur des langues, des régions ou des communautés spécifiques. Cette couverture étroite rend les modèles d’IA moins équilibrés. En revanche, les données issues du web-scraping, bien qu’elles soient bruyantes et imparfaites, capturent une gamme plus large de cultures, de sujets et de points de vue. Cette diversité permet aux systèmes d’IA de fonctionner mieux lorsqu’ils sont appliqués à des utilisations réelles.

Le risque, cependant, est que des réglementations strictes pourraient restreindre l’accès aux données issues du web-scraping. Si cela se produit, les petites organisations pourraient avoir du mal à concurrencer. Les grandes entreprises dotées de jeux de données privés ou propriétaires, comme Google (GOOGL ) ou Meta, continueraient à progresser. Cet équilibre pourrait réduire la concurrence et ralentir l’innovation ouverte dans l’IA.

Pour l’instant, les jeux de données issus du web-scraping sont centraux pour la recherche sur l’IA. En même temps, des projets comme CommonPool explorent des moyens de construire des collections étendues et éthiquement sourcées. Ces efforts sont nécessaires pour maintenir l’écosystème de l’IA plus ouvert, équitable et responsable.

CommonPool : vers une ingénierie de données à grande échelle responsable

CommonPool est l’un des efforts les plus ambitieux sur le plan technique pour construire un grand jeu de données multimodal ouvert. Avec environ 12,8 milliards de paires d’images et de texte, il correspond à l’échelle de LAION-5B mais intègre des mécanismes de gouvernance et d’ingénierie de données plus solides. L’objectif principal de conception n’était pas seulement de maximiser l’échelle mais également de s’aligner sur les principes de reproductibilité, de provenance des données et de conformité réglementaire.

La construction du jeu de données CommonPool suit un pipeline structuré en trois étapes. La première étape consiste à extraire des échantillons bruts à partir de snapshots de Common Crawl collectés entre 2014 et 2022. Les images et le texte associé, tels que les légendes ou les passages environnants, sont collectés. Pour évaluer l’alignement sémantique, les responsables appliquent un scoring de similarité basé sur CLIP, éliminant les paires avec une correspondance faible entre les embeddings d’images et de texte. Cette étape de filtration précoce réduit considérablement le bruit par rapport aux pipelines de scraping naïfs.

À la deuxième étape, le jeu de données subit une déduplication à grande échelle. Des techniques de hachage perceptuel et de MinHash sont utilisées pour identifier et supprimer les images quasi-identiques, empêchant la redondance de dominer la formation du modèle. Des filtres supplémentaires sont appliqués pour exclure les fichiers corrompus, les liens cassés et les images de faible résolution. À ce stade, le pipeline inclut également la normalisation du texte et l’identification automatique de la langue, permettant la création de sous-ensembles spécifiques à un domaine ou à une langue pour des recherches ciblées.

La troisième étape se concentre sur la sécurité et la conformité. La détection automatique de visages et le floutage sont appliqués, tandis que les images liées aux enfants et les identifiants personnels tels que les noms, les adresses e-mail et les adresses postales sont supprimés. Le pipeline tente également de détecter les matériaux protégés par le droit d’auteur. Bien qu’aucune méthode automatisée ne puisse garantir une filtration parfaite à l’échelle du web, ces garanties représentent une amélioration technique significative par rapport à LAION-5B, où la filtration était principalement limitée au contenu pour adultes et à la toxicité.

Au-delà du traitement des données, CommonPool introduit un modèle de gouvernance qui le distingue des versions de jeux de données statiques. Il est maintenu comme un jeu de données vivant avec des versions, des métadonnées structurées et des cycles de mise à jour documentés. Chaque échantillon inclut des informations de licence lorsque disponibles, soutenant la conformité avec les réglementations sur le droit d’auteur. Un protocole de retrait permet aux individus et aux institutions de demander la suppression de contenu sensible, répondant aux préoccupations soulevées par la loi AI de l’UE et les cadres réglementaires connexes. Les métadonnées telles que les URL sources et les scores de filtration améliorent la transparence et la reproductibilité, permettant aux chercheurs de retracer les décisions d’inclusion et d’exclusion.

Les résultats de benchmarking de l’initiative DataComp illustrent les effets techniques de ces choix de conception. Lorsque des architectures de vision-langage identiques ont été formées sur LAION-5B et CommonPool, ce dernier a produit des modèles avec des performances descendantes plus stables, en particulier sur les tâches de récupération fine et de classification à zéro tir. Ces résultats suggèrent que la qualité d’alignement plus élevée de CommonPool compense certains avantages d’échelle des jeux de données moins filtrés. Cependant, des audits indépendants en 2025 ont révélé des risques résiduels : environ 0,1 % du jeu de données contenaient encore des visages non floutés, des documents d’identité personnels sensibles et des dossiers médicaux. Cela met en évidence les limites même des pipelines de filtration automatisés les plus avancés.

Dans l’ensemble, CommonPool représente un changement dans l’ingénierie de jeux de données, passant de la priorité à l’échelle brute à l’équilibre entre échelle, qualité et conformité. Pour les chercheurs, il fournit une base plus reproductible et plus sûre pour la formation préalable à grande échelle. Pour les régulateurs, il démontre que les mécanismes de confidentialité et de responsabilité peuvent être intégrés directement dans la construction du jeu de données. Contrairement à LAION, CommonPool illustre comment les pipelines de filtration, les pratiques de gouvernance et les cadres de benchmarking peuvent transformer les données web à grande échelle en une ressource plus technique et plus éthique pour l’IA multimodale.

Comparaison de CommonPool avec les jeux de données traditionnels issus du web-scraping

Contrairement aux jeux de données à grande échelle issus du web-scraping tels que LAION-5B (5,85 milliards d’échantillons), COYO-700M (700 millions d’échantillons) et WebLI (400 millions d’échantillons), CommonPool met l’accent sur la structure, la reproductibilité et la gouvernance. Il conserve les métadonnées telles que les URL et les horodatages, ce qui prend en charge la traçabilité et les vérifications de licence partielles. De plus, il applique une filtration sémantique basée sur CLIP pour supprimer les paires d’images et de texte de faible qualité ou faiblement alignées, aboutissant à une amélioration de la qualité des données.

En comparaison, LAION-5B et COYO ont été assemblés à partir de Common Crawl avec une filtration limitée et sans documentation détaillée de licence. Ces jeux de données contiennent fréquemment des matériaux sensibles, notamment des dossiers médicaux, des documents d’identité et des visages non floutés. WebLI, utilisé internement par OpenAI, manque également de transparence, car il n’a jamais été publié pour examen ou réplication externe.

CommonPool cherche à résoudre ces problèmes en excluant les informations personnelles et le contenu NSFW, tout en reconnaissant que le consentement complet des utilisateurs reste non résolu. Cela le rend plus fiable et plus aligné sur l’éthique que les alternatives précédentes.

En résumé

Le développement de CommonPool reflète une transition importante dans la façon dont les grands jeux de données d’IA sont conçus et maintenus. Alors que les collections plus anciennes comme LAION-5B et COYO privilégiaient l’échelle avec une surveillance limitée, CommonPool démontre que la transparence, la filtration et la gouvernance peuvent être intégrées dans la construction du jeu de données sans compromettre l’utilité pour la recherche.

En conservant les métadonnées, en appliquant des vérifications d’alignement sémantique et en intégrant des garanties de confidentialité, il offre une ressource plus reproductible et plus responsable. En même temps, des audits indépendants nous rappellent que les garanties automatisées ne peuvent pas éliminer complètement les risques, soulignant la nécessité d’une vigilance continue.