Web-geëxtraheerde AI-datasets en privacy: waarom CommonPool een kans verdient

Kunstmatige intelligentie (AI) is onderdeel geworden van het dagelijks leven. Het is zichtbaar in medische chatbots die patiënten begeleiden en in generatieve tools die artiesten, schrijvers en ontwikkelaars helpen. Deze systemen lijken geavanceerd, maar ze zijn afhankelijk van één essentiële bron: data.

De meeste data die wordt gebruikt om AI-systemen te trainen, komt van het openbare internet. Geautomatiseerde programma’s verzamelen grote hoeveelheden tekst, afbeeldingen en audio van online platforms. Deze verzamelingen vormen de basis van bekende modellen zoals GPT-4, Stable Diffusion en vele anderen. Deze enorme verzameling roept echter onopgeloste vragen op over privacy, eigendom en geïnformeerde toestemming.

De markt voor trainingsdatasets weerspiegelt de omvang van deze activiteit. Op dit moment wordt de wereldwijde waarde van AI-datasets geschat op 3,2 miljard dollar. Volgens prognoses kan deze waarde tegen 2034 groeien tot 16,3 miljard dollar, met een jaarlijkse groeipercentage van 20,5%. Achter deze cijfers schuilt een belangrijke uitdaging. Een aanzienlijk deel van het verzamelde materiaal wordt zonder expliciete toestemming verkregen. Het bevat vaak persoonlijke gegevens, auteursrechtelijk beschermde werken en andere gevoelige inhoud die nooit bedoeld was voor machine learning-systemen.

In reactie op deze problemen worden alternatieve benaderingen van gegevensbeheer onderzocht. Een voorbeeld is CommonPool, dat in april 2023 werd uitgebracht als onderdeel van de DataComp-benchmark. Het is een grote dataset van 12,8 miljard afbeelding-tekstparen, ontworpen voor multimodaal AI-onderzoek. In tegenstelling tot traditionele webscraping-inspanningen, past het filtermethoden toe, legt het de nadruk op transparantie en omvat het communityparticipatie in de ontwikkeling. Hoewel het nog steeds onderwerp van discussie is, geeft CommonPool aan dat er een poging wordt gedaan om meer verantwoorde en controleerbare praktijken voor AI-trainingsdata op te bouwen. Dergelijke initiatieven benadrukken de behoefte aan ethische normen in de toekomst van kunstmatige intelligentie.

De rol van web-geëxtraheerde data in de ontwikkeling van kunstmatige intelligentie

Data is centraal voor AI, met de prestaties van het systeem nauw verbonden met de hoeveelheid en variëteit van de beschikbare informatie voor training. In recente jaren is web scraping een standaardmethode geworden voor het opbouwen van grote datasets in grote hoeveelheden. Door openbaar toegankelijke online inhoud te verzamelen, hebben onderzoekers en ontwikkelaars toegang gekregen tot enorme en diverse gegevensbronnen.

Een populair voorbeeld is Common Crawl, dat tegen 2025 petabytes aan tekst heeft opgeslagen die zijn verzameld door middel van maandelijkse crawls van meer dan 250 terabyte elk. Deze dataset wordt op grote schaal gebruikt voor het trainen van op tekst gebaseerde AI-modellen. Een ander voorbeeld is LAION-5B, dat ongeveer 5,85 miljard afbeelding-tekstparen bevat. Het is belangrijk geweest voor toepassingen zoals Stable Diffusion, die realistische afbeeldingen kan maken vanuit geschreven prompts.

Deze datasets zijn waardevol omdat ze de nauwkeurigheid van modellen verhogen, de generalisatie verbeteren door middel van gevarieerde inhoud en het mogelijk maken dat kleinere groepen, waaronder universiteiten, deel kunnen nemen aan AI-ontwikkeling. De Stanford AI Index 2025 toont aan dat de meeste geavanceerde modellen nog steeds afhankelijk zijn van geëxtraheerde data, met datasets die snel in omvang toenemen. Deze vraag heeft ook forse investeringen aangewakkerd, tot een recordbedrag van 57 miljard dollar in 2024 voor datacenters en rekenkracht.

Tegelijkertijd is web scraping niet vrij van uitdagingen. Het roept vragen op over privacy, eigendom en juridische rechten, aangezien veel van de verzamelde inhoud niet oorspronkelijk is gemaakt voor machinegebruik. Rechtszaken en beleidsdiscussies laten zien dat deze uitdagingen steeds dringender worden. De toekomst van AI-gegevensverzameling zal afhankelijk zijn van het vinden van een balans tussen vooruitgang en ethische verantwoordelijkheid.

Het privacyprobleem met geëxtraheerde data

Web scraping-tools verzamelen informatie zonder een duidelijke scheiding tussen algemene inhoud en gevoelige details. Naast tekst en afbeeldingen worden vaak Persoonlijk Identificeerbare Informatie (PII) zoals namen, e-mailadressen en gezichtsfoto’s vastgelegd.

Een audit van de CommonPool-dataset in juli 2025 onthulde dat zelfs na filtering 0,1% van de monsters nog steeds identificeerbare gezichten, overheids-ID’s en documenten zoals cv’s en paspoorten bevatten. Hoewel het percentage klein lijkt, vertaalt het zich bij een schaal van miljarden records in honderden miljoenen getroffen individuen. Beoordelingen en veiligheidsaudits bevestigen dat de aanwezigheid van dergelijk materiaal niet ongebruikelijk is en dat de risico’s identiteitsdiefstal, gerichte intimidatie en ongewenste blootstelling van privégegevens omvatten.

Rechtszaken nemen ook toe naarmate zorgen over gegevenseigendom en eerlijke gebruiksrechten de rechtszaal bereiken. Tussen 2023 en 2024 werden bedrijven zoals OpenAI en Stability AI aangeklaagd voor het gebruik van persoonlijke en auteursrechtelijk beschermde gegevens zonder toestemming. In februari 2025 oordeelde een Amerikaanse federale rechtbank dat het trainen van AI op niet-geautoriseerde persoonlijke informatie als inbreuk kan worden beschouwd. Deze beslissing heeft meer collectieve rechtszaken aangewakkerd. Auteursrecht is een ander groot probleem. Veel geëxtraheerde datasets bevatten boeken, artikelen, kunst en code. Schrijvers en artiesten beweren dat hun werk zonder goedkeuring of betaling wordt gebruikt. De lopende rechtszaak New York Times v. OpenAI vraagt zich af of AI-systemen beschermd materiaal onrechtmatig reproduceren. Visuele artiesten hebben soortgelijke klachten ingediend, waarin zij beweren dat AI hun individuele stijl kopieert. In juni 2025 ondersteunde een Amerikaanse rechtbank een AI-bedrijf onder het mom van eerlijke gebruiksrecht, maar deskundigen zeggen dat de uitspraken inconsistent zijn en het juridische kader nog steeds onduidelijk is.

Het gebrek aan toestemming bij AI-training heeft het publieke vertrouwen ondermijnd. Veel mensen ontdekken dat hun blogs, creatief werk of code zonder hun kennis in datasets zijn opgenomen. Dit heeft ethische zorgen opgeroepen en roepen om meer transparantie. Als reactie zijn regeringen bezig met strengere toezicht door middel van wetten die de eerlijke ontwikkeling van AI-modellen en de zorgvuldige gebruik van gegevens bevorderen.

Waarom geëxtraheerde datasets moeilijk te vervangen zijn

Zelfs met zorgen over privacy en toestemming blijven geëxtraheerde datasets noodzakelijk voor AI-training. De reden is schaal. Moderne AI-modellen vereisen triljoenen tokens van tekst, afbeeldingen en andere media. Het opbouwen van dergelijke datasets alleen door middel van gelicenceerde of gecuratede bronnen zou honderden miljoenen dollars kosten. Dit is niet praktisch voor de meeste startups of universiteiten.

Hoge kosten zijn niet de enige uitdaging met gecuratede datasets. Ze ontbreken vaak aan diversiteit en richten zich op specifieke talen, regio’s of gemeenschappen. Deze smalle dekking maakt AI-modellen minder evenwichtig. In tegenstelling tot geëxtraheerde data, die lawaaierig en onvolmaakt is, maar een bredere reeks culturen, onderwerpen en standpunten vastlegt. Deze diversiteit stelt AI-systemen in staat om beter te presteren wanneer ze in de praktijk worden toegepast.

Het risico is echter dat strikte regelgeving de toegang tot geëxtraheerde data kan beperken. Als dit gebeurt, kunnen kleinere organisaties worstelen. Grote bedrijven met private of propriëtaire datasets, zoals Google (GOOGL ) of Meta, zullen blijven vooruitgang boeken. Deze onevenwichtigheid kan de concurrentie verminderen en de open innovatie in AI vertragen.

Voorlopig zijn geëxtraheerde datasets centraal voor AI-onderzoek. Tegelijkertijd verkennen projecten zoals CommonPool manieren om uitgebreide, ethisch verkregen verzamelingen op te bouwen. Deze inspanningen zijn nodig om het AI-ecosysteem meer open, eerlijk en verantwoordelijk te houden.

CommonPool: naar verantwoorde grootschalige datatechniek

CommonPool is een van de meest technisch ambitieuze inspanningen om een open, grootschalige multimodale dataset op te bouwen. Met ongeveer 12,8 miljard afbeelding-tekstparen, komt het overeen met de omvang van LAION-5B, maar integreert het sterker datatechniek en governance-mechanismen. Het belangrijkste ontwerpdoel was niet alleen om de schaal te maximaliseren, maar ook om te voldoen aan de principes van reproduceerbaarheid, gegevensherkomst en regelgevingsconformiteit.

De constructie van de CommonPool-dataset volgt een gestructureerde drie-fasenpijplijn. De eerste fase omvat de extractie van ruwe monsters uit Common Crawl-snapshots verzameld tussen 2014 en 2022. Zowel afbeeldingen als de bijbehorende tekst, zoals onderschriften of omringende passages, worden verzameld. Om semantische overeenstemming te beoordelen, passen de beheerders CLIP-gebaseerde overeenstemmingsbeoordeling toe, waarbij paren met zwakke overeenstemming tussen afbeelding en tekstweergaven worden verworpen. Deze vroege filterstap vermindert de ruis aanzienlijk in vergelijking met naïeve webscraping-pijplijnen.

In de tweede fase ondergaat de dataset grootschalige deduplicatie. Perceptuele hashing- en MinHash-technieken worden gebruikt om near-duplicate afbeeldingen te identificeren en te verwijderen, waardoor redundantie de modeltraining niet kan domineren. Additionele filters worden toegepast om beschadigde bestanden, gebroken links en lage resolutie-afbeeldingen uit te sluiten. Op dit punt omvat de pijplijn ook tekstnormalisatie en automatische taalidentificatie, waardoor de creatie van domeinspecifieke of taalspecifieke subsets voor gericht onderzoek mogelijk wordt.

De derde fase richt zich op veiligheid en conformiteit. Geautomatiseerde gezichtsdetectie en vervaagding worden toegepast, terwijl kindgerelateerde beelden en persoonlijke identificatoren zoals namen, e-mailadressen en postadressen worden verwijderd. De pijplijn probeert ook om auteursrechtelijk beschermde materialen te detecteren. Hoewel geen geautomatiseerde methode perfecte filtering op web-schaal kan garanderen, vertegenwoordigen deze waarborgen een aanzienlijke technische verbetering in vergelijking met LAION-5B, waar filtering voornamelijk beperkt was tot volwassen inhoud en toxiciteit.

Los van gegevensverwerking introduceert CommonPool een governance-model dat het onderscheidt van statische dataset-releases. Het wordt onderhouden als een levend dataset met versie-releases, gestructureerde metadata en gedocumenteerde update-cycli. Elk monster bevat licentie-informatie waar beschikbaar, waardoor conformiteit met auteursrechtregels wordt ondersteund. Een takedown-protocol stelt individuen en instellingen in staat om de verwijdering van gevoelige inhoud aan te vragen, waardoor zorgen die zijn geuit door de EU AI-wet en verwante regelgevingskaders worden aangepakt. Metadata zoals bron-URL’s en filterscores verbeteren transparantie en reproduceerbaarheid, waardoor onderzoekers kunnen traceren en uitsluitingsbeslissingen nemen.

Benchmarkresultaten van de DataComp-initiatief illustreren de technische effecten van deze ontwerpkeuzes. Toen identieke visie-taalarchitecturen werden getraind op LAION-5B en CommonPool, produceerde de laatste modellen met stabielere downstream-prestaties, met name op fijne ophaling- en zero-shot classificatie taken. Deze resultaten suggereren dat de hogere overeenstemmingskwaliteit van CommonPool enkele van de schaalevoordelen van minder gefilterde datasets compenseert. Niettemin onthulden onafhankelijke audits in 2025 resterende risico’s: ongeveer 0,1% van de dataset bevatte nog steeds onvervaagde gezichten, gevoelige persoonlijke documenten en medische dossiers. Dit benadrukt de beperkingen van zelfs state-of-the-art geautomatiseerde filterpijplijnen.

Over het algemeen vertegenwoordigt CommonPool een verschuiving in dataset-engineering van het prioriteren van ruwe schaal naar het balanceren van schaal, kwaliteit en conformiteit. Voor onderzoekers biedt het een reproduceerbare en relatief veiligere basis voor grootschalige pre-training. Voor regelgevers toont het aan dat privacy- en verantwoordingsmechanismen rechtstreeks in datasetconstructie kunnen worden ingebed. In tegenstelling tot LAION illustreert CommonPool hoe filterpijplijnen, governance-praktijken en benchmark-kaders grote webgegevens kunnen transformeren in een technisch robuustere en ethisch verantwoordelijke bron voor multimodale AI.

CommonPool vergelijken met traditionele web-geëxtraheerde datasets

In tegenstelling tot eerdere grootschalige web-geëxtraheerde datasets zoals LAION-5B (5,85 miljard monsters), COYO-700M (700 miljoen monsters) en WebLI (400 miljoen monsters), legt CommonPool de nadruk op structuur, reproduceerbaarheid en governance. Het behoudt metadata zoals URL’s en tijdstempels, waardoor traceerbaarheid en gedeeltelijke licentiecontroles worden ondersteund. Bovendien past het CLIP-gebaseerde semantische filtering toe om lage kwaliteit of zwak gealigneerde afbeelding-tekstparen te verwijderen, waardoor de gegevenskwaliteit wordt verbeterd.

In vergelijking hiermee werden LAION-5B en COYO samengesteld uit Common Crawl met beperkte filtering en zonder gedetailleerde licentiedocumentatie. Deze datasets bevatten vaak gevoelige materialen, waaronder medische dossiers, identiteitsdocumenten en onvervaagde gezichten. WebLI, intern gebruikt door OpenAI, ontbeert eveneens transparantie, aangezien het nooit voor extern onderzoek of replicatie is vrijgegeven.

CommonPool probeert deze problemen aan te pakken door PII en NSFW-inhoud uit te sluiten, waarbij het erkent dat volledige gebruikers_toestemming nog steeds onopgelost is. Dit maakt het relatief betrouwbaarder en ethischer dan eerdere alternatieven.

De conclusie

De ontwikkeling van CommonPool weerspiegelt een belangrijke overgang in de manier waarop grootschalige AI-datasets worden opgevat en onderhouden. Terwijl eerdere verzamelingen zoals LAION-5B en COYO de schaal prioriteerden met beperkte toezicht, toont CommonPool aan dat transparantie, filtering en governance in datasetconstructie kunnen worden geïntegreerd zonder de bruikbaarheid voor onderzoek te ondermijnen.

Door metadata te behouden, semantische overeenstemmingscontroles toe te passen en privacy-waarborgen in te bedden, biedt het een reproduceerbare en verantwoordelijkere bron. Tegelijkertijd herinneren onafhankelijke audits ons eraan dat geautomatiseerde waarborgen de risico’s niet volledig kunnen elimineren, waardoor de noodzaak van voortdurende waakzaamheid wordt benadrukt.