Web-skrapede AI-datasett og personvern: Hvorfor CommonPool fortjener en nærmere titt

Kunstig intelligens (KI) har blitt en del av vår hverdagsliv. Det er synlig i medisinske chatboter som guider pasienter og i generative verktøy som assisterer kunstnere, forfattere og utviklere. Disse systemene ser avanserte ut, men de avhenger av en enkelt essensiell ressurs: data.

De fleste dataene som brukes til å trene KI-systemer kommer fra det offentlige internett. Automatiserte programmer samler inn store mengder tekst, bilder og lyd fra nettbaserte plattformer. Disse samlingene danner grunnlaget for kjente modeller som GPT-4, Stable Diffusion og mange andre. Denne enorme samlingen har imidlertid løftet ubesvarte bekymringer om personvern, eierskap og informert samtykke.

Markedet for treningsdatasett reflekterer omfanget av denne aktiviteten. Per nå er den globale verdien av KI-datasett estimert til 3,2 milliarder dollar. Ifølge prosjektioner kan det vokse til 16,3 milliarder dollar innen 2034, med en årlig vekstrate på 20,5 prosent. Bak disse tallene ligger en viktig utfordring. En betydelig del av det innhentede materialet er hentet uten eksplisitt tillatelse. Det inneholder ofte personlige data, opphavsrettslige verk og andre sensitive innhold som aldri var ment for maskinlæringsystemer.

Som svar på disse problemene utforskes alternative tilnærminger til datastyring. Et eksempel er CommonPool, lansert i april 2023 som en del av DataComp-benchmarket. Det er et stort datasett på 12,8 milliarder bilde-tekst-par designet for multimodal KI-forskning. I motsetning til tradisjonelle skrapingstiltak, anvender det filtermetoder, legger vekt på åpenhet og inkluderer samfunnsdeltagelse i utviklingen. Selv om det fortsatt er gjenstand for debatt, indikerer CommonPool et forsøk på å bygge mer ansvarlige og kontrollerbare praksiser for KI-treningsdata. Slike initiativer understreker behovet for etiske standarder i fremtiden for kunstig intelligens.

Rollen til web-skrapede data i å fremme kunstig intelligens

Data er sentral for KI, med systemytelse nært knyttet til mengden og variasjonen av informasjon tilgjengelig for trening. I de senere årene har web-skraping blitt en standardmetode for å samle inn store datasett i stor skala. Ved å samle inn offentlig tilgjengelig nettinnhold, har forskere og utviklere fått tilgang til store og varierte dataressurser.

Et populært eksempel er Common Crawl, som per 2025 har lagret petabyte med tekst samlet gjennom månedlige kryping av over 250 terabyte hver. Dette datasettet brukes bredt til å trene tekstbaserte KI-modeller. Et annet eksempel er LAION-5B, som inneholder omtrent 5,85 milliarder bilde-tekst-par. Det har vært viktig for applikasjoner som Stable Diffusion, som kan lage realistiske bilder fra skrevne promter.

Disse datasettene er verdifulle fordi de øker modellnøyaktigheten, forbedrer generalisering gjennom variert innhold og lar mindre grupper, inkludert universiteter, delta i KI-utvikling. Stanford KI-indeksen 2025 viser at de fleste avanserte modellene fortsatt avhenger av skrapede data, med datasett som vokser raskt i størrelse. Dette behovet har også drevet tung investering, og nådd over 57 milliarder dollar i 2024 for datasentre og beregningskraft.

Samtidig er web-skraping ikke uten utfordringer. Det reiser spørsmål om personvern, eierskap og juridiske rettigheter, ettersom mye av det innhentede innholdet ikke var opprinnelig skapt for maskinbruk. Rettslige saker og politiske diskusjoner viser at disse utfordringene blir stadig mer presserende. Fremtiden for KI-datainnsamling vil avhenge av å finne en balanse mellom fremgang og etisk ansvar.

Personvernsproblemet med skrapede data

Web-skraping-verktøy samler inn informasjon uten en tydelig skille mellom generelt innhold og sensitive detaljer. I tillegg til tekst og bilder, fanger de ofte Personlig Identifiserbar Informasjon (PII) som navn, e-postadresser og ansiktsfotografier.

En undersøkelse av CommonPool-datasettet i juli 2025 avdekket at selv etter filtering, inneholdt 0,1% av eksemplene fortsatt identifiserbare ansikter, regningsdokumenter og andre sensitive dokumenter som ikke var ment for maskinlæringsystemer. Selv om prosenten ser liten ut, oversetter det seg til hundredvis av millioner berørte personer på skalaen av milliarder av poster. Gjennomganger og sikkerhetsauditorer bekrefter at tilstedeværelsen av slike materialer ikke er uvanlig, og at risikoen inkluderer identitetstyveri, målrettet trakassering og uønsket eksponering av private data.

Rettslige tvister øker også ettersom bekymringer om eierskap og rettferdig bruk kommer inn i rettssalene. Mellom 2023 og 2024 møtte selskaper som OpenAI og Stability AI søksmål for å bruke personlige og opphavsrettslige data uten samtykke. I februar 2025 bestemte en amerikansk føderal domstol at å trene KI på ulisensiert personlig informasjon utgjør brudd. Dette avgjørelsen har oppmuntret flere gruppesøksmål. Opphavsrett er et annet stort problem. Mange skrapede datasett inneholder bøker, artikler, kunst og kode. Forfattere og kunstnere argumenterer for at deres arbeid brukes uten godkjenning eller betaling. Den pågående New York Times mot OpenAI-saken spør om KI-systemer reproducerer beskyttet innhold ulovlig. Visuelle kunstnere har reist lignende klager, og hevder at KI kopierer deres individuelle stil. I juni 2025 støttet en amerikansk rett en KI-virksomhet under rettferdig bruk, men eksperter sier at avgjørelsene fortsatt er inkonsistente og at det rettslige rammeverket fortsatt er uklart.

Mangel på samtykke i KI-trening har svekket offentlig tillit. Mange mennesker oppdager at deres blogger, kreative arbeid eller kode er inkludert i datasett uten deres kunnskap. Dette har reist etiske bekymringer og krav om mer åpenhet. I respons har regjeringer begynt å gå mot strengere tilsyn gjennom lover som fremmer rettferdig utvikling av KI-modeller og forsvarlig bruk av data.

Hvorfor skrapede datasett er vanskelige å erstatte

Selv med bekymringer om personvern og samtykke, forblir skrapede datasett nødvendige for KI-trening. Årsaken er skalaen. Moderne KI-modeller krever billioner av token fra tekst, bilder og andre medier. Å bygge slike datasett bare gjennom lisensiert eller kurerte kilder ville koste hundredvis av millioner dollar. Dette er ikke praktisk for de fleste startup-selskaper eller universiteter.

Høy kostnad er ikke den eneste utfordringen med kurerte datasett. De mangler ofte diversitet og fokuserer på bestemte språk, regioner eller samfunn. Dette smale dekning gjør KI-modellene mindre balanserte. I motsetning til skrapede data, som er støyende og uperfekte, fanger det en bredere rekke av kulturer, emner og synspunkter. Denne diversiteten gjør at KI-systemer kan fungere bedre når de brukes i virkelige anvendelser.

Risikoen er imidlertid at strenge reguleringer kan begrense tilgangen til skrapede data. Hvis dette skjer, kan mindre organisasjoner slite med å konkurrere. Store selskaper med private eller proprietære datasett, som Google (GOOGL ) eller Meta, vil fortsatt å fremme. Denne ubalansen kan redusere konkurranse og bremse åpen innovasjon i KI.

For nå er skrapede datasett sentrale for KI-forskning. Samtidig utforsker prosjekter som CommonPool måter å bygge omfattende, etisk kildede samlinger. Disse innsatsene er nødvendige for å holde KI-økosystemet mer åpent, rettferdig og ansvarlig.

CommonPool: Mot ansvarlig stor-skala datateknikk

CommonPool er ett av de mest teknisk ambisiøse forsøkene på å bygge et åpent, stort-skala multimodalt datasett. Med omtrent 12,8 milliarder bilde-tekst-par, matcher det skalaen til LAION-5B, men integrerer sterkere datateknikk og styringsmekanismer. Hovedmålet var ikke bare å maksimere skalaen, men også å harmonisere med prinsipper om reproduserbarhet, dataherkomst og regulatorisk overholdelse.

Konstruksjonen av CommonPool-datasettet følger en strukturert tre-trinns pipeline. Første trinn innebærer uttrekk av rå eksempler fra Common Crawl-snapshot tatt mellom 2014 og 2022. Både bilder og deres assosierte tekst, som beskrivelser eller omgivende passasjer, samles inn. For å evaluere semantisk harmoni, anvender vedlikeholderne CLIP-basert likhets-scoring, og forkaster par med svak korrespondanse mellom bilde- og tekst-embeddings. Dette tidlige filtertrinnet reduserer støy i forhold til naive skraping-pipelines.

I andre trinn gjennomgår datasettet stor-skala deduplisering. Perseptuell hashing og MinHash-teknikker brukes til å identifisere og fjerne near-duplikat-bilder, og forhindrer redundans fra å dominere modell-trening. Ekstra filtre brukes til å ekskludere korrupte filer, ødelagte lenker og lav-oppløselige bilder. På dette punktet inkluderer pipelineen også tekst-normalisering og automatisk språk-identifikasjon, som muliggjør opprettelse av domene-spesifikke eller språk-spesifikke undergrupper for målrettet forskning.

Tredje trinn fokuserer på sikkerhet og overholdelse. Automatisert ansiktsdeteksjon og uskarphet brukes, mens barn-relatert bilde og personlige identifikatorer som navn, e-postadresser og postadresser fjernes. Pipelineen prøver også å detektere opphavsrettslige materialer. Selv om ingen automatisert metode kan garantere fullstendig filtering på web-skala, representerer disse sikkerhetstiltakene en betydelig teknisk forbedring i forhold til LAION-5B, hvor filtering hovedsakelig var begrenset til vokseninnhold og giftighets-heuristikker.

Utenfor dataprosessering introduserer CommonPool en styringsmodell som skiller det fra statiske datasett-utgivelser. Det vedlikeholdes som et levende datasett med versjonerte utgivelser, strukturerte metadata og dokumenterte oppdaterings-sykluser. Hvert eksempel inkluderer lisensinformasjon hvor tilgjengelig, som støtter overholdelse av opphavsrettslige regler. En fjerningsprotokoll tillater personer og institusjoner å be om fjerning av sensitive innhold, og adresse bekymringer reist av EU AI-loven og relaterte regulatoriske rammeverk. Metadata som kilde-URLer og filterpoeng forbedrer åpenhet og reproduserbarhet, og muliggjør at forskere kan spore inklusjons- og eksklusjonsbeslutninger.

Benchmark-resultater fra DataComp-initiativet illustrerer de tekniske effektene av disse designvalgene. Når identiske visjon-språk-arkitekturer ble trenet på LAION-5B og CommonPool, produserte sistnevnte modeller med mer stabile nedstrøms-prestasjoner, spesielt på fine-grained retrieval- og zero-shot klassifiseringsoppgaver. Disse resultatene antyder at CommonPools høyere harmoni-kvalitet kompenserer for noen av skala-fordelene til mindre filtrerte datasett. Likevel avdekket uavhengige auditorer i 2025 resterende risikoer: omtrent 0,1% av datasettet inneholdt fortsatt uskjermet ansikter, sensitive personlige dokumenter og medisinske journaler. Dette understreker grensene for selv de mest avanserte automatiske filter-pipelines.

Samlet representerer CommonPool en skifte i datasett-teknikk fra å prioritere rå skala til å balansere skala, kvalitet og overholdelse. For forskere tilbyr det en reproduserbar og komparativt tryggere grunnlag for stor-skala forhåndstrening. For regulatorer demonstrerer det at personvern og ansvarsmekanismer kan innbygges direkte i datasett-konstruksjon. I motsetning til LAION, illustrerer CommonPool hvordan filter-pipelines, styringspraksis og benchmark-rammeverk kan transformere stor-skala web-data til en mer teknisk robust og etisk ansvarlig ressurs for multimodal KI.

Sammenligning av CommonPool med tradisjonelle web-skrapede datasett

I motsetning til tidligere store web-skrapede datasett som LAION-5B (5,85 milliarder eksempler), COYO-700M (700M eksempler) og WebLI (400M eksempler), legger CommonPool vekt på struktur, reproduserbarhet og styring. Det beholder metadata som URLer og tidsstempel, som støtter sporing og delvis lisenssjekking. I tillegg anvender det CLIP-basert semantisk filtering for å fjerne lavkvalitets- eller svakt korrespondente bilde-tekst-par, noe som resulterer i forbedret datakvalitet.

I sammenligning ble LAION-5B og COYO samlet fra Common Crawl med begrenset filtering og uten detaljert lisensdokumentasjon. Disse datasettene inneholder ofte sensitive materiale, inkludert medisinske journaler, identitetsdokumenter og uskjermede ansikter. WebLI, brukt internt av OpenAI, mangler også åpenhet, ettersom det aldri ble utgitt for ekstern gjennomgang eller replikasjon.

CommonPool søker å adresse disse problemene ved å ekskludere personlig identifiserbar informasjon og NSFW-innhold, samtidig som det erkjenner at fullt brukersamtykke fortsatt er uløst. Dette gjør det komparativt mer pålitelig og etisk harmonisk enn tidligere alternativer.

Sluttorden

Utviklingen av CommonPool reflekterer en viktig overgang i hvordan store KI-datasett konseptualiseres og vedlikeholdes. Mens tidligere samlinger som LAION-5B og COYO prioriterte skala med begrenset tilsyn, demonstrerer CommonPool at åpenhet, filtering og styring kan integreres i datasett-konstruksjon uten å underminere brukbarheten for forskning.

Ved å beholde metadata, anvende semantisk harmoni-sjekker og innbygge personvernsikkerhetstiltak, tilbyr det en mer reproduserbar og ansvarlig ressurs. Samtidig minner uavhengige auditorer oss om at automatiske sikkerhetstiltak ikke kan eliminere risiko fullstendig, og understreker behovet for fortsatt varsomhet.