Zestawy danych pozyskiwanych z sieci Web i ochrona prywatności: Dlaczego CommonPool zasługuje na uwagę

Sztuczna inteligencja (AI) stała się częścią naszego codziennego życia. Widoczna jest w medycznych czatach, które prowadzą pacjentów, oraz w generatywnych narzędziach, które pomagają artystom, pisarzom i deweloperom. Te systemy wydają się zaawansowane, ale polegają na jednym podstawowym zasobie: danych.

Większość danych wykorzystywanych do szkolenia systemów AI pochodzi z publicznego Internetu. Zautomatyzowane programy zbierają duże ilości tekstu, obrazów i dźwięku z platform internetowych. Te kolekcje tworzą podstawę znanych modeli, takich jak GPT-4, Stable Diffusion i wiele innych. Ta ogromna kolekcja podnosi jednak nierozwiązane problemy dotyczące prywatności, własności i świadomej zgody.

Rynek zestawów danych szkoleniowych odzwierciedla skalę tej działalności. Jak dotąd, globalna wartość zestawów danych AI jest szacowana na 3,2 miliarda dolarów. Zgodnie z prognozami, może ona wzrosnąć do 16,3 miliarda dolarów do 2034 roku, z rocznym tempem wzrostu wynoszącym 20,5 procent. Za tymi liczbami kryje się ważne wyzwanie. Znaczna część zebranego materiału jest pozyskiwana bez wyraźnej zgody. Często zawiera dane osobowe, prace objęte prawem autorskim oraz inne wrażliwe treści, które nie były przeznaczone do systemów szkoleniowych.

W odpowiedzi na te problemy, eksplorowane są alternatywne podejścia do zarządzania danymi. Jednym z przykładów jest CommonPool, wydany w kwietniu 2023 roku jako część DataComp benchmark. Jest to duży zestaw danych składający się z 12,8 miliarda par obrazu i tekstu, przeznaczony do badań nad sztuczną inteligencją multimodalną. W przeciwieństwie do tradycyjnych wysiłków pozyskiwania danych, stosuje on metody filtrowania, podkreśla przejrzystość i obejmuje udział społeczności w swoim rozwoju. Chociaż pozostaje on przedmiotem debaty, CommonPool wskazuje na próbę budowy bardziej odpowiedzialnych i audytowalnych praktyk w zakresie danych szkoleniowych AI. Takie inicjatywy podkreślają potrzebę standardów etycznych w przyszłości sztucznej inteligencji.

Rola danych pozyskiwanych z sieci Web w rozwoju sztucznej inteligencji

Dane są centralne dla AI, a wydajność systemu jest ściśle związana z ilością i różnorodnością dostępnych informacji. W ostatnich latach, pozyskiwanie danych z sieci Web stało się standardową metodą tworzenia dużych zestawów danych w skali. Poprzez zbieranie publicznie dostępnych treści internetowych, badacze i deweloperzy uzyskali ogromne i różnorodne zasoby danych.

Popularnym przykładem jest Common Crawl, który do 2025 roku zgromadził petabajty tekstu zebranego podczas comiesięcznych przeszukiwań ponad 250 terabajtów każde. Ten zestaw danych jest powszechnie wykorzystywany do szkolenia modeli AI opartych na tekście. Innym przykładem jest LAION-5B, który zawiera około 5,85 miliarda par obrazu i tekstu. Był on ważny dla aplikacji, takich jak Stable Diffusion, które mogą tworzyć realistyczne obrazy z podanych podpowiedzi.

Te zestawy danych są cenne, ponieważ zwiększają dokładność modeli, poprawiają ogólną jakość poprzez zróżnicowane treści i pozwalają mniejszym grupom, w tym uniwersytetom, brać udział w rozwoju AI. Stanford AI Index 2025 pokazuje, że większość zaawansowanych modeli nadal opiera się na pozyskiwanych danych, a zestawy danych rosną szybko pod względem wielkości. To zapotrzebowanie również napędza duże inwestycje, sięgające ponad 57 miliardów dolarów w 2024 roku na centra danych i moc obliczeniową.

Jednocześnie, pozyskiwanie danych z sieci Web nie jest pozbawione wyzwań. Podnosi ono pytania dotyczące prywatności, własności i prawnych uprawnień, ponieważ wiele zebranych treści nie było pierwotnie przeznaczone do użycia maszynowego. Sprawy sądowe i dyskusje polityczne pokazują, że te wyzwania stają się coraz bardziej pilne. Przyszłość pozyskiwania danych AI będzie zależała od znalezienia balansu między postępem a odpowiedzialnością etyczną.

Problem prywatności związanym z pozyskiwanymi danymi

Narzędzia do pozyskiwania danych z sieci Web zbierają informacje bez wyraźnego rozróżnienia między treściami ogólnymi a wrażliwymi. Wraz z tekstem i obrazami, często przechwytują one Osobiste Informacje Identyfikujące (PII), takie jak nazwy, adresy e-mail i zdjęcia twarzy.

Audyt zestawu danych CommonPool w lipcu 2025 roku ujawnił, że nawet po filtrowaniu, 0,1% próbek nadal zawierało niezaciemnione twarze, dokumenty rządowe i dokumenty takie jak CV i paszporty. Chociaż procent ten wydaje się mały, w skali miliardów rekordów, przekłada się to na setki milionów osób dotkniętych. Przeglądy i audyty bezpieczeństwa potwierdzają, że obecność takiego materiału nie jest niezwykła, a ryzyko obejmuje kradzież tożsamości, celowe prześladowanie i niechcianą ekspozycję danych prywatnych.

Spory prawne również się zwiększają, ponieważ obawy dotyczące własności danych i uczciwego użytkowania przechodzą do sądów. Między 2023 a 2024 rokiem, firmy takie jak OpenAI i Stability AI stanęły w obliczu pozwów za korzystanie z danych osobowych i objętych prawem autorskim bez zgody. W lutym 2025 roku, sąd federalny w USA orzekł, że szkolenie AI na niezatwierdzonych danych osobowych stanowi naruszenie. To orzeczenie zachęciło do większej liczby pozwów grupowych. Prawo autorskie jest również poważnym problemem. Wiele pozyskanych zestawów danych zawiera książki, artykuły, sztuki i kod. Pisarze i artyści twierdzą, że ich prace są wykorzystywane bez zgody lub wynagrodzenia. Trwający przypadek New York Times v. OpenAI podnosi pytanie, czy systemy AI niezgodnie odtwarzają chronione treści. Artyści wizualni zgłosili podobne skargi, twierdząc, że AI kopiują ich indywidualny styl. W czerwcu 2025 roku, jeden z sądów w USA poparł firmę AI pod pretekstem uczciwego użytku, ale eksperci twierdzą, że orzeczenia pozostają niekonsekwentne, a ramy prawne są nadal niejasne.

Brak zgody w szkoleniu AI osłabił zaufanie publiczne. Wiele osób odkrywa, że ich blogi, prace twórcze lub kod są zawarte w zestawach danych bez ich wiedzy. To podniosło obawy etyczne i wezwało do większej przejrzystości. W odpowiedzi, rządy przechodzą w kierunku surowszego nadzoru poprzez prawa, które promują uczciwy rozwój modeli AI i staranne korzystanie z danych.

Dlaczego zestawy danych pozyskiwanych z sieci Web są trudne do zastąpienia

Nawet z obawami dotyczącymi prywatności i zgody, zestawy danych pozyskiwanych z sieci Web pozostają niezbędne do szkolenia AI. Powodem jest skala. Współczesne modele AI wymagają trylionów tokenów z tekstu, obrazów i innych mediów. Budowanie takich zestawów danych tylko za pomocą licencjonowanych lub kuratorowanych źródeł kosztowałoby setki milionów dolarów. To nie jest praktyczne dla większości startupów lub uniwersytetów.

Wysoki koszt nie jest jedynym wyzwaniem związanym z zestawami danych kuratorowanymi. Często brakuje im różnorodności i koncentrują się one na określonych językach, regionach lub społecznościach. To wąskie pokrycie sprawia, że modele AI są mniej zrównoważone. W przeciwieństwie do tego, dane pozyskiwane z sieci Web, pomimo tego, że są hałaśliwe i niedoskonałe, przechwytują szerszy zakres kultur, tematów i punktów widzenia. Ta różnorodność pozwala systemom AI działać lepiej, gdy są stosowane w świecie rzeczywistym.

Ryzyko jednak polega na tym, że surowe regulacje mogą ograniczyć dostęp do danych pozyskiwanych z sieci Web. Jeśli to nastąpi, mniejsze organizacje mogą mieć trudności z konkurowaniem. Duże firmy z prywatnymi lub własnymi zestawami danych, takimi jak Google (GOOGL ) lub Meta, będą nadal postępować. To nierównowaga mogłaby zmniejszyć konkurencję i spowolnić otwartą innowację w AI.

Na razie, zestawy danych pozyskiwanych z sieci Web są centralne dla badań AI. Jednocześnie, projekty takie jak CommonPool eksplorują sposoby budowania obszernych, etycznie pozyskanych kolekcji. Te wysiłki są niezbędne do utrzymania ekosystemu AI bardziej otwartego, sprawiedliwego i odpowiedzialnego.

CommonPool: Ku odpowiedzialnemu inżynierii danych w skali dużych

CommonPool jest jednym z najbardziej ambitnych technicznie podejść do budowy otwartego, dużego zestawu danych multimodalnych. Z około 12,8 miliarda par obrazu i tekstu, dorównuje on skali LAION-5B, ale integruje silniejsze mechanizmy inżynierii danych i zarządzania. Kluczowym celem projektowym nie było tylko maksymalizowanie skali, ale również wyrównanie z zasadami odtwarzalności, pochodzenia danych i zgodności regulacyjnej.

Budowa zestawu danych CommonPool odbywa się według strukturalnego, trzystopniowego potoku. Pierwszy etap obejmuje wydobycie surowych próbek z migawek Common Crawl zebranych między 2014 a 2022 rokiem. Zarówno obrazy, jak i związany z nimi tekst, taki jak podpis lub otaczający passaże, są gromadzone. Aby ocenić semantyczną zgodność, administratorzy stosują ocenę podobieństwa opartą na CLIP, odrzucając pary z słabą korelacją między obrazem a tekstem. Ten wczesny krok filtrowania znacznie redukuje hałas w porównaniu z prostymi potokami pozyskiwania.

W drugim etapie, zestaw danych przechodzi dużą deduplikację. Techniki hashowania percepcyjnego i MinHash są stosowane w celu identyfikacji i usunięcia prawie duplikatowych obrazów, zapobiegając dominacji redundancji w szkoleniu modelu. Dodatkowe filtry są stosowane w celu wykluczenia uszkodzonych plików, złamanych linków i niskiej rozdzielczości obrazów. W tym punkcie, potok obejmuje również normalizację tekstu i automatyczną identyfikację języka, umożliwiając tworzenie podzbiorów domenowych lub językowych dla ukierunkowanych badań.

Trzeci etap koncentruje się na bezpieczeństwie i zgodności. Zastosowano automatyczne wykrywanie twarzy i rozmycie, a także usunięto dane osobowe, takie jak nazwy, adresy e-mail i adresy pocztowe. Potok próbuje również wykryć materiały objęte prawem autorskim. Chociaż żadna automatyczna metoda nie może gwarantować idealnego filtrowania w skali sieci Web, te zabezpieczenia reprezentują znaczącą poprawę techniczną w porównaniu z LAION-5B, gdzie filtrowanie było głównie ograniczone do treści dla dorosłych i heurystyki toksyczności.

Ponad procesami danych, CommonPool wprowadza model zarządzania, który odróżnia go od statycznych wydań zestawów danych. Jest utrzymywany jako żywy zestaw danych z wersjonowanymi wydaniami, strukturalnymi metadanymi i udokumentowanymi cyklami aktualizacji. Każda próbka zawiera informacje o licencjonowaniu, jeśli są dostępne, wspierając zgodność z przepisami prawa autorskiego. Protokół usunięcia pozwala osobom i instytucjom na wnioskowanie o usunięcie wrażliwych treści, adresując obawy podniesione przez unijne prawo AI i pokrewne ramy regulacyjne. Metadane, takie jak adresy URL źródłowe i wyniki filtrowania, poprawiają przejrzystość i odtwarzalność, umożliwiając badaczom śledzenie decyzji o włączeniu i wyłączeniu.

Wyniki benchmarkingowe z inicjatywy DataComp ilustrują techniczne efekty tych wyborów projektowych. Gdy identyczne architektury widzenia-języka były szkolone na LAION-5B i CommonPool, ten drugi wyprodukował modele o bardziej stabilnym zachowaniu w dalszych zastosowaniach, szczególnie w zadaniach pobierania i klasyfikacji zero-shot. Te wyniki sugerują, że wyższa jakość wyrównania w CommonPool rekompensuje niektóre zalety skali mniej przefiltrowanych zestawów danych. Niemniej, niezależne audyty w 2025 roku ujawniły pozostałe ryzyko: około 0,1% zestawu danych nadal zawierało niezaciemnione twarze, wrażliwe dokumenty osobiste i dokumenty medyczne. To podkreśla granice nawet najnowocześniejszych automatycznych potoków filtrowania.

Ogólnie, CommonPool reprezentuje przesunięcie w inżynierii zestawów danych z priorytetem surowej skali na balans skali, jakości i zgodności. Dla badaczy, zapewnia on odtwarzalną i względnie bezpieczniejszą podstawę dla dużych przedsięwzięć szkoleniowych. Dla regulatorów, demonstruje, że mechanizmy prywatności i odpowiedzialności mogą być wbudowane bezpośrednio w konstrukcję zestawu danych. W przeciwieństwie do LAION, CommonPool ilustruje, jak potoki filtrowania, praktyki zarządzania i ramy benchmarkingowe mogą przekształcić duże zestawy danych z sieci Web w bardziej technicznie solidny i etycznie odpowiedzialny zasób dla AI multimodalnej.

Porównanie CommonPool z tradycyjnymi zestawami danych pozyskiwanymi z sieci Web

W przeciwieństwie do wcześniejszych dużych zestawów danych pozyskiwanych z sieci Web, takich jak LAION-5B (5,85 miliarda próbek), COYO-700M (700 milionów próbek) i WebLI (400 milionów próbek), CommonPool podkreśla strukturę, odtwarzalność i zarządzanie. Zachowuje metadane, takie jak adresy URL i znaczniki czasu, które wspierają śledzenie i częściowe kontrole licencjonowania. Ponadto, stosuje filtrowanie semantyczne oparte na CLIP, w celu usunięcia par obrazu i tekstu o niskiej jakości lub słabej zgodności, co skutkuje poprawą jakości danych.

W porównaniu, LAION-5B i COYO zostały zbudowane z Common Crawl z ograniczonym filtrowaniem i bez szczegółowej dokumentacji licencjonowania. Te zestawy danych często zawierają wrażliwe materiały, w tym dokumenty medyczne, dokumenty tożsamości i niezaciemnione twarze. WebLI, wykorzystywany wewnętrznie przez OpenAI, również brakuje przejrzystości, ponieważ nigdy nie został wydany do zewnętrznej recenzji lub replikacji.

CommonPool próbuje rozwiązać te problemy, wykluczając dane osobowe i treści NSFW, jednocześnie uznając, że pełna zgoda użytkowników pozostaje nierozwiązana. To czyni go bardziej wiarygodnym i etycznie wyrównanym w porównaniu z wcześniejszymi alternatywami.

Podsumowanie

Rozwój CommonPool odzwierciedla ważne przesunięcie w tym, jak duże zestawy danych AI są konceptualizowane i utrzymywane. Podczas gdy wcześniejsze kolekcje, takie jak LAION-5B i COYO, priorytetem była skala z ograniczonym nadzorem, CommonPool demonstruje, że przejrzystość, filtrowanie i zarządzanie mogą być zintegrowane z konstrukcją zestawu danych bez podważania ich przydatności do badań.

Poprzez zachowanie metadanych, stosowanie kontroli zgodności semantycznej i wbudowanie zabezpieczeń prywatności, oferuje bardziej odtwarzalny i odpowiedzialny zasób. Jednocześnie, niezależne audyty przypominają nam, że automatyczne zabezpieczenia nie mogą całkowicie wyeliminować ryzyka, podkreślając potrzebę kontynuowania czujności.