웹 스크래핑된 AI 데이터 세트와 개인 정보 보호: CommonPool을 살펴볼 가치가 있는 이유

인공 지능 (AI) 일상생활의 일부가 되었습니다. 환자를 안내하는 의료 챗봇과 예술가, 작가, 개발자를 지원하는 생성 도구에서 이러한 현상을 확인할 수 있습니다. 이러한 시스템은 진보된 것처럼 보이지만, 결국에는 단 하나의 필수 자원, 즉 데이터에 의존합니다.

AI 시스템 훈련에 사용되는 대부분의 데이터는 공개 인터넷에서 제공됩니다. 자동화된 프로그램은 온라인 플랫폼에서 대량의 텍스트, 이미지, 오디오를 수집합니다. 이러한 수집은 다음과 같은 잘 알려진 모델의 기반을 형성합니다. GPT-4, 안정적인 확산, 그리고 그 외 다수가 있습니다. 그러나 이 방대한 자료는 개인정보 보호, 소유권, 그리고 정보에 기반한 동의에 대한 해결되지 않은 우려를 불러일으킵니다.

학습 데이터셋 시장은 이러한 활동의 ​​규모를 반영합니다. 현재 AI 데이터셋의 글로벌 가치는 다음과 같이 추산됩니다. 3.2 억 달러입니다. 예측에 따르면 16.3년까지 연평균 2034%의 성장률을 기록하며 20.5억 달러로 성장할 것으로 예상됩니다. 이러한 수치 뒤에는 중요한 과제가 있습니다. 수집된 자료의 상당 부분이 명시적인 허가 없이 수집되고 있습니다. 여기에는 개인 정보, 저작권이 있는 저작물, 그리고 머신러닝 시스템에는 의도되지 않은 기타 민감한 콘텐츠가 포함되는 경우가 많습니다.

이러한 문제에 대응하여 데이터 거버넌스에 대한 대안적인 접근 방식이 모색되고 있습니다. 한 가지 예는 다음과 같습니다. 커먼풀2023년 XNUMX월에 출시된 데이터컴프 벤치마크. 12.8억 개의 이미지-텍스트 쌍으로 구성된 대규모 데이터 세트입니다. 다중 모드 AI 연구. 기존 스크래핑 방식과는 달리, CommonPool은 필터링 방식을 적용하고 투명성을 강조하며 개발 과정에 커뮤니티 참여를 포함합니다. 아직 논쟁의 여지가 있지만, CommonPool은 AI 학습 데이터에 대해 더욱 책임감 있고 감사 가능한 관행을 구축하려는 시도를 보여줍니다. 이러한 시도는 인공지능의 미래에 윤리적 기준이 필요함을 강조합니다.

인공 지능 발전에 있어 웹 스크래핑 데이터의 역할

데이터는 AI의 핵심이며, 시스템 성능은 학습에 사용할 수 있는 정보의 양과 다양성에 밀접한 관련이 있습니다. 최근 몇 년 동안 웹 스크래핑은 대규모 데이터 세트를 수집하는 표준적인 방법으로 자리 잡았습니다. 공개적으로 접근 가능한 온라인 콘텐츠를 수집함으로써 연구자와 개발자는 방대하고 다양한 데이터 리소스를 확보할 수 있었습니다.

인기 있는 예는 다음과 같습니다. 일반적인 크롤링2025년까지 매달 250테라바이트 이상의 크롤링을 통해 수집된 페타바이트 규모의 텍스트를 저장했습니다. 이 데이터 세트는 텍스트 기반 AI 모델 학습에 널리 사용됩니다. 또 다른 예로는 약 5억 5.85천만 개의 이미지-텍스트 쌍을 포함하는 LAION-XNUMXB가 있습니다. 이 데이터 세트는 문자 프롬프트에서 사실적인 이미지를 생성할 수 있는 Stable Diffusion과 같은 애플리케이션에 중요한 역할을 했습니다.

이러한 데이터 세트는 모델 정확도를 높이고, 다양한 콘텐츠를 통해 일반화를 개선하며, 대학을 포함한 소규모 그룹이 AI 개발에 참여할 수 있도록 해주기 때문에 가치가 있습니다. 스탠포드 AI 지수 2025는 대부분의 고급 모델이 여전히 스크래핑된 데이터에 의존하고 있으며, 데이터 세트의 규모도 빠르게 증가하고 있음을 보여줍니다. 이러한 수요는 또한 대규모 투자를 유도하여 57 억 달러 2024년에는 데이터 센터와 컴퓨팅 파워가 증가할 것으로 예상됩니다.

동시에, 웹 스크래핑 역시 문제에서 자유롭지 않습니다. 수집된 콘텐츠의 상당 부분이 원래 기계 사용을 위해 만들어진 것이 아니기 때문에 개인정보 보호, 소유권, 그리고 법적 권리에 대한 의문이 제기됩니다. 법정 소송과 정책 논의는 이러한 문제들이 점점 더 시급해지고 있음을 보여줍니다. AI 데이터 수집의 미래는 진보와 윤리적 책임 사이의 균형을 찾는 데 달려 있습니다.

스크래핑된 데이터의 개인 정보 보호 문제

웹 스크래핑 도구는 일반 콘텐츠와 민감한 정보를 명확하게 구분하지 않고 정보를 수집합니다. 텍스트와 이미지 외에도 이름, 이메일 주소, 얼굴 사진과 같은 개인 식별 정보(PII)를 수집하는 경우가 많습니다.

An 회계 감사 2025년 0.1월 CommonPool 데이터세트 분석 결과, 필터링 후에도 샘플의 XNUMX%에 식별 가능한 얼굴, 정부 발급 신분증, 이력서 및 여권과 같은 문서가 여전히 포함되어 있는 것으로 나타났습니다. 비록 그 비율이 적어 보일 수 있지만, 수십억 건의 기록 규모를 고려하면 수억 명의 개인이 영향을 받았다는 것을 의미합니다. 검토 및 안전 감사 결과, 이러한 자료의 존재는 드문 일이 아니며, 신원 도용, 표적 괴롭힘, 원치 않는 개인 정보 노출 등의 위험이 있음이 확인되었습니다.

데이터 소유권과 공정 사용에 대한 우려가 법원으로 이관되면서 법적 분쟁도 증가하고 있습니다. 2023년에서 2024년 사이에 다음과 같은 기업들이 OpenAI와 Stability AI가 소송에 직면했습니다. 동의 없이 개인 및 저작권이 있는 데이터를 사용한 것에 대해. 2025년 XNUMX월, 미국 연방법원은 판결을 내렸다 허가받지 않은 개인정보로 AI를 훈련하는 것은 저작권 침해로 간주된다는 판결이 나왔습니다. 이 판결은 더 많은 집단 소송을 부추겼습니다. 저작권은 또 다른 중요한 문제입니다. 스크래핑된 데이터세트에는 책, 기사, 예술 작품, 그리고 코드가 포함되어 있습니다. 작가와 예술가들은 자신의 작품이 승인이나 비용 지불 없이 사용되고 있다고 주장합니다. 현재 진행 중인 뉴욕타임스 대 OpenAI 소송은 AI 시스템이 보호되는 콘텐츠를 불법 복제하는지에 대한 의문을 제기합니다. 시각 예술가들도 AI가 자신의 개성을 모방한다고 주장하며 유사한 소송을 제기했습니다. 2025년 XNUMX월, 한 미국 법원은 공정 사용에 근거하여 AI 기업의 저작권을 인정했지만, 전문가들은 판결의 일관성이 부족하고 법적 체계가 여전히 불분명하다고 지적합니다.

AI 훈련에 대한 동의 부족은 대중의 신뢰를 약화시켰습니다. 많은 사람들이 자신의 블로그, 창작물, 또는 코드가 자신도 모르는 사이에 데이터세트에 포함되는 것을 알게 됩니다. 이는 윤리적 문제를 제기하고 투명성 강화를 요구합니다. 이에 따라 각국 정부는 AI 모델의 공정한 개발과 데이터의 신중한 사용을 장려하는 법률을 통해 더욱 엄격한 감독 체계를 구축하고 있습니다.

스크래핑된 데이터 세트를 교체하기 어려운 이유

개인정보 보호 및 동의에 대한 우려가 있음에도 불구하고, 스크래핑된 데이터 세트는 AI 학습에 여전히 필요합니다. 그 이유는 규모 때문입니다. 최신 AI 모델은 텍스트, 이미지 및 기타 미디어에서 수조 개의 토큰을 필요로 합니다. 라이선스가 있거나 큐레이션된 소스를 통해서만 이러한 데이터 세트를 구축하려면 수억 달러의 비용이 듭니다. 이는 대부분의 스타트업이나 대학에게는 현실적이지 않습니다.

큐레이션된 데이터 세트의 높은 비용은 유일한 어려움은 아닙니다. 이러한 데이터 세트는 종종 다양성이 부족하고 특정 언어, 지역 또는 커뮤니티에 집중하는 경향이 있습니다. 이러한 좁은 적용 범위는 AI 모델의 균형을 약화시킵니다. 반면, 스크래핑된 데이터는 노이즈가 많고 불완전함에도 불구하고 더 광범위한 문화, 주제 및 관점을 포착합니다. 이러한 다양성 덕분에 AI 시스템은 실제 환경에 적용되었을 때 더 나은 성능을 발휘할 수 있습니다.

그러나 엄격한 규제로 인해 스크래핑된 데이터에 대한 접근이 제한될 수 있다는 위험이 있습니다. 이러한 상황이 발생할 경우, 소규모 기업은 경쟁에서 어려움을 겪을 수 있습니다. Google이나 Meta와 같이 비공개 또는 독점 데이터 세트를 보유한 대기업은 계속해서 발전할 것입니다. 이러한 불균형은 경쟁을 약화시키고 AI 분야의 개방형 혁신을 저해할 수 있습니다.

현재 스크래핑된 데이터 세트는 AI 연구의 핵심입니다. 동시에 CommonPool과 같은 프로젝트는 광범위하고 윤리적으로 수집된 데이터 세트를 구축하는 방법을 모색하고 있습니다. 이러한 노력은 AI 생태계를 더욱 개방적이고 공정하며 책임감 있게 유지하기 위해 필수적입니다.

CommonPool: 책임감 있는 대규모 데이터 엔지니어링을 향해

CommonPool은 개방형 대규모 멀티모달 데이터셋을 구축하기 위한 기술적으로 가장 야심찬 노력 중 하나입니다. 12.8 억 이미지-텍스트 쌍으로 구성된 이 시스템은 LAION-5B의 규모와 동일하지만, 더욱 강력한 데이터 엔지니어링 및 거버넌스 메커니즘을 통합합니다. 핵심 설계 목표는 규모를 극대화하는 것뿐만 아니라 재현성, 데이터 출처, 규정 준수 원칙을 준수하는 것이었습니다.

CommonPool 데이터셋은 구조화된 2014단계 파이프라인을 따릅니다. 첫 번째 단계는 2022년부터 XNUMX년까지 수집된 Common Crawl 스냅샷에서 원시 샘플을 추출하는 것입니다. 이미지와 캡션이나 주변 구절과 같은 관련 텍스트를 모두 수집합니다. 의미적 정렬을 평가하기 위해 유지 관리자는 CLIP 기반 유사도 점수를 적용하여 이미지와 텍스트 임베딩 간의 연관성이 약한 쌍을 제거합니다. 이러한 초기 필터링 단계는 단순 스크래핑 파이프라인에 비해 노이즈를 크게 줄입니다.

두 번째 단계에서는 데이터세트에 대한 대규모 중복 제거가 수행됩니다. 지각 해싱(Perceptual hashing)과 MinHash 기법을 사용하여 거의 중복된 이미지를 식별하고 제거함으로써 중복이 모델 학습에 영향을 미치지 않도록 합니다. 손상된 파일, 깨진 링크, 저해상도 이미지를 제외하기 위해 추가 필터가 적용됩니다. 이 단계에서 파이프라인에는 텍스트 정규화 및 자동 언어 식별 기능이 포함되어 특정 연구 분야에 특화된 또는 언어별 하위 집합을 생성할 수 있습니다.

세 번째 단계는 안전 및 규정 준수에 중점을 둡니다. 자동 얼굴 인식 및 블러 처리가 적용되고, 아동 관련 이미지와 이름, 이메일 주소, 우편 주소와 같은 개인 식별 정보는 제거됩니다. 파이프라인은 저작권이 있는 자료도 감지하려고 시도합니다. 자동화된 방법이 웹 규모에서 완벽한 필터링을 보장할 수는 없지만, 이러한 안전 장치는 필터링이 주로 성인 콘텐츠 및 유해성 휴리스틱에만 국한되었던 LAION-5B와 비교했을 때 상당한 기술적 개선을 나타냅니다.

데이터 처리 외에도 CommonPool은 정적 데이터셋 릴리스와 차별화되는 거버넌스 모델을 도입합니다. 버전 관리된 릴리스, 구조화된 메타데이터, 문서화된 업데이트 주기를 갖춘 살아있는 데이터셋으로 유지됩니다. 각 샘플에는 가능한 경우 라이선스 정보가 포함되어 저작권 규정 준수를 지원합니다. 삭제 프로토콜을 통해 개인과 기관은 민감한 콘텐츠의 삭제를 요청할 수 있으며, 이를 통해 EU AI법 및 관련 규제 프레임워크에서 제기된 우려 사항을 해결할 수 있습니다. 소스 URL 및 필터링 점수와 같은 메타데이터는 투명성과 재현성을 향상시켜 연구자들이 포함 및 제외 결정을 추적할 수 있도록 지원합니다.

DataComp 이니셔티브의 벤치마킹 결과는 이러한 설계 선택의 기술적 효과를 보여줍니다. 동일한 비전-언어 아키텍처를 LAION-5B와 CommonPool에서 학습시켰을 때, CommonPool은 특히 세분화된 검색 및 제로샷 분류 작업에서 더 안정적인 다운스트림 성능을 보이는 모델을 생성했습니다. 이러한 결과는 CommonPool의 높은 정렬 품질이 필터링이 덜 된 데이터 세트의 규모 이점을 일부 상쇄함을 시사합니다. 그럼에도 불구하고 2025년 독립 감사 결과, 잔여 위험이 드러났습니다. 데이터 세트의 약 0.1%에는 여전히 흐릿하게 처리되지 않은 얼굴, 민감한 개인 문서, 의료 기록이 포함되어 있었습니다. 이는 최첨단 자동 필터링 파이프라인의 한계를 보여줍니다.

전반적으로 CommonPool은 데이터셋 엔지니어링에서 원시 규모를 우선시하는 방식에서 규모, 품질, 규정 준수 간의 균형을 맞추는 방식으로 전환하는 것을 보여줍니다. 연구자에게는 대규모 사전 학습을 위한 재현 가능하고 비교적 안전한 기반을 제공합니다. 규제 기관에게는 개인정보 보호 및 책임 메커니즘을 데이터셋 구축에 직접 적용할 수 있음을 보여줍니다. LAION과 달리, CommonPool은 필터링 파이프라인, 거버넌스 관행, 벤치마킹 프레임워크를 통해 대규모 웹 데이터를 멀티모달 AI를 위한 기술적으로 더욱 견고하고 윤리적으로 책임감 있는 리소스로 변환할 수 있는 방법을 보여줍니다.

CommonPool과 기존 웹 스크래핑 데이터 세트 비교

LAION-5B와 같은 이전의 대규모 웹 스크래핑 데이터 세트와 달리5.85B 샘플), COYO-700M (700M 샘플), 및 WebLI(400M 샘플), CommonPool은 구조, 재현성 및 거버넌스를 강조합니다. URL 및 타임스탬프와 같은 메타데이터를 유지하여 추적성 및 부분 라이선스 확인을 지원합니다. 또한, CLIP 기반 시맨틱 필터링을 적용하여 품질이 낮거나 정렬이 불량한 이미지-텍스트 쌍을 제거하여 데이터 품질을 향상시킵니다.

이에 비해 LAION-5B와 COYO는 제한적인 필터링과 상세한 라이선스 문서 없이 Common Crawl에서 수집되었습니다. 이러한 데이터셋에는 의료 기록, 신분증, 흐릿하게 처리되지 않은 얼굴 등 민감한 정보가 자주 포함되어 있습니다. OpenAI에서 내부적으로 사용하는 WebLI 또한 외부 검토나 복제를 위해 공개되지 않아 투명성이 부족합니다.

CommonPool은 개인 식별 정보(PII)와 NSFW 콘텐츠를 제외함으로써 이러한 문제를 해결하고자 하지만, 사용자 동의가 완전히 해결되지 않은 상태임을 인지하고 있습니다. 이를 통해 기존 대안보다 상대적으로 신뢰성과 윤리성이 더욱 높아졌습니다.

히프 라인

CommonPool의 개발은 대규모 AI 데이터셋의 구상 및 관리 방식에 있어 중요한 전환점을 보여줍니다. LAION-5B 및 COYO와 같은 초기 데이터셋은 제한된 관리 감독 하에 규모를 우선시했지만, CommonPool은 연구의 유용성을 저해하지 않으면서 투명성, 필터링 및 거버넌스를 데이터셋 구축에 통합할 수 있음을 보여줍니다.

메타데이터를 보존하고, 의미론적 정렬 검사를 적용하며, 개인정보 보호 장치를 내장함으로써 더욱 재현 가능하고 책임 있는 리소스를 제공합니다. 동시에, 독립적인 감사 결과는 자동화된 보호 장치가 위험을 완전히 제거할 수 없음을 상기시켜 주며, 지속적인 경계의 필요성을 강조합니다.