Dataset AI yang Diperoleh dari Web Scraping dan Privasi: Mengapa CommonPool Layak Dipertimbangkan

Kecerdasan Buatan (AI) telah menjadi bagian dari kehidupan sehari-hari. Ini terlihat dalam chatbot medis yang membantu pasien dan alat generatif yang membantu seniman, penulis, dan pengembang. Sistem ini tampak canggih, namun mereka bergantung pada satu sumber daya esensial: data.

Sebagian besar data yang digunakan untuk melatih sistem AI berasal dari internet publik. Program otomatis mengumpulkan volume besar teks, gambar, dan audio dari platform online. Kumpulan ini membentuk dasar model yang terkenal seperti GPT-4, Stable Diffusion, dan banyak lainnya. Kumpulan ini, bagaimanapun, menimbulkan kekhawatiran yang belum terpecahkan tentang privasi, kepemilikan, dan persetujuan yang diberitahukan.

Pasar dataset pelatihan mencerminkan skala kegiatan ini. Saat ini, nilai global dataset AI diperkirakan sebesar 3,2 miliar dolar. Menurut proyeksi, ini dapat tumbuh menjadi 16,3 miliar dolar pada 2034, dengan tingkat pertumbuhan tahunan sebesar 20,5 persen. Di balik angka-angka ini terdapat tantangan penting. Sebagian besar bahan yang dikumpulkan diperoleh tanpa izin yang jelas. Ini sering mengandung data pribadi, karya berhak cipta, dan konten sensitif lainnya yang tidak pernah dimaksudkan untuk sistem pembelajaran mesin.

Sebagai respons terhadap masalah-masalah ini, pendekatan alternatif untuk tata kelola data sedang dieksplorasi. Salah satu contoh adalah CommonPool, yang dirilis pada April 2023 sebagai bagian dari DataComp benchmark. Ini adalah dataset besar yang terdiri dari 12,8 miliar pasangan gambar-teks yang dirancang untuk penelitian AI multimodal. Tidak seperti upaya pengumpulan data yang tradisional, ini menerapkan metode filtering, menekankan transparansi, dan melibatkan partisipasi masyarakat dalam pengembangannya. Meskipun masih menjadi perdebatan, CommonPool menunjukkan upaya untuk membangun praktik yang lebih bertanggung jawab dan dapat diaudit untuk data pelatihan AI. Inisiatif seperti ini menyoroti kebutuhan akan standar etika dalam masa depan kecerdasan buatan.

Peran Data yang Diperoleh dari Web Scraping dalam Mengembangkan Kecerdasan Buatan

Data adalah sentral untuk AI, dengan kinerja sistem yang erat terkait dengan jumlah dan keragaman informasi yang tersedia untuk pelatihan. Dalam beberapa tahun terakhir, web scraping telah menjadi metode standar untuk mengumpulkan dataset besar dalam skala besar. Dengan mengumpulkan konten online yang dapat diakses secara publik, peneliti dan pengembang telah memperoleh sumber daya data yang luas dan beragam.

Contoh populer adalah Common Crawl, yang pada 2025 telah menyimpan petabytes teks yang dikumpulkan melalui crawl bulanan lebih dari 250 terabyte masing-masing. Dataset ini secara luas digunakan untuk melatih model AI berbasis teks. Contoh lain adalah LAION-5B, yang berisi sekitar 5,85 miliar pasangan gambar-teks. Ini telah penting untuk aplikasi seperti Stable Diffusion, yang dapat membuat gambar realistis dari prompt tulisan.

Dataset ini berharga karena mereka meningkatkan akurasi model, memperbaiki generalisasi melalui konten yang bervariasi, dan memungkinkan kelompok yang lebih kecil, termasuk universitas, untuk berpartisipasi dalam pengembangan AI. Indeks AI Stanford 2025 menunjukkan bahwa sebagian besar model canggih masih bergantung pada data yang dikumpulkan, dengan dataset yang tumbuh dengan cepat dalam ukuran. Permintaan ini juga telah mendorong investasi besar, mencapai lebih dari 57 miliar dolar pada 2024 untuk pusat data dan kekuatan komputasi.

Pada saat yang sama, web scraping tidak bebas dari tantangan. Ini menimbulkan pertanyaan tentang privasi, kepemilikan, dan hak hukum, karena sebagian besar konten yang dikumpulkan tidak pernah dimaksudkan untuk penggunaan mesin. Kasus pengadilan dan diskusi kebijakan menunjukkan bahwa tantangan ini menjadi semakin mendesak. Masa depan pengumpulan data AI akan bergantung pada menemukan keseimbangan antara kemajuan dan tanggung jawab etika.

Masalah Privasi dengan Data yang Dikumpulkan

Alat web scraping mengumpulkan informasi tanpa pemisahan yang jelas antara konten umum dan detail sensitif. Bersama dengan teks dan gambar, mereka sering mengumpulkan Informasi yang Dapat Diidentifikasi Secara Pribadi (PII) seperti nama, alamat email, dan foto wajah.

Sebuah audit dari dataset CommonPool pada Juli 2025 mengungkapkan bahwa bahkan setelah filtering, 0,1% dari sampel masih mengandung wajah yang tidak diblur, ID pemerintah, dan dokumen seperti resume dan paspor. Meskipun persentase ini tampak kecil, pada skala miliaran catatan, ini berarti ratusan juta orang yang terkena. Ulasan dan audit keamanan mengkonfirmasi bahwa kehadiran material seperti ini tidak biasa, dan risikonya termasuk pencurian identitas, pelecehan yang ditargetkan, dan paparan data pribadi yang tidak diinginkan.

Sengketa hukum juga meningkat karena kekhawatiran tentang kepemilikan data dan penggunaan yang adil bergerak ke pengadilan. Antara 2023 dan 2024, perusahaan seperti OpenAI dan Stability AI menghadapi gugatan untuk menggunakan data pribadi dan berhak cipta tanpa persetujuan. Pada Februari 2025, sebuah pengadilan federal AS memutuskan bahwa melatih AI pada informasi pribadi yang tidak dilisensikan merupakan pelanggaran. Keputusan ini telah mendorong lebih banyak kasus gugatan kelas. Hak cipta adalah masalah besar lainnya. Banyak dataset yang dikumpulkan mengandung buku, artikel, seni, dan kode. Penulis dan seniman berpendapat bahwa karya mereka digunakan tanpa persetujuan atau pembayaran. Kasus New York Times v. OpenAI mempertanyakan apakah sistem AI mereproduksi konten yang dilindungi secara ilegal. Seniman visual telah mengangkat keluhan serupa, mengklaim bahwa AI menyalin gaya individual mereka. Pada Juni 2025, satu pengadilan AS mendukung perusahaan AI di bawah penggunaan yang adil, tetapi ahli mengatakan putusan tersebut tidak konsisten dan kerangka hukum masih belum jelas.

Kurangnya persetujuan dalam pelatihan AI telah melemahkan kepercayaan publik. Banyak orang menemukan bahwa blog, karya kreatif, atau kode mereka termasuk dalam dataset tanpa sepengetahuan mereka. Ini telah meningkatkan kekhawatiran etika dan seruan untuk transparansi lebih. Sebagai respons, pemerintah bergerak menuju pengawasan yang lebih ketat melalui hukum yang mempromosikan pengembangan model AI yang adil dan penggunaan data yang hati-hati.

Mengapa Dataset yang Dikumpulkan Sulit Digantikan

Meskipun kekhawatiran tentang privasi dan persetujuan, dataset yang dikumpulkan masih diperlukan untuk pelatihan AI. Alasannya adalah skala. Model AI modern memerlukan triliunan token dari teks, gambar, dan media lainnya. Membangun dataset seperti itu hanya melalui sumber yang dilisensikan atau dikurasi akan menelan biaya ratusan juta dolar. Ini tidak praktis untuk sebagian besar startup atau universitas.

Biaya tinggi bukanlah satu-satunya tantangan dengan dataset yang dikurasi. Mereka sering kekurangan keanekaragaman dan cenderung fokus pada bahasa, wilayah, atau komunitas tertentu. Cakupan yang sempit ini membuat model AI kurang seimbang. Sebaliknya, data yang dikumpulkan, meskipun berisik dan tidak sempurna, menangkap berbagai budaya, topik, dan pandangan. Keanekaragaman ini memungkinkan sistem AI untuk berkinerja lebih baik ketika diterapkan pada penggunaan dunia nyata.

Risikonya, bagaimanapun, adalah bahwa regulasi yang ketat dapat membatasi akses ke data yang dikumpulkan. Jika ini terjadi, organisasi yang lebih kecil mungkin akan bergelut untuk bersaing. Perusahaan besar dengan dataset pribadi atau milik, seperti Google (GOOGL ) atau Meta, akan terus maju. Ketidakseimbangan ini dapat mengurangi persaingan dan memperlambat inovasi terbuka dalam AI.

Untuk saat ini, dataset yang dikumpulkan masih sentral untuk penelitian AI. Pada saat yang sama, proyek seperti CommonPool sedang menjelajahi cara untuk membangun koleksi yang luas dan bersumber etis. Upaya ini diperlukan untuk menjaga ekosistem AI lebih terbuka, adil, dan bertanggung jawab.

CommonPool: Menuju Teknik Pengembangan Data Besar yang Bertanggung Jawab

CommonPool adalah salah satu upaya yang paling ambisius secara teknis untuk membangun dataset multimodal besar yang terbuka. Dengan sekitar 12,8 miliar pasangan gambar-teks, ini sesuai dengan skala LAION-5B tetapi mengintegrasikan mekanisme pengembangan data dan tata kelola yang lebih kuat. Tujuan desain utama bukan hanya untuk memaksimalkan skala tetapi juga untuk selaras dengan prinsip reproduktivitas, asal data, dan kepatuhan regulasi.

Pembangunan dataset CommonPool mengikuti pipa tiga tahap yang terstruktur. Tahap pertama melibatkan ekstraksi sampel mentah dari snapshot Common Crawl yang dikumpulkan antara 2014 dan 2022. Baik gambar dan teks yang terkait, seperti caption atau kalimat sekitar, dikumpulkan. Untuk mengevaluasi keselarasan semantik, pengembang menerapkan skor kesamaan berbasis CLIP, membuang pasangan dengan korespondensi yang lemah antara gambar dan teks embeddings. Langkah filtering awal ini secara substansial mengurangi kebisingan dibandingkan dengan pipa pengumpulan data yang naif.

Pada tahap kedua, dataset menjalani deduplikasi skala besar. Teknik hashing perseptual dan MinHash digunakan untuk mengidentifikasi dan menghapus gambar yang hampir duplikat, mencegah redundansi mendominasi pelatihan model. Filter tambahan diterapkan untuk mengecualikan file yang rusak, tautan yang rusak, dan gambar dengan resolusi rendah. Pada titik ini, pipa juga termasuk normalisasi teks dan identifikasi bahasa otomatis, memungkinkan pembuatan subset domain-spesifik atau bahasa-spesifik untuk penelitian yang ditargetkan.

Tahap ketiga fokus pada keamanan dan kepatuhan. Deteksi wajah otomatis dan pemburaman diterapkan, sementara gambar anak dan pengidentifikasi pribadi seperti nama, alamat email, dan alamat pos dihapus. Pipa juga mencoba mendeteksi bahan berhak cipta. Meskipun tidak ada metode otomatis yang dapat menjamin filtering yang sempurna pada skala web, perlindungan ini mewakili perbaikan teknis yang signifikan dibandingkan dengan LAION-5B, di mana filtering sebagian besar terbatas pada konten dewasa dan toksisitas.

Di luar pengolahan data, CommonPool memperkenalkan model tata kelola yang membedakannya dari rilis dataset statis. Ini dipelihara sebagai dataset hidup dengan rilis versi, metadata terstruktur, dan siklus pembaruan yang didokumentasikan. Setiap sampel termasuk informasi lisensi jika tersedia, mendukung kepatuhan dengan regulasi hak cipta. Protokol penghapusan memungkinkan individu dan lembaga untuk meminta penghapusan konten sensitif, mengatasi kekhawatiran yang diajukan oleh Undang-Undang AI UE dan kerangka regulasi terkait. Metadata seperti URL sumber dan skor filtering meningkatkan transparansi dan reproduktivitas, memungkinkan peneliti untuk melacak keputusan inklusi dan eksklusi.

Hasil benchmark dari inisiatif DataComp menggambarkan efek teknis dari pilihan desain ini. Ketika arsitektur visi-bahasa yang identik dilatih pada LAION-5B dan CommonPool, yang terakhir menghasilkan model dengan kinerja downstream yang lebih stabil, terutama pada tugas pengambilan dan klasifikasi nol-geser. Hasil ini menunjukkan bahwa kualitas keselarasan yang lebih tinggi dari CommonPool mengkompensasi beberapa kelebihan skala dari dataset yang kurang difilter. Namun, audit independen pada 2025 mengungkapkan risiko residu: sekitar 0,1% dari dataset masih mengandung wajah yang tidak diblur, dokumen pribadi sensitif, dan catatan medis. Ini menyoroti batasan dari bahkan pipa filtering otomatis yang paling canggih.

Secara keseluruhan, CommonPool mewakili pergeseran dalam teknik pengembangan dataset dari prioritas skala mentah ke keseimbangan skala, kualitas, dan kepatuhan. Bagi peneliti, ini menyediakan dasar yang lebih reproduktif dan relatif lebih aman untuk pelatihan skala besar. Bagi regulator, ini menunjukkan bahwa mekanisme privasi dan akuntabilitas dapat disematkan langsung ke dalam konstruksi dataset. Berbeda dengan LAION, CommonPool menggambarkan bagaimana pipa filtering, praktik tata kelola, dan kerangka benchmark dapat mengubah data web skala besar menjadi sumber daya yang lebih teknis dan etis untuk AI multimodal.

Membandingkan CommonPool dengan Dataset yang Dikumpulkan Secara Tradisional

Tidak seperti dataset yang dikumpulkan secara besar-besaran sebelumnya seperti LAION-5B (5,85 miliar sampel), COYO-700M (700M sampel), dan WebLI (400M sampel), CommonPool menekankan struktur, reproduktivitas, dan tata kelola. Ini mempertahankan metadata seperti URL dan timestamp, yang mendukung jejak dan pemeriksaan lisensi sebagian. Selain itu, ini menerapkan filtering semantik berbasis CLIP untuk menghapus pasangan gambar-teks yang berkualitas rendah atau tidak sejalan, menghasilkan kualitas data yang ditingkatkan.

Sebagai perbandingan, LAION-5B dan COYO disusun dari Common Crawl dengan filtering yang terbatas dan tanpa dokumentasi lisensi yang rinci. Dataset ini sering mengandung bahan sensitif, termasuk catatan medis, dokumen identitas, dan wajah yang tidak diblur. WebLI, yang digunakan secara internal oleh OpenAI, juga kekurangan transparansi, karena tidak pernah dirilis untuk tinjauan atau replikasi eksternal.

CommonPool berusaha untuk mengatasi masalah ini dengan mengecualikan PII dan konten NSFW, sementara mengakui bahwa persetujuan pengguna penuh masih belum terpecahkan. Ini membuatnya relatif lebih dapat diandalkan dan selaras dengan etika dibandingkan dengan alternatif sebelumnya.

Intinya

Pengembangan CommonPool mencerminkan transisi penting dalam cara dataset AI skala besar dikonseptualisasikan dan dipelihara. Sementara koleksi sebelumnya seperti LAION-5B dan COYO memprioritaskan skala dengan pengawasan yang terbatas, CommonPool menunjukkan bahwa transparansi, filtering, dan tata kelola dapat diintegrasikan ke dalam konstruksi dataset tanpa mengurangi kelayakan untuk penelitian.

Dengan mempertahankan metadata, menerapkan pemeriksaan keselarasan semantik, dan menyematkan perlindungan privasi, ini menawarkan sumber daya yang lebih dapat direproduksi dan akuntabel. Pada saat yang sama, audit independen mengingatkan kita bahwa perlindungan otomatis tidak dapat sepenuhnya menghilangkan risiko, menyoroti kebutuhan akan kewaspadaan terus-menerus.