Hampir 80% Dataset Pelatihan Mungkin Menjadi Bahaya Hukum bagi Enterprise AI

Sebuah makalah baru dari LG AI Research menunjukkan bahwa dataset yang digunakan untuk melatih model AI mungkin menawarkan kesan keamanan yang salah – menemukan bahwa hampir empat dari lima dataset AI yang dilabeli sebagai ‘dapat digunakan secara komersial’ sebenarnya mengandung risiko hukum tersembunyi.

Risiko tersebut berkisar dari inklusi materi hak cipta yang tidak diungkapkan hingga ketentuan lisensi yang restriktif yang terkubur dalam ketergantungan dataset. Jika temuan makalah tersebut akurat, perusahaan yang mengandalkan dataset publik mungkin perlu mempertimbangkan kembali pipa AI mereka saat ini, atau menghadapi paparan hukum di hilir.

Peneliti tersebut mengusulkan solusi radikal dan kontroversial: agen kepatuhan berbasis AI yang dapat memindai dan mengaudit riwayat dataset dengan lebih cepat dan akurat daripada pengacara manusia.

Makalah tersebut menyatakan:

‘Makalah ini menyarankan bahwa risiko hukum dataset pelatihan AI tidak dapat ditentukan hanya dengan meninjau ketentuan lisensi tingkat permukaan; analisis yang menyeluruh dan berkelanjutan dari redistribusi dataset diperlukan untuk memastikan kepatuhan.

‘Karena analisis seperti itu diluar kemampuan manusia karena kompleksitas dan skala, agen AI dapat menjembatani kesenjangan ini dengan melakukan analisis dengan kecepatan dan akurasi yang lebih tinggi. Tanpa otomatisasi, risiko hukum yang signifikan tetap tidak dieksaminasi, membahayakan pengembangan AI etis dan kepatuhan regulasi. ‘

‘Kami mendorong komunitas penelitian AI untuk mengakui analisis hukum berkelanjutan sebagai persyaratan fundamental dan mengadopsi pendekatan yang digerakkan oleh AI sebagai jalur yang layak untuk kepatuhan dataset yang dapat diskalakan.’

Dengan memeriksa 2.852 dataset populer yang tampaknya dapat digunakan secara komersial berdasarkan lisensi individu mereka, sistem otomatis peneliti menemukan bahwa hanya 605 (sekitar 21%) yang sebenarnya aman secara hukum untuk dikomersialkan setelah semua komponen dan ketergantungannya dilacak

Makalah baru ini berjudul Jangan Percaya Lisensi yang Anda Lihat — Kepatuhan Dataset Memerlukan Pelacakan Siklus Hidup Berbasis AI dengan Skala Besar, dan berasal dari delapan peneliti di LG AI Research.

Hak dan Salah

Penulis menyoroti tantangan yang dihadapi oleh perusahaan yang mendorong pengembangan AI di lanskap hukum yang semakin tidak pasti – karena pola pikir ‘penggunaan wajar’ akademis sekitar pelatihan dataset memberi jalan bagi lingkungan yang terpecah, di mana perlindungan hukum tidak jelas dan pelabuhan yang aman tidak lagi dijamin.

Seperti yang ditunjukkan oleh sebuah publikasi baru-baru ini, perusahaan menjadi semakin defensif tentang sumber data pelatihan mereka. Penulis Adam Buick mengomentari*:

‘[Sementara] OpenAI mengungkapkan sumber data utama untuk GPT-3, makalah yang memperkenalkan GPT-4 menunjukkan hanya bahwa data yang digunakan untuk melatih model tersebut adalah campuran dari ‘data yang tersedia secara publik (seperti data internet) dan data yang dilisensikan dari penyedia pihak ketiga’.

‘Motivasi di balik langkah menjauh dari transparansi belum diartikulasikan dengan detail oleh pengembang AI, yang dalam banyak kasus tidak memberikan penjelasan sama sekali. ‘

‘Untuk bagian OpenAI, mereka membenarkan keputusan mereka untuk tidak merilis detail lebih lanjut tentang GPT-4 dengan alasan kekhawatiran tentang ‘lanskap kompetitif dan implikasi keamanan model skala besar’, tanpa penjelasan lebih lanjut dalam laporan.’

Transparansi dapat menjadi istilah yang tidak jujur – atau hanya salah; misalnya, model generatif Firefly dari Adobe, yang dilatih pada data stok yang Adobe miliki hak untuk mengeksploitasi, seharusnya menawarkan kepada pelanggan jaminan tentang legalitas penggunaan sistem tersebut. Kemudian, beberapa bukti muncul bahwa pot data Firefly telah ‘diperkaya’ dengan data hak cipta potensial dari platform lain.

Seperti yang kita diskusikan sebelumnya, ada upaya yang tumbuh untuk memastikan kepatuhan lisensi dalam dataset, termasuk satu yang hanya akan mengambil video YouTube dengan lisensi Creative Commons yang fleksibel.

Masalahnya adalah bahwa lisensi itu sendiri mungkin salah, atau diberikan secara salah, seperti yang ditunjukkan oleh penelitian baru ini.

Menginvestigasi Dataset Sumber Terbuka

Sulit untuk mengembangkan sistem evaluasi seperti yang digunakan oleh penulis ketika konteksnya terus berubah. Oleh karena itu, makalah tersebut menyatakan bahwa sistem kerangka kerja kepatuhan data NEXUS didasarkan pada ‘berbagai preseden dan landasan hukum pada saat ini’.

NEXUS menggunakan agen berbasis AI yang disebut AutoCompliance untuk kepatuhan data otomatis. AutoCompliance terdiri dari tiga modul kunci: modul navigasi untuk eksplorasi web; modul pertanyaan-jawaban (QA) untuk ekstraksi informasi; dan modul skoring untuk penilaian risiko hukum.

AutoCompliance dimulai dengan URL halaman web yang diberikan oleh pengguna. AI mengekstrak detail kunci, mencari sumber daya terkait, mengidentifikasi ketentuan lisensi dan ketergantungan, dan menetapkan skor risiko hukum. Sumber: https://arxiv.org/pdf/2503.02784

Modul-modul ini ditenagai oleh model AI yang disesuaikan, termasuk model EXAONE-3.5-32B-Instruct, yang dilatih pada data sintetis dan berlabel manusia. AutoCompliance juga menggunakan database untuk menyimpan hasil agar meningkatkan efisiensi.

AutoCompliance dimulai dengan URL dataset yang diberikan oleh pengguna dan memperlakukannya sebagai entitas root, mencari ketentuan lisensi dan ketergantungannya, dan secara rekursif melacak dataset terkait untuk membangun grafik ketergantungan lisensi. Setelah semua koneksi dipetakan, itu menghitung skor kepatuhan dan menetapkan klasifikasi risiko.

Kerangka kerja kepatuhan data yang diuraikan dalam karya baru ini mengidentifikasi berbagai^† jenis entitas yang terlibat dalam siklus hidup data, termasuk dataset, yang membentuk inti input untuk pelatihan AI; perangkat lunak pengolahan data dan model AI, yang digunakan untuk mengubah dan memanfaatkan data; dan Penyedia Layanan Platform, yang memfasilitasi penanganan data.

Sistem tersebut secara holistik menilai risiko hukum dengan mempertimbangkan entitas-entitas ini dan ketergantungan mereka, melangkah melampaui evaluasi lisensi dataset untuk memasukkan ekosistem komponen yang lebih luas yang terlibat dalam pengembangan AI.

Kepatuhan data menilai risiko hukum di seluruh siklus hidup data. Ini menetapkan skor berdasarkan detail dataset dan 14 kriteria, mengklasifikasikan entitas individu dan mengagregatkan risiko di seluruh ketergantungan.

Pelatihan dan Metrik

Penulis mengekstrak URL dari 1.000 dataset yang paling banyak diunduh di Hugging Face, mengambil sampel acak 216 item untuk membentuk set tes.

Model EXAONE disesuaikan pada dataset khusus penulis, dengan modul navigasi dan pertanyaan-jawaban menggunakan data sintetis, dan modul skoring menggunakan data yang diberi label oleh manusia.

Label benar dibuat oleh lima ahli hukum yang dilatih setidaknya 31 jam dalam tugas yang serupa. Ahli-ahli ini secara manual mengidentifikasi ketergantungan dan ketentuan lisensi untuk 216 kasus tes, kemudian mengagregatkan dan memperhalus temuan mereka melalui diskusi.

Dengan sistem AutoCompliance yang dilatih dan dikalibrasi oleh manusia, diuji melawan ChatGPT-4o dan Perplexity Pro, terdapat ketergantungan yang jauh lebih banyak yang ditemukan dalam ketentuan lisensi:

Akurasi dalam mengidentifikasi ketergantungan dan ketentuan lisensi untuk 216 dataset evaluasi.

Makalah tersebut menyatakan:

‘AutoCompliance secara signifikan mengungguli semua agen lain dan ahli manusia, mencapai akurasi 81,04% dan 95,83% dalam setiap tugas. Sebaliknya, baik ChatGPT-4o dan Perplexity Pro menunjukkan akurasi yang relatif rendah untuk tugas Sumber dan Lisensi, masing-masing. ‘

‘Hasil ini menyoroti kinerja unggul dari AutoCompliance, menunjukkan efikasinya dalam menangani kedua tugas dengan akurasi yang luar biasa, serta menunjukkan celah kinerja yang signifikan antara model AI dan ahli manusia dalam domain ini.’

Dalam hal efisiensi, pendekatan AutoCompliance hanya membutuhkan 53,1 detik untuk dijalankan, dibandingkan dengan 2.418 detik untuk evaluasi manusia yang setara pada tugas yang sama.

Lebih lanjut, biaya evaluasi ini sebesar $0,29 USD, dibandingkan dengan $207 USD untuk ahli manusia. Namun, perlu dicatat bahwa ini didasarkan pada menyewa node GCP a2-megagpu-16gpu bulanan dengan tarif $14.225 per bulan – menunjukkan bahwa efisiensi biaya ini terkait terutama dengan operasi skala besar.

Investigasi Dataset

Untuk analisis, peneliti memilih 3.612 dataset dengan menggabungkan 3.000 dataset yang paling banyak diunduh dari Hugging Face dengan 612 dataset dari Inisiatif Provenance Data 2023.

Makalah tersebut menyatakan:

‘Dari 3.612 entitas target, kami mengidentifikasi total 17.429 entitas unik, di mana 13.817 entitas muncul sebagai ketergantungan langsung atau tidak langsung dari entitas target.

‘Untuk analisis empiris kami, kami mempertimbangkan suatu entitas dan grafik ketergantungan lisensinya memiliki struktur satu lapis jika entitas tersebut tidak memiliki ketergantungan dan struktur multi-lapis jika memiliki satu atau lebih ketergantungan.

‘Dari 3.612 dataset target, 2.086 (57,8%) memiliki struktur multi-lapis, sedangkan 1.526 (42,2%) memiliki struktur satu lapis tanpa ketergantungan.’

Dataset yang dilindungi hak cipta hanya dapat didistribusikan kembali dengan wewenang hukum, yang mungkin berasal dari lisensi, pengecualian hukum hak cipta, atau ketentuan kontrak. Distribusi yang tidak sah dapat menyebabkan konsekuensi hukum, termasuk pelanggaran hak cipta atau pelanggaran kontrak. Oleh karena itu, identifikasi non-kepatuhan yang jelas sangat penting.

Pelanggaran distribusi yang ditemukan di bawah Kriteria 4.4. Kepatuhan Data.

Studi ini menemukan 9.905 kasus redistribusi dataset yang tidak patuh, dibagi menjadi dua kategori: 83,5% dilarang secara eksplisit oleh ketentuan lisensi, membuat redistribusi menjadi pelanggaran hukum yang jelas; dan 16,5% melibatkan dataset dengan kondisi lisensi yang bertentangan, di mana redistribusi diperbolehkan secara teori tetapi gagal memenuhi syarat yang diperlukan, menciptakan risiko hukum di hilir.

Penulis mengakui bahwa kriteria risiko yang diusulkan dalam NEXUS tidak universal dan mungkin bervariasi menurut yurisdiksi dan aplikasi AI, dan bahwa perbaikan di masa depan harus fokus pada beradaptasi dengan peraturan global yang berubah sambil memperhalus tinjauan hukum yang digerakkan oleh AI.

Kesimpulan

Ini adalah makalah yang panjang dan kurang ramah, tetapi mengatasi mungkin faktor pengereman terbesar dalam adopsi AI industri saat ini – kemungkinan bahwa data ‘terbuka’ yang tampaknya aman akan kemudian diklaim oleh berbagai entitas, individu, dan organisasi.

Di bawah DMCA, pelanggaran dapat secara hukum melibatkan denda besar per kasus. Di mana pelanggaran dapat mencapai jutaan, seperti dalam kasus yang ditemukan oleh peneliti, potensi tanggung jawab hukum sangat signifikan.

Tambahnya, perusahaan yang dapat dibuktikan telah mendapat manfaat dari data hulu tidak dapat (seperti biasa) mengklaim ketidaktahuan sebagai alasan, setidaknya di pasar AS yang berpengaruh. Mereka juga tidak memiliki alat yang realistis untuk menembus implikasi labirin yang terkubur dalam perjanjian lisensi dataset sumber terbuka.

Masalahnya dalam merumuskan sistem seperti NEXUS adalah bahwa akan menjadi cukup menantang untuk mengkalibrasi sistem tersebut pada basis per negara bagian di AS, atau per negara di UE; prospek menciptakan kerangka kerja global (sebuah ‘Interpol untuk provenance dataset’) diancam tidak hanya oleh motif yang berbeda dari pemerintah yang beragam, tetapi juga oleh kenyataan bahwa pemerintah tersebut dan keadaan hukum mereka saat ini terus berubah.

* Penggantian saya dari tautan untuk kutipan penulis.
† Enam jenis ditentukan dalam makalah, tetapi dua yang terakhir tidak didefinisikan.

Dipublikasikan pertama kali pada hari Jumat, 7 Maret 2025