Mengidentifikasi Pencurian Model AI Melalui Data Pelacakan Rahasia

Metode baru dapat menyembunyikan watermark pada model seperti ChatGPT dalam hitungan detik tanpa pelatihan ulang, tanpa meninggalkan jejak pada output umum dan bertahan dari semua upaya penghapusan yang memungkinkan.

Perbedaan halus antara watermarking dan ‘copyright-baiting’ adalah bahwa watermark – baik yang terbuka maupun tersembunyi – biasanya dimaksudkan untuk muncul di seluruh koleksi (seperti dataset gambar) sebagai hambatan untuk penyalinan kasual.

Sebaliknya, entri fiksi adalah segmen teks kecil, biasanya kata atau definisi yang ditampilkan dalam koleksi besar dan relatif generik, dirancang untuk membuktikan pencurian. Ideanya adalah bahwa ketika seluruh karya disalin secara ilegal, baik secara langsung atau sebagai dasar untuk karya turunan, kehadiran ‘unik’ dan fakta palsu yang ditanam oleh pemilik asli akan dengan mudah mengungkapkan tindakan pencurian.

Dalam hal menambahkan watermark pada Model Bahasa Besar (LLM) dan Model Bahasa Visi (VLM), sejauh mana output dimaksudkan untuk mengandung tanda-tanda ini sering dibagi antara dua tujuan ini: untuk memastikan bahwa semua atau sebagian besar output mengandung watermark yang jelas atau laten; atau untuk memastikan bahwa ‘token rahasia’ dapat dipulihkan yang membuktikan pencurian – tetapi yang tidak muncul dalam output reguler dari model.

Berat (Berat-berat) Bukti

Pendekatan kedua ini ditangani dalam kolaborasi baru antara Cina, Italia, dan Singapura; sebuah karya yang bertujuan untuk menyediakan metode pengungkapan seperti itu untuk model sumber terbuka, sehingga mereka tidak dapat dengan mudah dikomersialisasikan, atau digunakan dengan cara yang tidak diizinkan oleh lisensi aslinya.

Sebagai contoh, lisensi asli model mungkin mengharuskan siapa saja yang dapat memperoleh keuntungan dari karya tersebut selama mereka membuat perubahan atau amendemen tersedia secara publik di bawah syarat lisensi yang sama. Namun, sebuah perusahaan mungkin ingin mengunci ‘penyesuaian’ mereka (seperti versi yang disesuaikan dengan baik), untuk menghasilkan parit di mana tidak ada yang diizinkan.

Sebagian besar penelitian dalam garis ini ditempati oleh rutinitas deteksi yang terkait dengan model sumber tertutup, API-saja, atau model untuk yang hanya dioptimalkan (kuantisasi) berat yang tersedia; dan yang oleh karena itu lebih sulit untuk diedit dan diubah dengan cara yang diusulkan oleh makalah baru (karena tidak ada akses langsung ke arsitektur model itu sendiri).

Perhatian pada rilis FOSS ini, mungkin, tidak mengejutkan dari sektor penelitian Cina, karena output AI Cina selama setahun terakhir telah ditandai dengan rilis penuh* model yang setidaknya setara dengan ekivalen Barat yang lebih ‘terkunci’.

Pendekatan baru, yang disebut EditMark, membedakan diri dengan tidak memerlukan baik model yang disesuaikan dengan baik untuk menambahkan data ‘beracun’, maupun dilatih dari awal dengan data yang disertakan.

Hal ini memiliki beberapa keuntungan: satu adalah bahwa setiap data ‘petunjuk’ yang disertakan dalam dataset pelatihan, sekali ditemukan dan diungkapkan, tidak akan efektif lagi, karena dapat langsung diserang; tetapi untuk menyerang EditMark, pelaku kejahatan harus tahu lapisan model mana yang harus diserang, dan apa pendekatannya. Ini adalah skenario yang tidak mungkin.

Kedua, pendekatan ini cepat dan murah, memakan waktu beberapa detik (bukan hari atau bahkan minggu) untuk diterapkan pada model yang telah dilatih, menghilangkan biaya pelatihan yang parah (yang meningkat secara linier dengan ukuran model dan data yang diterapkan).

Akhirnya, pendekatan ini melakukan kerusakan yang jauh lebih sedikit pada operasi normal model yang ditargetkan daripada pelatihan yang disesuaikan dengan baik atau metode pengeditan sebelumnya.

Dalam pengujian, EditMark – yang menyematkan pertanyaan matematika dengan jawaban yang mungkin banyak ke dalam berat model – mencapai tingkat ekstraksi 100%.

Para penulis menyatakan:

‘Eksperimen komprehensif menunjukkan kinerja luar biasa dari EditMark dalam watermarking LLM. EditMark mencapai efisiensi yang luar biasa dengan menyematkan watermark 32-bit dalam waktu kurang dari 20 detik dengan tingkat keberhasilan ekstraksi 100%.

‘Yang patut dicatat, waktu penyematan watermark kurang dari 1/300 dari waktu pelatihan yang disesuaikan dengan baik (rata-rata 6.875 detik), yang menekankan efektivitas EditMark dalam menerapkan watermark dengan kapasitas tinggi dan kecepatan serta keandalan yang belum pernah terjadi sebelumnya.

‘Selain itu, eksperimen ekstensif memvalidasi ketahanan, ketidakkasatan, dan kesetiaan EditMark.’

Makalah baru ini berjudul EditMark: Watermarking Model Bahasa Besar Berdasarkan Pengeditan Model, dan berasal dari delapan penulis di Universitas Sains dan Teknologi Cina, Universitas Siena, dan CFAR/IHPC/A*STAR di Singapura.

Metode

Pendekatan EditMark terdiri dari empat komponen: Generator, Encoder, Editor, dan Decoder:

Pipeline EditMark menyematkan watermark dengan mengedit model untuk menjawab pertanyaan matematika khusus dengan cara yang mengkodekan informasi identifikasi tersembunyi. Sumber: https://arxiv.org/pdf/2510.16367

Generator menggunakan benih pseudo-acak untuk membuat pertanyaan matematika dengan jawaban yang mungkin banyak; Encoder memilih jawaban berdasarkan watermark, yang kemudian disematkan ke dalam model melalui proses pengeditan khusus. Setelah model yang diedit dirilis atau disalahgunakan, watermark dapat diekstrak dengan menanyakan pertanyaan yang sama dan mendekode pola respons.

Kemudian, Editor memodifikasi berat model sehingga, ketika ditanya pertanyaan yang diinisialisasi, model secara andal menghasilkan jawaban target, menyematkan watermark langsung ke dalam perilakunya. Decoder kemudian memulihkan watermark dengan memberikan pertanyaan yang sama pada model yang dicurigai, dan menerjemahkan jawabannya kembali ke dalam tanda tangan tersembunyi.

Model Ancaman

Model ancaman makalah ini menganggap bahwa watermarking dilakukan dalam pengaturan white-box. Meskipun ini biasanya bukan tanda baik dalam penelitian keamanan, di sini ini normal, karena metode ini bertujuan untuk melindungi pemilik yang memiliki akses penuh ke karya mereka sendiri.

Pelaku kejahatan juga dianggap memiliki akses white-box setelah mendapatkan model, yang berarti mereka dapat memodifikasinya (misalnya, dengan pemangkasan atau pelatihan yang disesuaikan dengan baik). Lagi, skenario ini normal dan diharapkan dalam kasus rilis FOSS. Namun, pelaku kejahatan tidak mengetahui proses ekstraksi watermark atau skema yang digunakan, dan hanya dapat menemukan metode ini dengan inferensi dan eksperimen (atau kebocoran).

Generator membuat pertanyaan matematika yang logis dan faktual valid dengan jawaban yang mungkin banyak, menggunakan GPT-4o untuk diversifikasi template (seperti yang ditunjukkan di bawah), dan benih pseudo-acak untuk memastikan setiap pertanyaan unik. Ini memungkinkan watermark yang diketahui untuk disematkan deterministik melalui permutasi jawaban, sambil meminimalkan tumpang tindih antara pertanyaan, untuk menghindari entanglement edit:

Template pertanyaan yang dihasilkan oleh GPT-4o untuk penyematan watermark, masing-masing terstruktur untuk menghasilkan jawaban integer yang valid dari ketidaksetaraan yang diinisialisasi.

Encoder mengubah setiap segmen watermark biner menjadi permutasi unik integer yang diambil dari set solusi dari pertanyaan matematika yang diberikan. Dengan menggunakan teori permutasi leksikografis, Encoder memetakan nilai desimal dari setiap potongan watermark ke pemilihan jawaban yang dipesan, memastikan bahwa watermark disematkan secara deterministik ke dalam perilaku model.

Mengenai editor, metode pengeditan model asli AlphaEdit yang digunakan untuk watermarking kekurangan presisi dan ketahanan, dengan model yang diedit sering gagal mengembalikan jawaban yang diinginkan. Setiap perubahan yang mereka buat mudah rusak oleh pemangkasan atau kebisingan.

Untuk mengatasi ini, penulis telah mengembangkan strategi pengeditan multi-putaran yang secara bertahap menyesuaikan berat model pada satu lapisan MLP sampai responsnya sejalan dengan jawaban target, menyematkan watermark langsung ke dalam perilakunya. Kemudian, Decoder memulihkan watermark dengan memberikan pertanyaan yang sama pada model yang dicurigai, dan menerjemahkan jawabannya kembali ke dalam tanda tangan tersembunyi.

Data dan Pengujian

Untuk menguji EditMark, lima LLM dievaluasi: GPT2-X; GPT-J-6B; LLaMA-3-8B; Baichuan-7B; dan Qwen-7B. Metode Model Watermark (backdoor); KIMark; dan BadEdit, kerangka kerja yang awalnya dirancang untuk injeksi backdoor, diadaptasi untuk tujuan proyek ini, digunakan sebagai acuan.

Untuk baseline, penulis memilih Model Watermark (backdoor); KIMark; dan BadEdit, kerangka kerja yang awalnya dirancang untuk injeksi backdoor, diadaptasi untuk tujuan proyek ini.

Penulis mengedit lapisan ke-15 dari LLaMA-3-8; lapisan ke-17 dari GPT2-XL dan GPT-J-6B; dan lapisan ke-14 dari Qwen-7B dan Baichuan-7B.

Pengujian dilakukan pada empat NVIDIA RTX 4090 GPU (24GB VRAM masing-masing), dengan watermark 32-bit, 64-bit, dan 128-bit disematkan. Template pertanyaan yang digunakan terperinci di gambar di bawah:

Template yang digunakan untuk menghasilkan pertanyaan dengan jawaban yang mungkin banyak untuk penyematan watermark. Setiap pertanyaan berdasarkan pada jenis ketidaksetaraan matematika yang berbeda, dengan nilai acak dimasukkan untuk variabel. Model diminta untuk mengembalikan daftar solusi integer, dengan urutan jawaban digunakan untuk mengkode atau mendekode bit watermark. Empat template mencakup bentuk kuadrat, logaritmis, rasional, dan berbasis interval. Semua dihasilkan melalui GPT-4o.

Untuk mengurangi efek keacakan, benih dari 1 hingga 20 diterapkan selama pengujian, di seluruh kapasitas watermark yang berbeda.

Awalnya peneliti menguji untuk kedua ESR dan biaya waktu dalam menyematkan watermark di seluruh rentang LLM:

Perbandingan EditMark melawan tiga metode watermarking sebelumnya pada lima model bahasa besar. Dilaporkan adalah tingkat keberhasilan ekstraksi (ESR) dan waktu penyematan (ET) dalam detik. EditMark secara konsisten mencapai tingkat keberhasilan 100% sambil mengurangi waktu penyematan beberapa orde besarnya, mengungguli semua baseline dalam akurasi dan efisiensi di seluruh model dengan ukuran dan arsitektur yang berbeda.

Dari hasil ini, penulis menyatakan:

‘[EditMark] mencapai ESR 100% dan memerlukan kurang dari 20 detik untuk menyematkan watermark 32-bit untuk semua LLM yang dievaluasi. Khususnya, waktu penyematan rata-rata untuk Baichuan-7B dan Qwen-7B kurang dari 10 detik, yang menunjukkan efisiensi tinggi dari EditMark.’

Untuk evaluasi watermark 128-bit, nilai tertinggi yang memungkinkan dalam skema seperti itu, EditMark mampu mempertahankan status ‘tidak dapat dihapus’:

Tingkat keberhasilan ekstraksi dan waktu penyematan untuk EditMark di seluruh panjang watermark 32, 64, dan 128 bit pada lima model bahasa. Tingkat keberhasilan yang sempurna dipertahankan dalam semua kasus, sementara waktu penyematan meningkat dengan ukuran watermark, tetapi tetap di bawah satu menit, bahkan pada 128 bit.

Berikutnya, kemampuan sistem untuk mempertahankan kesetiaan watermark diuji di seluruh beberapa benchmark:

Evaluasi kesetiaan watermark pada empat benchmark di seluruh lima model, membandingkan model yang tidak dimodifikasi dengan model yang disematkan watermark 32-bit dan 128-bit. Kinerja tetap stabil di seluruh konfigurasi, dengan hanya sedikit fluktuasi pada skor rata-rata, menunjukkan dampak terbatas pada akurasi benchmark dari penyisipan watermark.

EditMark’s ketahanan diuji melawan enam strategi serangan umum. Model-model tersebut pertama kali disematkan dengan watermark 128-bit menggunakan lima benih yang berbeda. Pelatihan yang disesuaikan dengan baik menyebabkan hanya sedikit penurunan pada tingkat keberhasilan ekstraksi (ESR) untuk sebagian besar model:

Tingkat keberhasilan ekstraksi dari model bahasa besar yang disematkan watermark sebelum dan setelah pelatihan yang disesuaikan dengan baik selama satu hingga tiga epoch. Sementara sebagian besar model mempertahankan ESR tinggi sepanjang waktu, Qwen-7B menunjukkan penurunan yang signifikan, menunjukkan kerentanan yang lebih besar terhadap pembaruan parameter.

Even setelah beberapa epoch, sebagian besar model mempertahankan ESR di atas 90%, menunjukkan bahwa EditMark resisten terhadap drift parameter yang diperkenalkan oleh pelatihan LoRA.

Serangan kuantisasi mengurangi presisi model, tetapi membiarkan sebagian besar watermark utuh:

Tingkat keberhasilan ekstraksi dari model yang disematkan watermark sebelum dan setelah kuantisasi menggunakan presisi Int-8 dan Int-4. ESR tetap tidak berubah di bawah kuantisasi Int-8 di seluruh model, sementara kuantisasi Int-4 menyebabkan degradasi sebagian, menunjukkan bahwa presisi yang lebih rendah dapat melemahkan, tetapi tidak sepenuhnya menghapus watermark.

Sebagaimana terlihat pada gambar di atas, kuantisasi Int-8 mempertahankan ESR 100% di seluruh model, sementara kuantisasi Int-4 memiliki dampak moderat pada ESR, tetapi memperkenalkan kerugian kinerja yang tidak dapat diterima.

Sebagaimana catatan makalah, skenario khusus ini menunjukkan potensi terbatas bagi pelaku kejahatan, karena ini menghasilkan model yang diretas tetapi dengan kinerja yang terdegradasi.

Pengujian untuk kebisingan dan pemangkasan mengevaluasi empat kerangka benchmark: MMLU; BLIMP; TruthfulQA; dan GLUE. Serangan-serangan ini menyebabkan penurunan ESR seiring dengan intensifikasi gangguan:

Dampak serangan kebisingan (baris atas) dan pemangkasan (baris bawah) pada ESR, dan kinerja benchmark model yang disematkan watermark. Seiring dengan penurunan ESR, akurasi benchmark juga menurun, terutama pada intensitas kebisingan yang lebih tinggi dan rasio pemangkasan, menekankan ketegangan antara penghapusan watermark dan utilitas model.

Namun, serangan-serangan ini juga menyebabkan penurunan tajam dalam kinerja tugas, dengan Baichuan-7B menerima penurunan 27-31% pada BLIMP ketika kebisingan atau pemangkasan diterapkan.

Pengeditan model dan serangan adaptif juga dievaluasi:

Tingkat keberhasilan ekstraksi model yang disematkan watermark yang dikenai berbagai tingkat pengeditan model. Bahkan dengan hingga lima puluh edit yang diterapkan pada lapisan watermark yang diketahui, ESR tetap di atas 95% untuk semua model, menunjukkan bahwa modifikasi parameter langsung memiliki efek terbatas pada penghapusan watermark.

Di sini EditMark mempertahankan lebih dari 95% ESR, bahkan ketika lapisan penyematan watermark yang tepat ditargetkan.

Kesimpulan

DRM, watermark rahasia, dan pendekatan keamanan lain yang telah menikmati (kesuksesan terbatas atau sebagian) dalam era pra-AI adalah sulit diterapkan pada sistem pembelajaran mesin; sifat reduksionis yang disengaja dari arsitektur host saat ini digabungkan dengan kurangnya alat yang tepat, membuat watermark yang disuntikkan menjadi rapuh.

Sangat mengesankan untuk melihat sistem yang ditujukan untuk distribusi model sumber terbuka, dan untuk melihatnya bertahan melawan semua skenario kecuali yang paling tidak mungkin, dalam hal pengetahuan sebelumnya pelaku kejahatan. Namun, penurunan kinerja yang sangat kecil yang datang dengan pengeditan pasca-pelatihan, kecil meskipun dalam eksperimen ini, mungkin memberikan alasan bagi calon pengadopsi untuk berhenti; tidak hanya karena mundur ke model kontrol berbasis API menghilangkan serangan tersebut hampir sepenuhnya.

* Situs ini telah berpendapat bahwa rilis ‘berat terbuka’ dari Cina tidak selalu memenuhi syarat sebagai FOSS sepenuhnya, karena data sering ditarik, yang mencegah rekreasi pipa pelatihan yang tepat. Secara argumentatif, topik ini mengundang pandangan yang lebih dalam tentang politik rilis model AI yang dibandingkan di Barat dan Timur, yang berada di luar cakupan artikel ini.

Publikasi pertama pada hari Senin, 27 Oktober 2025