Apa Itu Peracunan Data? Bagaimana Penyerang Merusak Model AI dan Kumpulan Data

Peracunan data memanipulasi data pelatihan, penyetelan halus, evaluasi, atau pengambilan agar sistem AI mempelajari perilaku yang telah dirusak atau menghasilkan keluaran yang dipilih penyerang.

Peracunan data perlu dijelaskan secara tepat karena namanya merujuk pada aliran informasi, pilihan pelatihan, mekanisme saat sistem berjalan, atau batas tata kelola tertentu. Menganggapnya sebagai sinonim dari “AI canggih” membuat klaim mustahil diuji. Panduan ini menelusuri konsep tersebut dari masukan dan asumsi hingga hasil yang dapat diamati, lalu menguji penyederhanaan yang paling mungkin disalahartikan sebagai peracunan data.

Peracunan Data: Definisi, Batasan, dan Tujuan

Peracunan data memanipulasi data pelatihan, penyetelan halus, evaluasi, atau pengambilan agar sistem AI mempelajari perilaku yang telah dirusak atau menghasilkan keluaran yang dipilih penyerang. Definisi ini mencakup tiga komitmen praktis: adanya masukan yang dapat diidentifikasi, transformasi atau keputusan yang merupakan ciri khas peracunan data, serta hasil yang dapat dinilai berdasarkan tujuan yang dinyatakan. Jika salah satu unsur tersebut tidak ada, istilah ini mungkin menggambarkan aspirasi, bukan mekanisme yang telah diterapkan.

AI yang tepercaya membutuhkan bukti di sepanjang siklus hidupnya. Suatu kontrol hanya bermakna jika pihak yang bertanggung jawab, cakupan, pemicu, perilaku yang diharapkan, dan metode verifikasinya dinyatakan secara jelas. Dalam peracunan data, sudut pandang sistem ini penting karena kinerja dapat ditentukan oleh data, antarmuka, perangkat keras, izin, dan orang-orang di sekitarnya, meskipun model dasarnya tidak berubah. Karena itu, penjelasan yang baik memisahkan perilaku yang dipelajari model dari produk yang menentukan kapan, di mana, dan dengan kewenangan seperti apa perilaku tersebut digunakan.

Penyederhanaan yang paling dekat tetapi menyesatkan adalah serangan pengelakan yang diterapkan hanya setelah model diterapkan. Serangan itu mungkin memiliki ciri yang tampak serupa dengan peracunan data, tetapi mengubah hubungan sebab-akibatnya: keberhasilan akan dibuktikan dengan bukti yang berbeda, biaya akan lebih banyak dipengaruhi oleh sumber daya yang berbeda, dan pencegahan bahaya memerlukan kontrol yang berbeda. Jadi, batasnya bersifat operasional, bukan sekadar terminologis.

Peta Operasional Peracunan Data dalam Lima Tahap

Diagram ini merupakan peta sebab-akibat ringkas untuk peracunan data, bukan klaim bahwa setiap penerapan menggunakan lima komponen perangkat lunak. Beberapa sistem menggabungkan tahapan, sedangkan sistem lainnya mengulanginya dalam suatu siklus. Peta ini tetap berguna karena memastikan setiap perubahan informasi atau kewenangan memiliki penanggung jawab, masukan, keluaran, dan pengujian.

1. Memperoleh Pengaruh atas Sumber Data: Masukan dan Asumsi dalam Peracunan Data

Pada tahap peracunan data ini, sistem harus memperoleh pengaruh atas suatu sumber data. Pertanyaan yang berguna bukan sekadar apakah operasi itu dilakukan, melainkan informasi apa yang digunakannya, keadaan apa yang diubahnya, dan bukti apa yang menunjukkan bahwa perubahan tersebut sah. Peninjau harus dapat membedakan operasi itu dari serangan pengelakan yang diterapkan hanya setelah model digunakan, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Peralihan menuju tahap peracunan data ini dimulai dengan tujuan yang dinyatakan dan seharusnya berakhir dengan hasil yang dapat mendukung penyisipan contoh yang salah label, bias, atau mengandung pemicu. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta setiap kontrol manusia atau perangkat lunak yang diterapkan pada batas tersebut. Jejak inilah yang memungkinkan tim mendeteksi apakah subset kecil yang ditargetkan sulit ditemukan dalam data berskala web sebelum kelemahan yang sama memengaruhi keluaran yang berdampak penting.

2. Menyisipkan Contoh yang Salah Label, Bias, atau Mengandung Pemicu: Representasi atau Keputusan dalam Peracunan Data

Pada tahap peracunan data ini, sistem harus menyisipkan contoh yang salah label, bias, atau mengandung pemicu. Pertanyaan yang berguna bukan sekadar apakah operasi itu dilakukan, melainkan informasi apa yang digunakannya, keadaan apa yang diubahnya, dan bukti apa yang menunjukkan bahwa perubahan tersebut sah. Peninjau harus dapat membedakan operasi itu dari serangan pengelakan yang diterapkan hanya setelah model digunakan, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Peralihan menuju tahap peracunan data ini dimulai dengan memperoleh pengaruh atas suatu sumber data dan seharusnya berakhir dengan hasil yang dapat mendukung lolos dari penyaringan dan deduplikasi. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta setiap kontrol manusia atau perangkat lunak yang diterapkan pada batas tersebut. Jejak inilah yang memungkinkan tim mendeteksi apakah subset kecil yang ditargetkan sulit ditemukan dalam data berskala web sebelum kelemahan yang sama memengaruhi keluaran yang berdampak penting.

3. Lolos dari Penyaringan dan Deduplikasi: Transformasi Khas dalam Peracunan Data

Pada tahap peracunan data ini, sistem harus lolos dari penyaringan dan deduplikasi. Pertanyaan pentingnya bukan sekadar apakah operasi tersebut dilakukan, melainkan informasi apa yang digunakan, keadaan apa yang diubah, dan bukti apa yang menunjukkan bahwa perubahan itu valid. Peninjau harus dapat membedakan operasi ini dari serangan pengelakan yang baru diterapkan setelah model diterapkan, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Proses peralihan ke tahap peracunan data ini dimulai dengan menyisipkan contoh yang salah label, bias, atau mengandung pemicu, dan seharusnya berakhir dengan hasil yang dapat mendukung perubahan pada model yang telah dipelajari atau konteks yang diambil kembali. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta kontrol manusia atau perangkat lunak apa pun yang diterapkan pada batas tersebut. Catatan itu memungkinkan tim mendeteksi apakah sebagian kecil data yang ditargetkan sulit dideteksi dalam data berskala web, sebelum kelemahan yang sama memengaruhi keluaran yang berdampak besar.

4. Mengubah Model yang Telah Dipelajari atau Konteks yang Diambil Kembali: Batasan dan Verifikasi dalam Peracunan Data

Pada tahap peracunan data ini, sistem harus mengubah model yang telah dipelajari atau konteks yang diambil kembali. Pertanyaan pentingnya bukan sekadar apakah operasi tersebut dilakukan, melainkan informasi apa yang digunakan, keadaan apa yang diubah, dan bukti apa yang menunjukkan bahwa perubahan itu valid. Peninjau harus dapat membedakan operasi ini dari serangan pengelakan yang baru diterapkan setelah model diterapkan, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Proses peralihan ke tahap peracunan data ini dimulai dengan lolos dari penyaringan dan deduplikasi, dan seharusnya berakhir dengan hasil yang dapat mendukung aktivasi penurunan kinerja secara luas atau pintu belakang yang ditargetkan. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta kontrol manusia atau perangkat lunak apa pun yang diterapkan pada batas tersebut. Catatan itu memungkinkan tim mendeteksi apakah sebagian kecil data yang ditargetkan sulit dideteksi dalam data berskala web, sebelum kelemahan yang sama memengaruhi keluaran yang berdampak besar.

5. Mengaktifkan Penurunan Kinerja secara Luas atau Pintu Belakang yang Ditargetkan: Keluaran, Umpan Balik, dan Aturan Penghentian dalam Peracunan Data

Pada tahap peracunan data ini, sistem harus mengaktifkan penurunan kinerja secara luas atau pintu belakang yang ditargetkan. Pertanyaan pentingnya bukan sekadar apakah operasi tersebut dilakukan, melainkan informasi apa yang digunakan, keadaan apa yang diubah, dan bukti apa yang menunjukkan bahwa perubahan itu valid. Peninjau harus dapat membedakan operasi ini dari serangan pengelakan yang baru diterapkan setelah model diterapkan, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Proses peralihan ke tahap peracunan data ini dimulai dengan mengubah model yang telah dipelajari atau konteks yang diambil kembali, dan seharusnya berakhir dengan hasil yang dapat mendukung pemantauan atau keputusan akhir. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta kontrol manusia atau perangkat lunak apa pun yang diterapkan pada batas tersebut. Catatan itu memungkinkan tim mendeteksi apakah sebagian kecil data yang ditargetkan sulit dideteksi dalam data berskala web, sebelum kelemahan yang sama memengaruhi keluaran yang berdampak besar.

Baca peta peracunan data dari awal hingga akhir untuk memahami proses produksi, dan dari akhir ke awal untuk mendiagnosis kegagalan. Analisis ke depan menelaah bagaimana satu tahap menjadi masukan bagi tahap berikutnya. Analisis ke belakang dimulai dari hasil yang keliru, lambat, mahal, atau tidak aman, lalu menelusuri asumsi sebelumnya yang memungkinkan hasil tersebut terjadi. Jalur sebaliknya ini sering kali membantu tim menemukan bahwa kesalahan penentu terjadi sebelum model menghasilkan apa pun.

Contoh Peracunan Data

Penyerang dapat menyisipkan contoh yang mengajarkan pengklasifikasi untuk menganggap patch visual langka sebagai label tepercaya.

Contoh ini informatif karena peracunan data dapat dikaitkan dengan masukan yang dapat diamati, keadaan perantara, dan hasil, alih-alih dinilai melalui demonstrasi yang dipoles. Pengujian yang ketat akan menyusun kasus biasa, sulit, dan sengaja menyesatkan berdasarkan skenario tersebut, mempertahankan data dasar tanpa teknik itu, serta mencatat kinerja rata-rata dan tingkat keparahan setiap kegagalan.

Ubah satu asumsi dalam contoh peracunan data, lalu ulangi analisisnya. Hapus masukan yang diwajibkan, tambahkan sinyal yang bertentangan, batasi daya komputasi, ubah populasi pengguna, atau paksa sistem untuk tidak memberikan jawaban. Mekanisme yang hanya berhasil dalam satu demonstrasi yang diatur dengan cermat belum membuktikan bahwa mekanisme itu dapat berfungsi secara umum di lingkungan operasional.

Peracunan Data dan Jalan Pintas yang Paling Umum

Peracunan data sering kali disederhanakan menjadi serangan pengelakan yang baru diterapkan setelah model digunakan. Penyederhanaan itu menghapus batas yang justru mendefinisikan konsep tersebut. Akibatnya, pembeli dapat membandingkan produk yang tidak sebanding, peneliti dapat melebih-lebihkan apa yang dibuktikan oleh eksperimen, dan operator dapat memantau sinyal yang keliru setelah penerapan.

Perbandingan juga harus mengidentifikasi unit analisis. Makalah tentang peracunan data mungkin mengisolasi sebuah model atau algoritme, sementara layanan yang diterapkan mencakup pengambilan informasi, perutean, penyimpanan sementara, kebijakan, identitas, antarmuka pengguna, dan pemantauan. Dua produk dapat menggunakan istilah utama yang sama, tetapi menerapkan bagian tumpukan teknologi yang berbeda. Tanyakan komponen mana yang melakukan transformasi penentu dan komponen lain mana yang diperlukan untuk menghasilkan keluaran yang dilaporkan.

Mengapa Peracunan Data Penting dalam Sistem AI Saat Ini

Peracunan data kini penting karena sistem AI diberi konteks yang lebih luas, lebih banyak modalitas, komputasi saat dijalankan yang lebih besar, akses alat yang lebih luas, serta keterhubungan yang lebih erat dengan keputusan organisasi. Dalam kondisi tersebut, sesuatu yang sebelumnya tampak sebagai detail penelitian dapat menentukan latensi, keamanan, aksesibilitas, biaya lingkungan, kualitas produk, atau akuntabilitas hukum.

Ukuran yang relevan bukanlah apakah peracunan data dapat menghasilkan satu hasil yang mengesankan. Yang perlu dinilai adalah apakah teknik tersebut meningkatkan hasil yang penting dalam berbagai kondisi yang mewakili penggunaan nyata dan melakukannya dengan lebih efektif daripada tolok ukur dasar yang lebih sederhana. Laporkan distribusi hasil, kategori kegagalan, latensi ekor, penggunaan sumber daya, dan kelompok yang terdampak, alih-alih meringkas semua hasil menjadi satu nilai rata-rata.

Pantau metrik teknis sekaligus dampaknya terhadap manusia. Dokumentasikan ketidakpastian, jaga keterlacakan asal-usul, sediakan mekanisme eskalasi, dan rancang pemulihan sebelum sistem terpapar kondisi dunia nyata yang berubah-ubah. Jika diterapkan secara khusus pada peracunan data, disiplin ini membuat bukti dapat digunakan lintas tim: tim lain dapat menilai apakah peningkatan yang diklaim kemungkinan tetap bertahan saat menggunakan model, bahasa, platform perangkat keras, kumpulan data, populasi pengguna, atau toleransi risiko yang berbeda.

Manfaat yang Dapat Dihasilkan Peracunan Data

Alasan terkuat untuk menggunakan peracunan data adalah kemampuannya mengatasi secara langsung hambatan yang hendak ditangani. Bergantung pada penerapannya, manfaatnya dapat berupa landasan yang lebih kuat, representasi yang lebih akurat, generalisasi yang lebih baik, latensi yang lebih rendah, perpindahan memori yang lebih sedikit, akuntabilitas yang lebih jelas, atau batas yang lebih aman antara saran model dan tindakan nyata.

Manfaat harus dirumuskan sebagai keputusan dan pengukuran. “Lebih cerdas” bukanlah kriteria penerimaan untuk peracunan data. Sasaran yang berguna dapat menetapkan tingkat kesalahan pada kasus sulit, pemulihan setelah menerima bukti yang saling bertentangan, biaya pada persentil tertentu dari lalu lintas, waktu peninjauan oleh manusia, kalibrasi, atau persentase tindakan yang tetap berada dalam batas kewenangan yang telah ditentukan.

Kegagalan yang Menjadi Ciri Khas Peracunan Data

Keterbatasan utamanya adalah sebagian kecil yang ditargetkan bisa sulit dideteksi dalam data berskala web. Kegagalan ini bukan sekadar catatan tambahan yang baru dicantumkan setelah pengembangan selesai. Sejak awal, kegagalan ini harus memengaruhi pengumpulan data, arsitektur, izin, evaluasi, gerbang rilis, dan pemantauan peracunan data.

Kendali untuk peracunan data hanya berguna jika bertindak sebelum timbul konsekuensi yang mahal atau tidak dapat dipulihkan. Identifikasi tanda awal kegagalan yang paling cepat dapat diamati, tetapkan ambang batas atau aturan, tunjuk penanggung jawab yang akuntabel, dan uji pemulihan. Bergantung pada kasus penggunaannya, pemulihan dapat berarti tidak memberikan jawaban, beralih ke sistem yang lebih sederhana, meminta bukti tambahan, mengeskalasikan masalah kepada seseorang, mengembalikan model ke versi sebelumnya, atau menghentikan tindakan sepenuhnya.

Rencana Evaluasi untuk Peracunan Data

Mulailah mengevaluasi peracunan data dengan merumuskan keputusan yang harus didukung oleh bukti. Tentukan populasi operasional, konsekuensi dari hasil yang keliru, informasi yang benar-benar tersedia saat keputusan dibuat, dan alternatif paling sederhana yang tetap dapat diandalkan. Dengan demikian, tolok ukur tidak menjadi tujuan hanya karena mudah dijalankan.

Gunakan set pengujian yang belum pernah disentuh untuk perbandingan terkendali, lalu validasi peracunan data dalam lingkungan operasional bertahap. Evaluasi luring membuat berbagai varian dapat dibandingkan; mode bayangan, uji coba terbatas, pembatasan laju, atau gerbang persetujuan menunjukkan bagaimana lalu lintas nyata, lingkar umpan balik, dan manusia mengubah perilaku. Tahap penerapan harus memiliki kondisi penghentian yang jelas, bukan menganggap setiap peningkatan layak diterapkan sepenuhnya.

Beri versi pada masukan yang diperlukan untuk mereproduksi peracunan data: data sumber, prapemrosesan, tokenizer atau encoder, bobot model, konfigurasi, prompt atau kebijakan, indeks pengambilan, set evaluasi, asumsi perangkat keras, dan kode penyajian, jika relevan. Tanpa pelacakan asal-usul, tim tidak dapat memastikan apakah perubahan hasil berasal dari teknik tersebut, lingkungan, atau penyuntingan alur kerja yang luput diketahui.

Terakhir, tanyakan temuan seperti apa yang akan menggugurkan klaim bahwa peracunan data bermanfaat. Jika tidak ada hasil yang dapat mengubah keputusan untuk mengadopsinya, evaluasi itu hanyalah pemasaran. Ambang penerimaan yang ditetapkan sebelumnya dan set konfirmasi yang dipertahankan mengubah proses tersebut menjadi bukti.

Pertanyaan Sebelum Mengadopsi Peracunan Data

• Tujuan: Hambatan terukur apa yang hendak diatasi dengan peracunan data?
• Mekanisme: Di tahap mana dari lima tahap tersebut transformasi khas itu terjadi?
• Tolok ukur: Bagaimana perbandingannya dengan serangan pengelakan yang hanya diterapkan setelah model diterapkan, atau dengan alternatif lain yang lebih sederhana?
• Bukti: Kasus umum, sulit, adversarial, dan subkelompok apa saja yang diuji?
• Operasional: Berapa biaya latensi, memori, komputasi, energi, pemeliharaan, dan peninjauan saat sistem digunakan dalam skala besar?
• Risiko: Bagaimana tim akan mendeteksi bahwa subset kecil yang ditargetkan dapat sulit ditemukan dalam data berskala web?
• Pemulihan: Dapatkah sistem menahan diri untuk tidak memberikan jawaban, beralih ke mekanisme cadangan, memulihkan versi sebelumnya, atau mengeskalasi masalah sebelum terjadi bahaya?

Sumber Utama untuk Mempelajari Peracunan Data

Titik awal otoritatif untuk bagian tumpukan AI yang mencakup peracunan data antara lain NIST AI Risk Management Framework, spesifikasi C2PA, dan NIST Privacy Framework. Baca sumber-sumber tersebut bersama dokumentasi untuk model, set data, perangkat keras, dan yurisdiksi yang digunakan. Sumber umum dapat menjelaskan mekanismenya, tetapi hanya bukti yang spesifik pada penerapan yang dapat memastikan bahwa implementasi tertentu sesuai.

Hal yang Perlu Diingat tentang Peracunan Data

Peracunan data adalah mekanisme yang terdefinisi di dalam sistem sosioteknis yang lebih luas. Manfaatnya berasal dari peningkatan hasil tertentu dalam kondisi yang dinyatakan secara jelas, bukan dari labelnya semata. Peta lima tahap memperlihatkan aliran informasinya, perbandingan menjelaskan hal-hal yang bukan termasuk peracunan data, dan jalur kendali menunjukkan titik tempat operator yang bertanggung jawab dapat melakukan intervensi.

Aturan praktis untuk peracunan data adalah menetapkan tujuan, membandingkannya dengan tolok ukur yang dapat diandalkan, menguji kegagalan yang paling penting, dan menyimpan bukti yang diperlukan untuk memantau perubahan. Dengan semua itu, konsep tersebut menjadi pilihan rekayasa dan tata kelola yang dapat dievaluasi. Tanpanya, konsep itu hanya menjadi nama yang menjanjikan, tetapi dikaitkan dengan risiko operasional yang belum diketahui.