Membuat Model Pembelajaran Mesin Lupa Tentang Anda

Menghapus sepotong data tertentu yang berkontribusi pada model pembelajaran mesin seperti mencoba menghapus sendok kedua gula dari cangkir kopi. Data, pada saat ini, telah menjadi terkait erat dengan banyak neuron lain di dalam model. Jika sebuah titik data mewakili data ‘definisi’ yang terlibat dalam bagian awal, pelatihan tinggi-dimensi, maka menghapusnya dapat meredefinisi secara radikal bagaimana model berfungsi, atau bahkan memerlukan bahwa model harus dilatih ulang dengan biaya waktu dan uang.

Namun, di Eropa setidaknya, Pasal 17 dari Undang-Undang Perlindungan Data Umum (GDPR) memerlukan bahwa perusahaan menghapus data pengguna tersebut atas permintaan. Karena Undang-Undang ini dirancang dengan asumsi bahwa penghapusan ini tidak lebih dari query ‘drop’ database, Undang-Undang yang akan muncul dari Draft EU Undang-Undang Kecerdasan Buatan secara efektif akan menyalin dan menempel semangat GDPR ke dalam Undang-Undang yang berlaku untuk sistem kecerdasan buatan yang dilatih daripada data tabel.

Undang-Undang lebih lanjut sedang dipertimbangkan di seluruh dunia yang akan memberi hak individu untuk menghapus data mereka dari sistem pembelajaran mesin, sementara Undang-Undang Privasi Konsumen California (CCPA) tahun 2018 sudah memberikan hak ini kepada penduduk negara bagian.

Mengapa Ini Penting

Ketika sebuah dataset dilatih menjadi model pembelajaran mesin yang dapat digunakan, karakteristik data tersebut menjadi umum dan abstrak, karena model dirancang untuk menginferensi prinsip dan tren yang luas dari data, akhirnya menghasilkan algoritma yang akan berguna dalam menganalisis data spesifik dan tidak umum.

Namun, teknik seperti inversi model telah mengungkap kemungkinan mengidentifikasi kembali data yang berkontribusi pada algoritma akhir yang abstrak, sementara serangan inferensi keanggotaan juga dapat mengungkap data sumber, termasuk data sensitif yang mungkin hanya diizinkan untuk dimasukkan dalam dataset dengan asumsi anonimitas.

Minat yang meningkat dalam pengejaran ini tidak perlu bergantung pada aktivisme privasi akar rumput: karena sektor pembelajaran mesin komersialisasi selama sepuluh tahun ke depan, dan negara-negara berada di bawah tekanan untuk mengakhiri budaya laissez faire saat ini atas penggunaan screen scraping untuk generasi dataset, akan ada insentif komersial yang meningkat untuk organisasi penerapan IP (dan troll IP) untuk mendekode dan meninjau data yang telah berkontribusi pada kerangka kerja kecerdasan buatan klasifikasi, inferensi, dan generatif yang propietary dan menghasilkan pendapatan tinggi.

Menginduksi Amnesia pada Model Pembelajaran Mesin

Oleh karena itu, kita ditinggalkan dengan tantangan untuk menghilangkan gula dari kopi. Ini adalah masalah yang telah mengganggu peneliti dalam beberapa tahun terakhir: pada 2021, makalah yang didukung EU Studi Perbandingan tentang Risiko Privasi Perpustakaan Pengenalan Wajah menemukan bahwa beberapa algoritma pengenalan wajah populer dapat memungkinkan diskriminasi berdasarkan jenis kelamin atau ras dalam serangan re-identifikasi; pada 2015, penelitian dari Universitas Columbia mengusulkan metode ‘pembelajaran mesin yang tidak belajar’ berdasarkan pembaruan sejumlah penjumlahan dalam data; dan pada 2019, peneliti Stanford menawarkan algoritma penghapusan baru untuk implementasi K-means clustering.

Sekarang, konsorsium penelitian dari Cina dan AS telah menerbitkan karya baru yang memperkenalkan metrik seragam untuk mengevaluasi keberhasilan pendekatan penghapusan data, bersama dengan metode ‘tidak belajar’ baru yang disebut Forsaken, yang peneliti klaim dapat mencapai tingkat penghapusan lebih dari 90%, dengan kehilangan akurasi hanya 5% dalam kinerja model secara keseluruhan.

Makalah ini berjudul Belajar untuk Lupa: Pembelajaran Mesin yang Tidak Belajar melalui Masking Neuron, dan menampilkan peneliti dari Cina dan Berkeley.

Masking neuron, prinsip di balik Forsaken, menggunakan generator gradien mask sebagai filter untuk penghapusan data spesifik dari model, secara efektif memperbarui model tersebut daripada memaksanya untuk dilatih ulang dari awal atau dari snapshot yang terjadi sebelum inklusi data (dalam kasus model berbasis streaming yang terus diperbarui).

Arsitektur generator gradien mask. Sumber: https://arxiv.org/pdf/2003.10933.pdf

Asal Biologis

Peneliti menyatakan bahwa pendekatan ini terinspirasi oleh proses biologis ‘penghapusan aktif’, di mana pengguna mengambil tindakan untuk menghapus semua sel engram untuk sebuah memori dengan manipulasi dopamin khusus.

Forsaken terus membangkitkan gradien mask yang meniru tindakan ini, dengan pengaman untuk memperlambat atau menghentikan proses ini untuk menghindari penghapusan kritis dari data non-target.

Kelebihan sistem ini adalah bahwa sistem ini dapat diterapkan pada banyak jenis jaringan saraf yang ada, sedangkan karya serupa baru-baru ini hanya berhasil dalam jaringan komputer visi; dan bahwa sistem ini tidak mengganggu prosedur pelatihan model, tetapi berfungsi sebagai tambahan, tanpa memerlukan bahwa arsitektur inti harus diubah atau data dilatih ulang.

Membatasi Efek

Penghapusan data yang berkontribusi dapat memiliki efek yang berpotensi merusak pada fungsionalitas algoritma pembelajaran mesin. Untuk menghindari ini, peneliti telah menggunakan regularisasi norm, fitur dari pelatihan jaringan saraf normal yang umum digunakan untuk menghindari overtraining. Implementasi khusus yang dipilih dirancang untuk memastikan bahwa Forsaken tidak gagal untuk konvergen dalam pelatihan.

Untuk membangun dispersal data yang dapat digunakan, peneliti menggunakan data out-of-distribution (OOD) (yaitu, data yang tidak termasuk dalam dataset sebenarnya, meniru ‘data sensitif’ dalam dataset sebenarnya) untuk mengkalibrasi cara algoritma harus berperilaku.

Pengujian pada Dataset

Metode ini diuji pada delapan dataset standar dan umumnya mencapai tingkat penghapusan yang lebih tinggi atau sama dengan pelatihan ulang penuh, dengan dampak yang sangat kecil pada akurasi model.

Tampaknya mustahil bahwa pelatihan ulang penuh pada dataset yang diedit sebenarnya dapat melakukan lebih buruk daripada metode lain, karena data target sepenuhnya absen. Namun, model telah mengabstraksi berbagai fitur dari data yang dihapus dalam cara ‘holografik’, dengan cara (dengan analogi) sebuah tetes tinta mengubah kegunaan sebuah gelas air.

Secara efektif, bobot model telah dipengaruhi oleh data yang dihapus, dan satu-satunya cara untuk menghapus pengaruhnya sepenuhnya adalah dengan melatih model dari nol absolut, bukan dengan pendekatan yang jauh lebih cepat dengan melatih model yang diberi bobot pada dataset yang diedit.