Membuat Model Pembelajaran Mesin Lupa Tentang Anda

Menghapus sepotong data tertentu yang berkontribusi pada model pembelajaran mesin seperti mencoba menghapus sendok gula kedua dari cangkir kopi. Data, pada saat ini, sudah menjadi terkait erat dengan banyak neuron lain di dalam model. Jika sebuah titik data mewakili data ‘definisi’ yang terlibat dalam bagian awal, high-dimensional dari pelatihan, maka menghapusnya dapat merubah secara radikal bagaimana model berfungsi, atau bahkan memerlukan bahwa model harus dilatih ulang dengan biaya waktu dan uang.

Namun, di Eropa setidaknya, Pasal 17 dari Undang-Undang Perlindungan Data Umum (GDPR) memerlukan bahwa perusahaan menghapus data pengguna tersebut atas permintaan. Karena Undang-Undang ini dirumuskan dengan pemahaman bahwa penghapusan ini tidak lebih dari sebuah query ‘drop’ database, legislasi yang akan muncul dari Draft EU Undang-Undang Kecerdasan Buatan akan secara efektif menyalin dan menempel semangat GDPR ke dalam Undang-Undang yang berlaku untuk sistem kecerdasan buatan terlatih daripada data tabular.

Lebih lanjut, legislasi sedang dipertimbangkan di seluruh dunia yang akan memberikan hak kepada individu untuk meminta penghapusan data mereka dari sistem pembelajaran mesin, sementara Undang-Undang Privasi Konsumen California (CCPA) tahun 2018 sudah memberikan hak ini kepada penduduk negara bagian.

Mengapa Ini Penting

Ketika sebuah dataset dilatih menjadi model pembelajaran mesin yang dapat digunakan, karakteristik dari data tersebut menjadi umum dan abstrak, karena model dirancang untuk menginfer prinsip dan tren yang luas dari data, akhirnya menghasilkan algoritma yang akan berguna dalam menganalisis data spesifik dan tidak umum.

Namun, teknik seperti inversi model telah mengungkap kemungkinan identifikasi kembali data yang berkontribusi yang mendasari algoritma akhir yang abstrak, sementara serangan inferensi keanggotaan juga dapat mengungkap data sumber, termasuk data sensitif yang mungkin hanya diizinkan untuk dimasukkan dalam sebuah dataset atas dasar anonimitas.

Minat yang meningkat dalam pengejaran ini tidak perlu bergantung pada aktivisme privasi akar rumput: karena sektor pembelajaran mesin komersialisasi selama sepuluh tahun ke depan, dan negara-negara akan berada di bawah tekanan untuk mengakhiri budaya laissez faire saat ini atas penggunaan screen scraping untuk generasi dataset, akan ada insentif komersial yang tumbuh untuk organisasi yang menegakkan IP (dan IP troll) untuk mendekode dan meninjau data yang telah berkontribusi pada kerangka kerja kecerdasan buatan klasifikasi, inferensi, dan generatif yang propietary dan menghasilkan pendapatan tinggi.

Induksi Amnesia pada Model Pembelajaran Mesin

Oleh karena itu, kita ditinggalkan dengan tantangan untuk mendapatkan gula keluar dari kopi. Ini adalah masalah yang telah mengganggu peneliti dalam beberapa tahun terakhir: pada tahun 2021, kertas yang didukung EU Studi Perbandingan tentang Risiko Privasi Perpustakaan Pengenalan Wajah menemukan bahwa beberapa algoritma pengenalan wajah populer dapat memungkinkan diskriminasi berbasis jenis kelamin atau ras dalam serangan identifikasi kembali; pada tahun 2015, penelitian dari Universitas Columbia mengusulkan metode ‘pembelajaran mesin tidak belajar’ berdasarkan pembaruan sejumlah penjumlahan dalam data; dan pada tahun 2019, peneliti Stanford menawarkan algoritma penghapusan baru untuk implementasi K-means clustering.

Sekarang, sebuah konsorsium penelitian dari Cina dan AS telah menerbitkan karya baru yang memperkenalkan metrik seragam untuk mengevaluasi keberhasilan pendekatan penghapusan data, bersama dengan metode ‘tidak belajar’ baru yang disebut Forsaken, yang peneliti klaim dapat mencapai tingkat lupa lebih dari 90%, dengan kehilangan akurasi hanya 5% dalam kinerja keseluruhan model.

Kertas tersebut disebut Belajar untuk Lupa: Pembelajaran Mesin Tidak Belajar melalui Neuron Masking, dan menampilkan peneliti dari Cina dan Berkeley.

Neuron masking, prinsip di balik Forsaken, menggunakan mask gradient generator sebagai filter untuk penghapusan data spesifik dari model, secara efektif memperbarui model tersebut daripada memaksanya untuk dilatih ulang dari awal atau dari snapshot yang terjadi sebelum inklusi data (dalam kasus model berbasis streaming yang terus diperbarui).

Arsitektur generator mask gradient. Sumber: https://arxiv.org/pdf/2003.10933.pdf

Asal Biologis

Peneliti menyatakan bahwa pendekatan ini terinspirasi oleh proses biologis ‘lupa aktif’, di mana pengguna mengambil tindakan untuk menghapus semua sel engram untuk sebuah memori tertentu dengan manipulasi dopamin khusus.

Forsaken terus membangkitkan mask gradient yang meniru tindakan ini, dengan pengaman untuk memperlambat atau menghentikan proses ini untuk menghindari lupa kritis dari data non-target.

Kelebihan sistem ini adalah bahwa itu dapat diterapkan pada banyak jenis jaringan neural yang ada, sedangkan karya serupa baru-baru ini menikmati kesuksesan terutama dalam jaringan penglihatan komputer; dan bahwa itu tidak mengganggu prosedur pelatihan model, tetapi bertindak sebagai tambahan, tanpa memerlukan bahwa arsitektur inti diubah atau data dilatih ulang.

Membatasi Efek

Penghapusan data yang berkontribusi dapat memiliki efek yang berpotensi merusak pada fungsionalitas algoritma pembelajaran mesin. Untuk menghindari ini, peneliti telah menggunakan norm regularisasi, sebuah fitur dari pelatihan jaringan neural normal yang umum digunakan untuk menghindari overtraining. Implementasi khusus yang dipilih dirancang untuk memastikan bahwa Forsaken tidak gagal berkumpul dalam pelatihan.

Untuk menetapkan dispersal data yang dapat digunakan, peneliti menggunakan data out-of-distribution (OOD) (yaitu, data yang tidak termasuk dalam dataset sebenarnya, meniru ‘data sensitif’ dalam dataset sebenarnya) untuk mengkalibrasi cara algoritma harus berperilaku.

Pengujian pada Dataset

Metode ini diuji pada delapan dataset standar dan umumnya mencapai tingkat lupa yang dekat dengan atau lebih tinggi dari pelatihan ulang penuh, dengan dampak yang sangat kecil pada akurasi model.

Tampaknya mustahil bahwa pelatihan ulang penuh pada dataset yang diedit dapat melakukan lebih buruk daripada metode lain, karena data target sepenuhnya absen. Namun, model telah, pada saat ini, mengabstraksi berbagai fitur dari data yang dihapus dalam cara ‘holografik’, dengan cara (dengan analogi) bahwa tetes tinta meredefinisi utilitas gelas air.

Pada dasarnya, bobot model telah dipengaruhi oleh data yang dihapus, dan satu-satunya cara untuk menghapus pengaruhnya sepenuhnya adalah dengan melatih ulang model dari nol absolut, bukan pendekatan yang jauh lebih cepat dengan melatih ulang model terhadap dataset yang diedit.