Nyieun Modél Pembelajaran Mesin Poho Ngeunaan Anjeun

Ngahapus sapotong data tinangtu anu nyumbang kana modél pembelajaran mesin sapertos nyobian nyabut séndok kadua gula tina sacangkir kopi. Data, ku waktos ayeuna, parantos janten intrinsik numbu ka seueur neuron sanés dina modél éta. Lamun titik data ngawakilan 'ngahartikeun' data nu kalibet dina pangheubeulna, bagian luhur diménsi tina latihan, lajeng miceun eta radikal bisa ngartikeun ulang kumaha fungsi model, atawa malah merlukeun eta dilatih deui dina sababaraha pengeluaran waktu jeung duit.

Mangkaning, di Éropa sahenteuna, Pasal 17 tina General Data Protection Regulation Act (GDPR) merlukeun yén pausahaan miceun data pamaké misalna dina pamundut. Kusabab kalakuan éta dirumuskeun dina pamahaman yén ngahapus ieu moal langkung ti hiji pamundut 'serelek' database, panerapan anu ditakdirkeun muncul tina Draf EU. Artificial Intelligence Act bakal sacara épéktip salinan jeung némpelkeun sumanget GDPR kana hukum anu lumaku pikeun sistem AI dilatih tinimbang data tabular.

Panerapan salajengna keur dianggap di sakuliah dunya anu bakal méré hak individu pikeun menta ngahapus data maranéhanana ti sistem learning mesin, sedengkeun California Consumer Privacy Act (CCPA) of 2018 geus nyadiakeun hak ieu ka warga nagara.

Kunaon eta Perkara

Lamun susunan data dilatih jadi model pembelajaran mesin actionable, karakteristik data jadi digeneralisasi jeung abstrak, sabab model dirancang pikeun infer prinsip jeung tren lega tina data, ahirna ngahasilkeun hiji algoritma nu bakal mangpaat dina nganalisis data husus sarta non-generalized.

Sanajan kitu, téhnik kayaning model inversion parantos ngungkabkeun kamungkinan pikeun ngaidentipikasi deui data anu nyumbangkeun anu ngadasarkeun algoritma akhir anu diabstraksi, sedengkeun serangan inferensi kaanggotaan ogé tiasa ngalaan data sumber, kalebet data sénsitip anu ngan ukur diidinan dilebetkeun kana set data ngeunaan pamahaman anonimitas.

Ngaronjatkeun minat dina ngungudag ieu henteu kedah ngandelkeun aktivisme privasi akar jukut: sabab séktor pembelajaran mesin komersil dina sapuluh taun ka hareup, sareng bangsa-bangsa dina tekenan pikeun ngeureunkeun arus. budaya laissez faire ngaliwatan pamakéan scraping layar pikeun generasi dataset, bakal aya insentif komérsial tumuwuh pikeun organisasi IP-enforcing (jeung IP trolls) mun decode na marios data nu geus nyumbang ka proprietary na luhur-earning klasifikasi, inferensi jeung generative frameworks AI.

Ngadorong Amnesia dina Modél Pembelajaran Mesin

Ku sabab kitu urang tinggalkeun tangtangan pikeun ngaluarkeun gula tina kopi. Ieu masalah anu geus ngaganggu peneliti dina taun-taun ayeuna: dina 2021 kertas anu dirojong EU Studi Komparatif ngeunaan Resiko Privasi Perpustakaan Pangenal Wajah kapanggih yén sababaraha algoritma pangakuan raray populér éta sanggup sangkan kelamin atawa ras dumasar diskriminasi dina serangan ulang idéntifikasi; dina 2015 panalungtikan kaluar tina Columbia University diajukeun métode 'mesin unlearning' dumasar kana ngamutahirkeun sajumlah kasimpulan dina data; sareng di 2019 peneliti Stanford ditawarkeun algoritma ngahapus novél pikeun K-hartosna palaksanaan clustering.

Ayeuna konsorsium panalungtikan ti Cina sareng AS parantos nyebarkeun karya anyar anu ngenalkeun métrik seragam pikeun ngevaluasi kasuksésan pendekatan ngahapus data, sareng metode 'unlearning' anyar anu disebut Forsaken, anu diklaim panalungtik sanggup ngahontal langkung ti 90 % laju poho, kalawan ukur 5% leungitna akurasi dina kinerja sakabéh modél.

nu keretas disebut Diajar Poho: Mesin Unlearning via Neuron Masking, sareng fitur peneliti ti Cina sareng Berkeley.

Neuron masking, prinsip balik Forsaken, ngagunakeun a gradién topeng generator salaku filter pikeun miceun data husus tina hiji model, éféktif ngamutahirkeun eta tinimbang maksa ka retrained boh ti scratch atawa ti snapshot nu lumangsung saméméh citakan data (dina kasus model dumasar-streaming nu. terus diropéa).

Arsitéktur generator gradién topéng. Sumber: https://arxiv.org/pdf/2003.10933.pdf

Asal-usul Biologis

Para panalungtik nyatakeun yén pendekatan ieu diideuan ku prosés biologis tina 'active forgetting', dimana pamaké nyokot tindakan strident mupus sakabéh sél engram pikeun memori husus ku manipulasi tipe husus dopamin.

Forsaken terus-terusan ngabangkitkeun gradién topéng anu ngayakeun réplikasi tindakan ieu, kalayan panjagaan pikeun ngalambatkeun atanapi ngeureunkeun prosés ieu pikeun ngahindarkeun bencana anu teu hilap data non-target.

Kaunggulan tina sistem nyaéta yén éta tiasa dianggo pikeun sababaraha jinis jaringan saraf anu tos aya, sedengkeun padamelan anu sami ayeuna parantos suksés pisan dina jaringan visi komputer; sarta yén éta henteu ngaganggu prosedur latihan modél, tapi rada tindakan salaku adjunct, tanpa merlukeun yén arsitéktur inti dirobah atawa data retrained.

Ngawatesan Pangaruh

Ngahapus data anu disumbangkeun tiasa gaduh pangaruh anu berpotensi ngabahayakeun kana fungsionalitas algoritma pembelajaran mesin. Pikeun ngahindarkeun ieu, panalungtik geus dieksploitasi regularization norma, fitur latihan jaringan saraf normal nu ilahar dipaké pikeun nyingkahan overtraining. Palaksanaan husus dipilih dirancang pikeun mastikeun yén Forsaken teu gagal konvergen dina latihan.

Pikeun ngadamel panyebaran data anu tiasa dianggo, panalungtik ngagunakeun data out-of-distribution (OOD) (nyaéta, data henteu kalebet dina set data anu saleresna, niru data 'sénsitip' dina susunan data saleresna) pikeun ngakalibrasi cara algoritma kedah kalakuanana. .

Nguji Dina Datasets

Metoda ieu diuji leuwih dalapan datasets baku sarta sacara umum kahontal laju poho deukeut atawa leuwih luhur batan palatihan balik pinuh, kalawan saeutik pisan dampak dina akurasi model.

Sigana teu mungkin yen latihan ulang pinuh dina dataset diédit sabenerna bisa ngalakukeun leuwih goreng ti sagala metoda sejenna, saprak data target sagemblengna bolos. Sanajan kitu, model geus ayeuna abstrak sababaraha fitur tina data dihapus dina fashion 'holographic', ku cara (ku analogi) yén tetes tinta redefines utilitas tina sagelas cai.

Sabenerna, beurat model geus dipangaruhan ku data excised, sarta hiji-hijina cara pikeun sakabéhna ngaleungitkeun pangaruhna nyaéta ngalatih deui modél ti enol mutlak, tinimbang pendekatan tebih speedier ngalatih deui model weighted dina dataset diédit. .