Makine Öğrenimi Modelinin Sizi Unutmaya Zorlamak

Bir makine öğrenimi modeline katkıda bulunan belirli bir veri parçasını kaldırmak, bir fincan kahveden ikinci kaşık şekerleri çıkarmaya benzer. Bu aşamada, veriler zaten model içindeki birçok diğer nöronla iç içe geçmiş durumdadır. Eğer bir veri noktası, eğitimdeki en erken, yüksek boyutlu kısmında yer alan “tanımlayıcı” veri ise, onu kaldırmak modelin işleyişini radikal bir şekilde değiştirebilir veya onu yeniden eğitilmesi gerekebilir ve bu da zaman ve para kaybına neden olabilir.

Ancak, en azından Avrupa’da, Genel Veri Koruma Regülasyonunun 17. maddesi, şirketlerin kullanıcı verilerini istek üzerine kaldırmalarını gerektirir. Bu yasa, verilerin silinmesinin sadece bir veritabanı ‘drop’ sorgusu olacağını varsayarak oluşturulduğundan, ortaya çıkacak olan Draft EU Yapay Zeka Yasası, GDPR’nin ruhunu, eğitimli AI sistemlerine değil de tablo verilerine uygulayan yasalara etkili bir şekilde kopyalayacaktır.

Dünya çapında, bireylerin makine öğrenimi sistemlerinden veri silme talebinde bulunma hakkını tanıyan daha fazla yasa düşünülürken, 2018 California Tüketici Gizliliği Yasası (CCPA) already bu hakkı eyalet sakinlerine sağlar.

Neden Önemli

Bir veri seti, işlenebilir bir makine öğrenimi modeline dönüştürüldüğünde, verilerin özellikleri soyut ve genel hale gelir, çünkü model, verilerden ilkeler ve genel eğilimleri çıkarmak üzere tasarlanmıştır ve sonunda, özel ve genel olmayan verilerin analizinde yararlı olacak bir algoritma üretir.

Ancak, model inversion gibi teknikler, temel alınan algoritmanın altında yatan katkıda bulunan verilerin yeniden tanımlanma olasılığını ortaya koyarken, üyelik çıkarımı saldırıları da, anonimlik anlaşmasıyla sadece bir veri setine dahil edilmelerine izin verilen hassas verileri de içeren kaynak verilerini ortaya çıkarabilme yeteneğine sahiptir.

Bu alanda artan ilgi, kökten gizlilik aktivizmine dayanmak zorunda değildir: Makine öğrenimi sektörü önümüzdeki on yıl içinde ticarileşirken ve ülkeler, veri seti oluşturma için ekran kazıma kültürünü sonlandırma baskısı altına girerken, yüksek kazancı olan sınıflandırma, çıkarım ve üretken AI çerçevelerine katkıda bulunan verilerin çözülmesi ve incelenmesi için ticari bir teşvik olacaktır.

Makine Öğrenimi Modellerinde Amnezi İndirgeme

Bu nedenle, şekerin kahveden çıkarılma problemiyle karşı karşıyayız. Bu, son yıllarda araştırmacıları zorlayan bir sorun: 2021’de EU destekli Yüz Tanıma Kütüphanelerinin Gizlilik Risklerine İlişkin Karşılaştırmalı Bir Çalışma adlı makale, beberapa popüler yüz tanıma algoritmasının, yeniden tanımlama saldırılarında cinsiyet veya ırk temelli ayrımcılığa olanak tanıdığını buldu; 2015’te Columbia Üniversitesi’nden yapılan bir araştırmada, önerilen bir “makine öğrenimi unutmak” yöntemi, veri içindeki bir dizi toplamayı güncellemeye dayanıyordu ve 2019’da Stanford araştırmacıları, K-means kümeleme uygulamaları için yeni silme algoritmaları sunmuşlardır.

Şimdi, Çin ve ABD’den bir araştırma konsorsiyumu, veri silme yaklaşımlarının başarısını değerlendirmek için uniform bir ölçüt ve Forsaken adlı yeni bir “unutma” yöntemi sunan yeni bir çalışma yayınladı. Araştırmacılar, Forsaken’in %90’dan fazla unutma oranına ulaşabileceğini ve modelin genel performansında sadece %5’lik bir doğruluk kaybına neden olabileceğini iddia ediyorlar.

Makale, Unutmaya Öğrenmek: Nöron Maskleme ile Makine Öğrenimi Unutma başlığını taşıyor ve Çin ve Berkeley’den araştırmacıları içeriyor.

Nöron maskleme, Forsaken’in arkasındaki ilke, belirli verilerin modelden çıkarılması için bir filtre olarak kullanılan bir mask gradient jeneratörünü kullanıyor ve bu, modeli yeniden eğitmek yerine, verilerin dahil edilmesinden önce oluşan bir anıya dayalı olarak güncelliyor.

Mask gradient jeneratörünün mimarisi. Kaynak: https://arxiv.org/pdf/2003.10933.pdf

Biolojik Kökenler

Araştırmacılar, bu yaklaşımın, bir özel hafıza için tüm engram hücrelerini silmek için özel bir dopamin türü manipülasyonu yoluyla “etkin unutmaya” dayanan biyolojik bir süreçten esinlendiğini belirtiyorlar.

Forsaken, bu eylemi taklit eden sürekli bir mask gradient üretir ve hedef dışı verilerin felaket niteliğinde unutmasını önlemek için bu sürecin yavaşlatılması veya durdurulması için önlemler içerir.

Sistemın avantajları, birçok mevcut sinir ağına uygulanabilir olması ve recent benzer çalışmaların çoğunlukla bilgisayar görüşü ağlarında başarılı olmasına rağmen, model eğitim prosedürleriyle etkileşime girmemesi ve core mimarinin değiştirilmesini veya verilerin yeniden eğitilmesini gerektirmemesidir.

Etkiyi Kısıtlama

Katkıda bulunan verilerin silinmesi, bir makine öğrenimi algoritmasının işlevselliği üzerinde potansiyel olarak zararlı bir etkiye sahip olabilir. Bunu önlemek için araştırmacılar, normal sinir ağı eğitiminde overtraining’i önlemek için yaygın olarak kullanılan norm regularization özelliğini kullanmışlardır. Seçilen özel uygulama, Forsaken’in eğitimde converjence’de başarısız olmasına engel olmak için tasarlanmıştır.

Kullanılabilir bir veri dağılımını oluşturmak için araştırmacılar, gerçek veri setinde yer almayan (gerçek veri setindeki “hassas” verilere benzeyen) out-of-distribution (OOD) verilerini, algoritmanın davranışı için kalibrasyon olarak kullandılar.

Veri Setleri Üzerinde Test

Yöntem, sekiz standart veri seti üzerinde test edildi ve genel olarak, tam yeniden eğitimden daha yüksek veya benzer unutma oranlarına ulaşıldı ve model doğruluğunda çok az bir etkiye sahip oldu.

Tam yeniden eğitimin, silinen verilerin tamamen отсутств olduğu için, diğer herhangi bir yöntemden daha kötü performans göstermesi imkansız görünüyor. Ancak, model bu aşamada silinen verilerin çeşitli özelliklerini “holografik” bir şekilde soyutlamış ve (benzetme yoluyla) bir damla mürekkep bir bardak suyun faydasını yeniden tanımlar.

Aslında, modelin ağırlıkları, çıkarılan veriler tarafından zaten etkilenmiştir ve bu etkiye tamamen son vermek için modelin sıfırdan yeniden eğitilmesi gerekir, bu da, silinen verilerin dahil edildiği öncesine ait bir anıya dayalı olarak ağırlıklı modeli yeniden eğitmekten daha hızlı bir yaklaşım olan, düzenlenmiş bir veri setine dayalı olarak ağırlıklı modeli yeniden eğitmekten farklıdır.