Ein Machine-Learning-Modell Vergessen Machen

Das Entfernen eines bestimmten Datenpunkts, der zu einem Machine-Learning-Modell beigetragen hat, ist wie das Entfernen des zweiten Löffels Zucker aus einer Tasse Kaffee. Die Daten sind zu diesem Zeitpunkt bereits eng mit vielen anderen Neuronen im Modell verknüpft. Wenn ein Datenpunkt “definierende” Daten darstellt, die an dem frühen, hochdimensionalen Teil der Ausbildung beteiligt waren, kann das Entfernen sie radikal umdefinieren, wie das Modell funktioniert, oder sogar erfordern, dass es auf erhebliche Zeit und Kosten hin neu trainiert wird.

Trotzdem erfordert Artikel 17 der Datenschutz-Grundverordnung (DSGVO) in Europa, dass Unternehmen solche Benutzerdaten auf Anfrage entfernen. Da die Verordnung auf der Annahme erstellt wurde, dass diese Löschung nicht mehr als eine Datenbank-“Drop”-Abfrage sein würde, wird die aus dem Entwurf der künftigen EU-KI-Verordnung hervorgehende Gesetzgebung im Wesentlichen den Geist der DSGVO in Gesetze kopieren, die auf trainierte KI-Systeme und nicht auf tabellarische Daten anwendbar sind.

Weitere Gesetze werden weltweit in Betracht gezogen, die Einzelpersonen das Recht geben, die Löschung ihrer Daten aus Machine-Learning-Systemen zu verlangen, während das kalifornische Verbraucherschutzgesetz (CCPA) von 2018 den Bewohnern des Bundesstaates bereits dieses Recht gewährt.

Warum Es Wichtig Ist

Wenn ein Datensatz in ein handlungsfähiges Machine-Learning-Modell trainiert wird, werden die Merkmale dieser Daten verallgemeinert und abstrakt, da das Modell darauf ausgelegt ist, Prinzipien und breite Trends aus den Daten abzuleiten und letztendlich ein Algorithmus zu erstellen, der nützlich ist, um spezifische und nicht verallgemeinerte Daten zu analysieren.

Techniken wie Modellinversion haben jedoch die Möglichkeit aufgedeckt, die zugrunde liegenden Daten zu identifizieren, die dem endgültigen, abstrakten Algorithmus zugrunde liegen, während Mitgliedschaftsinferenzangriffe auch in der Lage sind, Quelldaten, einschließlich sensibler Daten, die nur unter der Bedingung der Anonymität in einen Datensatz aufgenommen werden durften, offenzulegen.

Das wachsende Interesse an dieser Verfolgung muss nicht auf basisdemokratische Datenschutzaktivisten zurückgeführt werden: Da der Machine-Learning-Sektor in den nächsten zehn Jahren kommerzialisiert wird und Nationen unter Druck geraten, die derzeitige Laissez-faire-Kultur bei der Verwendung von Screen-Scraping für die Datengenerierung zu beenden, wird es einen wachsenden kommerziellen Anreiz für IP-durchsetzende Organisationen (und IP-Trolle) geben, die Daten zu entschlüsseln und zu überprüfen, die zu proprietären und hochverdienenden Klassifizierungs-, Inferenz- und generativen KI-Rahmenwerk beigetragen haben.

Amnesie in Machine-Learning-Modellen Induzieren

Wir sind also mit der Herausforderung konfrontiert, den Zucker aus dem Kaffee zu entfernen. Es ist ein Problem, das Forscher in den letzten Jahren vexiert hat: Im Jahr 2021 fand die von der EU unterstützte Studie Ein Vergleichsstudie zu den Datenschutzrisiken von Gesichtserkennungsbibliotheken heraus, dass mehrere beliebte Gesichtserkennungsalgorithmen in der Lage waren, auf der Grundlage von Geschlecht oder Rasse basierende Diskriminierung bei der Wiederidentifizierung von Angriffen zu ermöglichen; im Jahr 2015 schlugen Forscher der Columbia University eine “Maschinenlern”-Methode vor, die auf der Aktualisierung einer Reihe von Summierungen in den Daten basierte; und im Jahr 2019 stellten Stanford-Forscher neue Löschalgorithmen für K-Means-Clustering-Implementierungen vor.

Jetzt hat ein Forschungskonsortium aus China und den USA neue Arbeiten veröffentlicht, die ein einheitliches Maß für die Bewertung des Erfolgs von Datenlöschansätzen einführen, zusammen mit einer neuen “Unlern”-Methode namens Forsaken, die die Forscher behaupten, in der Lage ist, eine Vergessensrate von über 90 % zu erreichen, mit nur 5 % Genauigkeitsverlust in der Gesamtleistung des Modells.

Die Studie heißt Lernen, zu vergessen: Maschinenlernen durch Neuronenmaskierung und umfasst Forscher aus China und Berkeley.

Neuronenmaskierung, das Prinzip hinter Forsaken, verwendet einen Masken-Gradienten-Generator als Filter für die Entfernung spezifischer Daten aus einem Modell, effektiv aktualisiert es, anstatt es zu zwingen, von vorne oder von einem Snapshot, das vor der Aufnahme der Daten erstellt wurde, neu trainiert zu werden (im Falle von streamingbasierten Modellen, die kontinuierlich aktualisiert werden).

Die Architektur des Masken-Gradienten-Generators. Quelle: https://arxiv.org/pdf/2003.10933.pdf

Biologische Ursprünge

Die Forscher erklären, dass dieser Ansatz durch den biologischen Prozess der “aktiven Vergessenheit” inspiriert wurde, bei dem der Benutzer energische Maßnahmen ergreift, um alle Engrammzellen für eine bestimmte Erinnerung durch Manipulation eines speziellen Dopamins zu löschen.

Forsaken ruft kontinuierlich einen Masken-Gradienten auf, der diese Aktion repliziert, mit Sicherheitsvorkehrungen, um diesen Prozess zu verlangsamen oder zu stoppen, um zu vermeiden, dass nicht zielführende Daten katastrophal vergessen werden.

Die Vorteile des Systems sind, dass es auf viele Arten von bestehenden neuronalen Netzen anwendbar ist, während ähnliche Arbeiten in den letzten Jahren hauptsächlich in Computer-Vision-Netzwerken erfolgreich waren; und dass es nicht in die Modelltrainingsverfahren eingreift, sondern als Ergänzung wirkt, ohne dass die Kernarchitektur geändert oder die Daten neu trainiert werden müssen.

Die Wirkung Einschränken

Die Löschung von beigetragenen Daten kann eine potenziell schädliche Wirkung auf die Funktionalität eines Machine-Learning-Algorithmus haben. Um dies zu vermeiden, haben die Forscher Norm-Regularisierung ausgenutzt, eine Funktion der normalen neuronalen Netzwerktrainings, die häufig verwendet wird, um Überanpassung zu vermeiden. Die spezifische Implementierung wurde so konzipiert, dass Forsaken nicht versagt, wenn es um die Konvergenz im Training geht.

Um eine nutzbare Verteilung von Daten zu etablieren, verwendeten die Forscher Out-of-Distribution-(OOD)-Daten (d. h. Daten, die nicht im tatsächlichen Datensatz enthalten sind, die “sensible” Daten im tatsächlichen Datensatz imitieren) zur Kalibrierung der Art und Weise, wie der Algorithmus sich verhalten sollte.

Testen Auf Datensätzen

Die Methode wurde auf acht Standard-Datensätzen getestet und erreichte im Allgemeinen Vergessensraten, die denen des vollständigen Neutrainings nahe kamen oder diese übertrafen, mit sehr geringer Auswirkung auf die Modellgenauigkeit.

Es scheint unmöglich, dass ein vollständiges Neutrainieren auf einem bearbeiteten Datensatz tatsächlich schlechter sein könnte als jede andere Methode, da die Ziel-Daten vollständig abwesend sind. Allerdings hat das Modell zu diesem Zeitpunkt bereits verschiedene Merkmale der gelöschten Daten in einer “holografischen” Weise abstrahiert, ähnlich wie (in Analogie) ein Tropfen Tinte die Nützlichkeit eines Glases Wasser umdefiniert.

In der Tat haben die Gewichte des Modells bereits unter dem Einfluss der entfernten Daten gestanden, und der einzige Weg, um ihren Einfluss vollständig zu entfernen, ist, das Modell von absolut Null neu zu trainieren, anstatt den viel schnelleren Ansatz zu verwenden, das gewichtete Modell auf einem bearbeiteten Datensatz neu zu trainieren.