DRM für Computer-Vision-Datensätze

Die Geschichte legt nahe, dass die “offene” Ära der Computer-Vision-Forschung, in der Reproduzierbarkeit und günstige Peer-Review zentral für die Entwicklung einer neuen Initiative sind, letztendlich einer neuen Ära des Schutzes geistigen Eigentums weichen muss – in der geschlossene Mechanismen und abgeschottete Plattformen verhindern, dass Wettbewerber die hohen Entwicklungskosten für Datensätze untergraben oder ein teures Projekt als bloßen Sprungbrett für die Entwicklung ihrer eigenen (vielleicht besseren) Version verwenden.

Aktuell wird der Trend zur Protektionismus vor allem durch die Abschottung von proprietären zentralen Frameworks hinter API-Zugriffen unterstützt, bei denen Benutzer sparse Token oder Anfragen senden und bei denen die transformatorischen Prozesse, die die Antworten des Frameworks wertvoll machen, vollständig verborgen sind.

In anderen Fällen kann das finale Modell selbst veröffentlicht werden, aber ohne die zentrale Information, die es wertvoll macht, wie die vorge trainierten Gewichte, die mehrere Millionen gekostet haben könnten, um sie zu generieren; oder ohne einen proprietären Datensatz oder genaue Details darüber, wie ein Teil davon aus einer Reihe von offenen Datensätzen produziert wurde. Im Fall von OpenAIs transformierendem Natural-Language-Modell GPT-3 werden derzeit beide Schutzmaßnahmen eingesetzt, was die Nachahmer des Modells, wie GPT Neo, dazu zwingt, eine Approximation des Produkts so gut wie möglich zusammenzustellen.

Datensätze für Computer-Vision schützen

Es wächst jedoch das Interesse an Methoden, mit denen ein “geschütztes” maschinelles Lern-System eine gewisse Portabilität zurückgewinnen kann, indem sichergestellt wird, dass nur autorisierte Benutzer (z. B. bezahlte Benutzer) das System profitabel nutzen können. Dies beinhaltet normalerweise die Verschlüsselung des Datensatzes auf eine programatische Weise, sodass er vom KI-System während der Trainingszeit “sauber” gelesen wird, aber in jedem anderen Kontext kompromittiert oder unbrauchbar ist.

Ein solches System wurde gerade von Forschern der Universität für Wissenschaft und Technologie von China in Anhui und der Fudan-Universität in Shanghai vorgeschlagen. Mit dem Titel Schutz von Bild-Datensätzen durch Umkehrbare Verfahren bietet die Veröffentlichung eine Pipeline, die automatisch adversarial example perturbation zu einem Bild-Datensatz hinzufügt, sodass er im Falle von Piraterie nicht nützlich für die Ausbildung genutzt werden kann, aber der Schutz vollständig durch ein autorisiertes System mit einem geheimen Token filtert wird.

Aus der Veröffentlichung: Ein ‘wertvoller’ Quell-Bild wird mit adversarial example-Techniken effektiv untrainierbar gemacht, wobei die Perturbationen systematisch und vollständig automatisch für einen ‘autorisierten’ Benutzer entfernt werden. Quelle: https://arxiv.org/pdf/2112.14420.pdf

Der Mechanismus, der den Schutz ermöglicht, wird als reversible adversarial example generator (RAEG) bezeichnet und entspricht im Wesentlichen einer Verschlüsselung der tatsächlichen Nutzbarkeit der Bilder für Klassifizierungszwecke unter Verwendung von reversible data hiding (RDH). Die Autoren erklären:

‘Die Methode generiert zunächst das adversarial image unter Verwendung bestehender AE-Methoden, dann wird die adversarial perturbation in das adversarial image eingebettet und das stego image unter Verwendung von RDH generiert. Aufgrund der Eigenschaft der Umkehrbarkeit können die adversarial perturbation und das ursprüngliche Bild wiederhergestellt werden.’

Die ursprünglichen Bilder aus dem Datensatz werden in ein U-förmiges umkehrbares neuronales Netzwerk (INN) eingegeben, um adversarially betroffene Bilder zu erzeugen, die darauf ausgelegt sind, Klassifizierungssysteme zu täuschen. Dies bedeutet, dass typische Feature-Extraktion untergraben wird, was es schwierig macht, Merkmale wie Geschlecht und andere gesichtsbasierte Merkmale (obwohl die Architektur eine Reihe von Domänen unterstützt, nicht nur gesichtsbasierte Materialien) zu klassifizieren.

Ein Inversions-Test von RAEG, bei dem verschiedene Arten von Angriffen auf die Bilder vor der Rekonstruktion durchgeführt werden. Angriffsmethoden umfassen Gaussian Blur und JPEG-Artefakte.

Somit wird, wenn versucht wird, den “veränderten” oder “verschlüsselten” Datensatz in einem Framework für GAN-basierte Gesichtsgenerierung oder für Gesichtserkennung zu verwenden, das resultierende Modell weniger effektiv sein als es wäre, wenn es auf unveränderten Bildern trainiert worden wäre.

Bilder sperren

Jedoch ist dies nur eine Nebenwirkung der allgemeinen Anwendbarkeit von Perturbationsmethoden. Tatsächlich wird in dem vorgesehenen Anwendungsfall die Daten außer in dem Fall autorisierter Zugriffe auf das Ziel-Framework unbrauchbar sein, da der zentrale “Schlüssel” zu den sauberen Daten ein geheimer Token innerhalb der Zielarchitektur ist.

Diese Verschlüsselung hat jedoch einen Preis; die Forscher charakterisieren den Verlust der ursprünglichen Bildqualität als “leichte Verzerrung” und erklären ‘[Die] vorgeschlagene Methode kann das ursprüngliche Bild fast perfekt wiederherstellen, während die vorherigen Methoden nur eine verschwommene Version wiederherstellen können.’

Die vorherigen Methoden sind aus dem November 2018 stammenden Paper Unauthorized AI kann mich nicht erkennen: Umkehrbare adversarial example, einer Zusammenarbeit zwischen zwei chinesischen Universitäten und dem RIKEN Center for Advanced Intelligence Project (AIP); und Umkehrbarer adversarial Angriff basierend auf umkehrbarer Bildtransformation, einem 2019 Paper aus dem chinesischen akademischen Forschungsbereich.

Die Forscher des neuen Papers behaupten, bemerkenswerte Verbesserungen in der Nutzbarkeit der wiederhergestellten Bilder im Vergleich zu diesen vorherigen Ansätzen erzielt zu haben, indem sie feststellen, dass der erste Ansatz zu empfindlich auf Zwischenstörungen reagiert und zu leicht zu umgehen ist, während der zweite eine übermäßige Verschlechterung der ursprünglichen Bilder zur (autorisierten) Trainingszeit verursacht, was die Anwendbarkeit des Systems untergräbt.

Architektur, Daten und Tests

Das neue System besteht aus einem Generator, einer Angriffsschicht, die Perturbation anwendet, vorge trainierten Ziel-Klassifizierern und einem Diskriminatorelement.

Die Architektur von RAEG. Links-Mitte sehen wir den geheimen Token ‘I_prt‘, der es ermöglicht, die Perturbation des Bildes zur Trainingszeit zu entfernen, indem die perturbierten Merkmale, die in die Quellbilder eingebettet sind, identifiziert und abgezogen werden.

Unten sind die Ergebnisse eines Test-Vergleichs mit den beiden vorherigen Ansätzen zu sehen, bei dem drei Datensätze verwendet wurden: CelebA-100; Caltech-101; und Mini-ImageNet.

Die drei Datensätze wurden als Ziel-Klassifizierungsnetzwerke trainiert, mit einer Batch-Größe von 32, auf einem NVIDIA RTX 3090 im Laufe einer Woche, für 50 Epochen.

Die Autoren behaupten, dass RAEG die erste Arbeit ist, die ein umkehrbares neuronales Netzwerk anbietet, das aktiv adversarial examples generieren kann.

Erstveröffentlichung: 4. Januar 2022.