Het beperken van computer vision-datasets tegen ongeoorloofd gebruik

Onderzoekers uit China hebben een methode ontwikkeld om beeld datasets voor computer vision-training te beschermen met auteursrechten, door de beelden in de dataset effectief ‘watermerken’ en vervolgens de ‘schone’ beelden via een cloud-gebaseerd platform te ontsleutelen voor alleen geautoriseerde gebruikers.

Tests op het systeem laten zien dat het trainen van een machine learning-model op de auteursrechtelijk beschermde beelden een catastrofale daling van de modelnauwkeurigheid veroorzaakt. Het testen van het systeem op twee populaire open source-beeld datasets toonde aan dat het mogelijk was om de nauwkeurigheid te verlagen van 86,21% en 74,00% voor de schone datasets tot 38,23% en 16,20% wanneer men probeerde om modellen te trainen op de niet-ontsleutelde gegevens.

Uit het artikel – voorbeelden, van links naar rechts, van schone, beschermde (d.w.z. verstoord) en herstelde beelden. Bron: https://arxiv.org/pdf/2109.07921.pdf

Dit maakt het mogelijk om hoge kwaliteit, dure datasets breed te verspreiden en (vermoedelijk) zelfs semi-gehandicapte ‘demo’-training van de datasets om de benaderde functionaliteit te demonstreren.

Cloud-gebaseerde dataset-authenticatie

Het artikel komt van onderzoekers uit twee afdelingen van de Nanjing University of Aeronautics and Astronautics en voorziet in het routinegebruik van een Dataset Management Cloud Platform (DMCP), een remote authenticatiekader dat dezelfde soort telemetrie-gebaseerde pre-lanceringvalidatie zou bieden als gebruikelijk is in lokale installaties zoals Adobe Creative Suite.

De stroom en het kader voor de voorgestelde methode.

De beschermde afbeelding wordt gegenereerd door functie-ruimte-verstoringsmethoden, een adversariale aanvalsmethode die in 2019 op de Duke University in North Carolina is ontwikkeld.

Functie-ruimte-verstoringsmethoden voeren een ‘Activation Attack’ uit waarbij de kenmerken van een afbeelding naar de functie-ruimte van een adversariale afbeelding worden geduwd. In dit geval dwingt de aanval een machine learning-herkenningsysteem om een hond als een vliegtuig te classificeren. Bron: https://openaccess.thecvf.com

Vervolgens wordt de ongewijzigde afbeelding in de vervormde afbeelding ingebed via blokparen en bloktransformatie, zoals voorgesteld in het artikel Reversible Data Hiding in Encrypted Images by Reversible Image Transformation uit 2016.

De sequentie met de blokpareninformatie wordt vervolgens in een tijdelijke tussenafbeelding ingebed met behulp van AES-encryptie, waarvan de sleutel later bij authenticatie uit het DMCP wordt opgehaald. De Least Significant Bit steganografische algoritme wordt vervolgens gebruikt om de sleutel in te bedden. De auteurs noemen dit proces Modified Reversible Image Transformation (mRIT).

De mRIT-routine wordt in wezen omgekeerd bij ontsleuteling, waarbij de ‘schone’ afbeelding wordt hersteld voor gebruik in trainingsessies.

Testen

De onderzoekers testten het systeem op de ResNet-18-architectuur met twee datasets: het werk CIFAR-10 uit 2009, dat 6000 afbeeldingen over 10 klassen bevat; en Stanford’s TinyImageNet, een subset van de gegevens voor de ImageNet-classificatie-uitdaging die een trainingsdataset van 100.000 afbeeldingen bevat, samen met een validatiedataset van 10.000 afbeeldingen en een testset van 10.000 afbeeldingen.

Het ResNet-model werd getraind vanaf nul op drie configuraties: de schone, beschermde en ontsleutelde dataset. Beide datasets gebruikten de Adam-optimizer met een initiële leerratio van 0,01, een batchgrootte van 128 en een trainingsepoch van 80.

Trainings- en testnauwkeurigheidsresultaten van tests op het encryptiesysteem. Kleine verliezen zijn waarneembaar in de trainingsstatistieken voor de omgekeerde (d.w.z. ontsleutelde) afbeeldingen.

Hoewel het artikel concludeert dat ‘de prestaties van het model op de herstelde dataset niet worden beïnvloed’, laten de resultaten kleine verliezen zien voor de nauwkeurigheid op herstelde gegevens in vergelijking met de oorspronkelijke gegevens, van 86,21% tot 85,86% voor CIFAR-10 en van 74,00% tot 73,20% voor TinyImageNet.

Echter, gegeven de manier waarop zelfs kleine zaadveranderingen (evenals GPU-hardware) de trainingsprestaties kunnen beïnvloeden, lijkt dit een minimale en effectieve afweging te zijn voor IP-bescherming tegen nauwkeurigheid.

Modelbeschermingslandschap

Eerder onderzoek heeft zich voornamelijk gericht op het beschermen van de intellectuele eigendom van machine learning-modellen, met de veronderstelling dat trainingsgegevens zelf moeilijker te beschermen zijn: een onderzoeksinspanning uit 2018 van Japan bood een methode om watermerken in diepe neurale netwerken in te bedden; eerder onderzoek uit 2017 bood een soortgelijke benadering.

Een initiatief uit 2018 van IBM heeft misschien wel het diepste en meest toegewijde onderzoek gedaan naar het potentieel van watermerken voor neurale netwerkmodellen. Deze benadering verschilt van het nieuwe onderzoek, omdat het probeerde om niet-omkeerbare watermerken in trainingsgegevens in te bedden en vervolgens filters binnen het neurale netwerk te gebruiken om de verstoringen in de gegevens ‘te discounteren’.

IBM’s schema voor een neurale netwerk om ‘watermerken te negeren’ hing af van het beschermen van de delen van de architectuur die waren ontworpen om de watermerksecties van de gegevens te herkennen en te verwijderen. Bron: https://gzs715.github.io/pubs/WATERMARK_ASIACCS18.pdf

Piraterijvector

Hoewel de achtervolging van IP-beschermingsframeworks voor dataset-encryptie kan lijken als een randgeval in de context van een machine learning-cultuur die nog steeds afhankelijk is van open source-review en het delen van informatie onder de wereldwijde onderzoekscommunity, lijkt de voortdurende interesse in privacy-beschermingsalgoritmen voor identiteitsbescherming waarschijnlijk om systemen te produceren die interessant kunnen zijn voor bedrijven die specifieke gegevens willen beschermen in plaats van persoonlijke gegevens.

Het nieuwe onderzoek voegt geen willekeurige verstoringen toe aan de beeldgegevens, maar vervaardigde, geforceerde verschuivingen in de functie-ruimte. Daarom kunnen de huidige reeks van watermerkverwijderings- en beeldverbeteringscomputer vision-projecten mogelijk de beelden ‘herstellen’ tot een door de mens waargenomen hogere kwaliteit zonder daadwerkelijk de functie-verstoringen te verwijderen die misclassificatie veroorzaken.

In veel toepassingen van computer vision, met name die waarbij labeling en entiteitherkennning zijn betrokken, zouden dergelijke ongeoorloofd herstelde beelden waarschijnlijk nog steeds misclassificatie veroorzaken. Echter, in gevallen waarin beeldtransformaties het hoofddoel zijn (zoals gezichtsgeneratie of deepfake-toepassingen), zouden algoritme-herstelde beelden waarschijnlijk nog steeds nuttig kunnen zijn in de ontwikkeling van functionele algoritmen.