DRM til computer vision-datasæt

Historien viser, at den ‘åbne’ æra for computer vision-forskning, hvor reproducerbarhed og positiv peer review er centrale for udviklingen af en ny initiativ, må give plads til en ny æra af IP-beskyttelse – hvor lukkede mekanismer og platforme forhindrer konkurrenter i at underminere høje datasætsudviklingsomkostninger eller bruge et dyrt projekt som en ren springbrætte til at udvikle deres egen (muligvis bedre) version.

For tiden er den voksende trend mod protectionisme hovedsagelig understøttet af at afgrænse proprietære centrale rammer bag API-adgang, hvor brugerne sender sparsomme tokens eller anmodninger ind, og hvor transformationelle processer, der gør rammens svar værdifulde, er fuldstændig skjult.

I andre tilfælde kan den endelige model selv være udgivet, men uden den centrale information, der gør den værdifuld, såsom de forudtrænede vægte, der kan have kostet flere millioner at generere; eller mangler en proprietær datasæt eller præcis detaljer om, hvordan en undermængde blev produceret fra en række åbne datasæt. I tilfældet med OpenAIs transformative Natural Language-model GPT-3 er begge beskyttelsesforanstaltninger i øjeblikket i brug, hvilket efterlader modellerens imitatorer, såsom GPT Neo, til at samle en approximation af produktet så godt, de kan.

Kopibeskyttelse af billed datasæt

Der er dog voksende interesse for metoder, hvormed en ‘beskyttet’ maskinlæringsramme kunne genopnå en vis grad af portabilitet ved at sikre, at kun autoriserede brugere (f.eks. betalende brugere) kunne profitabelt bruge systemet i question. Dette indebærer normalt at kryptere datasættet på en programmatisk måde, så det læses ‘rent’ af AI-rammen under træningstiden, men er kompromitteret eller på en eller anden måde ubrugeligt i enhver anden kontekst.

Sådant et system er lige blevet foreslået af forskere fra University of Science and Technology of China at Anhui og Fudan University at Shanghai. Titlen Invertible Image Dataset Protection, artiklen tilbyder en pipeline, der automatisk tilføjer adversarial example perturbation til et billed datasæt, så det ikke kan bruges nyttigt til træning i tilfælde af piratvirksomhed, men hvor beskyttelsen er fuldstændig filtreret ud af et autoriseret system, der indeholder en hemmelig token.

Fra artiklen: et ‘værdifuldt’ kildebillede er gjort effektivt u-trænet med adversarial example-teknikker, med perturbationerne fjernet systematisk og fuldstændig automatisk for en ‘autoriseret’ bruger. Kilde: https://arxiv.org/pdf/2112.14420.pdf

Mekanismen, der muliggør beskyttelsen, kaldes reversible adversarial example generator (RAEG), og udgør i virkeligheden kryptering af den faktiske brugbarhed af billederne til klassificeringsformål, ved hjælp af reversible data hiding (RDH). Forfatterne påstår:

‘Metoden genererer først det adversarial billede ved hjælp af eksisterende AE-metoder, derefter indlejrer den adversarial perturbation i det adversarial billede og genererer stego-billedet ved hjælp af RDH. På grund af karakteristiken af omvendelighed kan den adversarial perturbation og det originale billede genoprettes.’

De originale billeder fra datasættet indføres i en U-formet invertible neural netværk (INN) for at producere adversarially påvirkede billeder, der er designet til at narre klassificeringssystemer. Dette betyder, at typisk feature-extraktion vil blive undermineret, hvilket gør det svært at klassificere træk såsom køn og andre ansigtsbaserede træk (selvom arkitekturen understøtter en række domæner, snarere end kun ansigtsbaseret materiale).

En inversionstest af RAEG, hvor forskellige former for angreb udføres på billederne før rekonstruktion.

Derfor, hvis man forsøger at bruge det ‘korrumperede’ eller ‘krypterede’ datasæt i en ramme designet til GAN-baseret ansigtsgenerering eller til ansigtsgenkendelse, vil den resulterende model være mindre effektiv end den ville have været, hvis den var blevet trænet på uperturbatede billeder.

Låsning af billederne

Men det er kun en sideeffekt af den generelle anvendelighed af populære perturbation metoder. I virkeligheden er dataene gået til at blive handicappet, undtagen i tilfælde af autoriseret adgang til målrammen, da den centrale ‘nøgle’ til den rene data er en hemmelig token inden for målarkitekturen.

Denne kryptering kommer med en pris; forskerne karakteriserer tabet af original billedkvalitet som ‘let forvrængning’, og påstår ‘[Den] foreslåede metode kan næsten perfekt genskabe det originale billede, mens tidligere metoder kun kan genskabe en uklar version.’

De tidligere metoder i question er fra november 2018 artiklen Unauthorized AI cannot Recognize Me: Reversible Adversarial Example, et samarbejde mellem to kinesiske universiteter og RIKEN Center for Advanced Intelligence Project (AIP); og Reversible Adversarial Attack based on Reversible Image Transformation, en 2019-artikel også fra den kinesiske akademiske forskningssektor.

Forskerne bag den nye artikel påstår at have gjort bemærkelsesværdige forbedringer i brugbarheden af genskabte billeder i forhold til disse tidligere tilgange, idet de observerer, at den første tilgang er for følsom over for mellemledende interference og for let at omgå, mens den anden forårsager excessiv nedgradering af de originale billeder ved (autoriseret) træningstid, hvilket underminerer systemets anvendelighed.

Arkitektur, data og tests

Det nye system består af en generator, et angrebslag, der anvender perturbation, forudtrænede mål klassificatorer og en diskriminator-element.

Arkitekturen af RAEG.

Nedenfor er resultaterne af en test-sammenligning med de to tidligere tilgange, ved hjælp af tre datasæt: CelebA-100; Caltech-101; og Mini-ImageNet.

De tre datasæt blev trænet som mål klassificeringsnetværk, med en batch-størrelse på 32, på en NVIDIA RTX 3090 over en uges tid, i 50 epocher.

Forfatterne påstår, at RAEG er det første arbejde, der tilbyder en invertible neural netværk, der kan aktivt generere adversarial eksempler.

Udgivet første gang 4. januar 2022.