DRM for datamengder i datamaskinsyn

Historien tyder på at den ‘åpne’ tiden for datamaskinsynsforskning, der reproduserbarhet og gunstig fagfellevurdering er sentrale for utviklingen av en ny initiativ, til slutt må vike for en ny æra av IP-beskyttelse – der lukkede mekanismer og avgrensede plattformer forhindrer konkurrenter fra å undergrave høye utviklingskostnader for datamengder, eller fra å bruke et kostbart prosjekt som et enkelt skrittstein for å utvikle sin egen (kanskje bedre) versjon.

For tiden er den voksende trenden mot beskyttelse hovedsakelig støttet av å gjøre proprietære sentrale rammer tilgjengelige bak API-tilgang, der brukerne sender sparsomme token eller forespørsler inn, og der transformasjonsprosessene som gjør rammenes svar verdifulle er helt skjult.

I andre tilfeller kan den endelige modellen selv bli utgitt, men uten den sentrale informasjonen som gjør den verdifull, som for eksempel de forhåndstrengede vekter som kan ha kostet flere millioner å generere; eller mangler en proprietær datamengde, eller nøyaktige detaljer om hvordan en undermengde ble produsert fra en rekke åpne datamengder. I tilfelle OpenAIs transformative naturligspråklig modell GPT-3, brukes begge beskyttelsesmetoder for tiden, og lar modellens imitatorer, som GPT Neo, samle sammen en approksimasjon av produktet så godt de kan.

Kopibeskyttelse av bilde datamengder

Imidlertid vokser interessen for metoder som kan gjøre en ‘beskyttet’ maskinlæringsramme mer portabel, ved å sikre at bare autoriserte brukere (for eksempel betalende brukere) kan profitabelt bruke systemet i question. Dette innebærer vanligvis å kryptere datamengden på en programmatisk måte, så den leses ‘ren’ av AI-rammen under treningstiden, men er kompromittert eller ubrukelig i andre sammenhenger.

Slik et system er nettopp blitt foreslått av forskere ved University of Science and Technology of China i Anhui, og Fudan University i Shanghai. Tittelen Invertible Image Dataset Protection, artikkelen tilbyr en pipeline som automatisk legger til adversarial eksempel-perturbasjon til en bilde datamengde, så den ikke kan brukes nyttig for trening i tilfelle av piratvirksomhet, men hvor beskyttelsen helt filtreres ut av et autorisert system som inneholder en hemmelig token.

Fra artikkelen: et ‘verdifullt’ kildebilde gjøres effektivt ubrukelig med adversarial eksempel-teknikker, med perturbasjonene fjernet systematisk og helt automatisk for en ‘autorisert’ bruker. Kilde: https://arxiv.org/pdf/2112.14420.pdf

Mekanismen som muliggjør beskyttelsen kalles reversibel adversarial eksempel-generering (RAEG), og tilsvarer i realiteten kryptering av den faktiske brukbarheten av bildene for klassifiseringsformål, ved hjelp av reversible data hiding (RDH). Forfatterne påstår:

‘Metoden genererer først det adversarial bildet ved hjelp av eksisterende AE-metoder, deretter innlemmer den adversarial perturbasjonen i det adversarial bildet, og genererer stego-bildet ved hjelp av RDH. På grunn av reversibilitets-egenskapen kan den adversarial perturbasjonen og det originale bildet gjenopprettes.’

De originale bildene fra datamengden føres inn i en U-formet inversibel neuralt nettverk (INN) for å produsere adversarially påvirkede bilder som er laget for å bedra klassifiserings-systemer. Dette betyr at vanlig funksjonsutvinning vil bli undergravd, og gjør det vanskelig å klassifisere trekk som kjønn, og andre ansiktsbaserte trekk (selv om arkitekturen støtter en rekke domener, i stedet for bare ansiktsbasert materiale).

<img class="wp-image-179659 size-full" src="https://www.unite.ai/wp-content/uploads/2022/01/select-results.jpg" alt="En inversjonstest av RAEG, der forskjellige typer angrep utføres på bildene før rekonstruksjon. Angrepsmetoder inkluderer Gaussian Blur og JPEG-arter.” width=”687″ height=”628″ /> En inversjonstest av RAEG, der forskjellige typer angrep utføres på bildene før rekonstruksjon.

Derfor, hvis man prøver å bruke den ‘ødelagte’ eller ‘krypterte’ datamengden i en ramme designet for GAN-basert ansikts-generering, eller for ansikts-gjenkjenning, vil den resulterende modellen være mindre effektiv enn den ville ha vært hvis den hadde blitt trent på uperturberte bilder.

Låsing av bildene

Imidlertid er dette bare en sideeffekt av den generelle anvendeligheten av populære perturbasjonsmetoder. I virkeligheten, i den tenkte brukssammenhengen, vil dataene bli ødelagte unntatt i tilfelle autorisert tilgang til mål-rammen, siden den sentrale ‘nøkkelen’ til de rene dataene er en hemmelig token innenfor mål-arkitekturen.

Denne krypteringen kommer med en pris; forskerne karakteriserer tapet av original bilde-kvalitet som ‘lett forvrengning’, og påstår ‘[Den] foreslåtte metoden kan nesten fullstendig gjenopprette det originale bildet, mens de tidligere metodene bare kan gjenopprette en uskarpt versjon.’

De tidligere metodene i question er fra november 2018 artikkelen Unauthorized AI cannot Recognize Me: Reversible Adversarial Example, et samarbeid mellom to kinesiske universiteter og RIKEN Center for Advanced Intelligence Project (AIP); og Reversible Adversarial Attack based on Reversible Image Transformation, en 2019-artikkel også fra den kinesiske akademiske forskningssektoren.

Forskerne bak den nye artikkelen påstår å ha gjort merkbar forbedring i brukbarheten av gjenopprettede bilder, i sammenligning med disse tidligere tilnærmingene, og observerer at den første tilnærmingen er for følsom for mellomliggende interferens, og for lett å omgå, mens den andre forårsaker eksessiv degradering av de originale bildene ved (autorisert) treningstid, og undergraver anvendeligheten av systemet.

Arkitektur, data og tester

Det nye systemet består av en generator, et angrepslag som anvender perturbasjon, forhåndstrengede mål-klassifisatorer, og en diskriminerende element.

Arkitekturen til RAEG. Venstre-midt, ser vi den hemmelige token ‘I_prt‘, som vil tillate de-perturbasjon av bildet ved treningstid.

Nedenfor er resultater fra en test-sammenligning med de to tidligere tilnærmingene, ved hjelp av tre datamengder: CelebA-100; Caltech-101; og Mini-ImageNet.

De tre datamengdene ble trent som mål-klassifiseringsnettverk, med en batch-størrelse på 32, på en NVIDIA RTX 3090 over en uke, for 50 epoker.

Forfatterne påstår at RAEG er det første arbeidet som tilbyr et inversibelt neuralt nettverk som kan aktivt generere adversarial eksempler.

Først publisert 4. januar 2022.