Hvorfor Adversarial Billedeangreb Er Ingen Spøg

At angribe billedgenkendelsessystemer med omhyggeligt designede adversarial billeder har været betragtet som en underholdende, men trivial bevis for begrebet i de sidste fem år. however, ny forskning fra Australien antyder, at den nonchalante brug af meget populære billedsæt til kommercielle AI-projekter kunne skabe et varigt nyt sikkerhedsproblem.

I et par år nu, har en gruppe akademikere ved University of Adelaide forsøgt at forklare noget meget vigtigt om fremtiden for AI-baserede billedgenkendelsessystemer.

Det er noget, der ville være svært (og meget dyrt) at løse lige nu, og som ville være uforsvarligt dyrt at løse, når de nuværende tendenser i billedgenkendelsesforskning er fuldt udviklet til kommercielle og industrialiserede installationer om 5-10 års tid.

Før vi kommer til det, lad os se på en blomst, der klassificeres som præsident Barack Obama, fra en af de seks videoer, som holdet har offentliggjort på projektets side:

Kilde: https://www.youtube.com/watch?v=Klepca1Ny3c

I billedet ovenfor, er et ansigtsgenkendelsessystem, der tydeligt ved, hvordan man genkender Barack Obama, blevet narret til at være 80% sikker på, at en anonym mand, der holder et designet, trykt adversarial billede af en blomst, også er Barack Obama. Systemet bekymrer sig ikke engang om, at “falsk ansigt” er på subjektets bryst, i stedet for på hans skuldre.

Selvom det er imponerende, at forskerne har kunnet opnå denne type identitetsfangst ved at generere et kohærent billede (en blomst) i stedet for bare det sædvanlige tilfældige støj, synes det, at latterlige udnyttelser som denne dukker op ret hyppigt i sikkerhedsforskning på computer vision. For eksempel, de underligt mønstrede briller, der kunne narre ansigtsgenkendelse tilbage i 2016, eller særligt designede adversarial billeder, der forsøger at omskrive vejsskilter.

Hvis du er interesseret, er det Convolutional Neural Network (CNN)-model, der angribes i ovenstående eksempel, VGGFace (VGG-16), trænet på Columbia Universitys PubFig-datasæt. Andre angrebsprøver, der er udviklet af forskerne, brugte forskellige ressourcer i forskellige kombinationer.

Et tastatur bliver klassificeret som en conch, i et WideResNet50-model på ImageNet. Forskerne har også sikret, at modellen ikke har nogen bias mod conches. Se den fulde video for udvidede og yderligere demonstreringer på https://www.youtube.com/watch?v=dhTTjjrxIcU

Billedgenkendelse som en Fremkomende Angrebsvektor

De mange imponerende angreb, som forskerne fremhæver og illustrerer, er ikke kritik af enkelte datasæt eller bestemte maskinlæringsarkitekturer, der bruger dem. Heller ikke kan de let forsvares imod ved at skifte datasæt eller modeller, gen-træne modeller eller andre “simple” foranstaltninger, som får ML-praktikere til at latterliggøre sporadiske demonstrationer af denne type trickery.

Snarere exemplificerer Adelaide-holdets udnyttelser en central svaghed i hele den nuværende arkitektur for AI-udvikling af billedgenkendelse; en svaghed, der kunne eksponere mange fremtidige billedgenkendelsessystemer for let manipulation af angribere og sætte enhver efterfølgende forsvarsmåsånd på bagsædet.

Forestil dig de seneste adversarial angrebsbilleder (såsom blomsten ovenfor) bliver tilføjet som “zero-day exploits” til sikkerhedssystemer i fremtiden, ligesom nuværende anti-malware og antivirus-rammer opdaterer deres virusdefinitioner hver dag.

Potentialen for nye adversarial billedangreb ville være uudtømmelig, fordi grundarkitekturen i systemet ikke forudså downstream-problemer, som det skete med internettet, Millennium Bug og det skæve tårn i Pisa.

Hvordan så, er vi med til at skabe denne situation?

At Få Data til et Angreb

Adversarial billeder såsom “blomst”-eksemplet ovenfor genereres ved at have adgang til billedsættene, der trænede computermodellerne. Du behøver ikke “privilegeret” adgang til træningsdata (eller modelarkitekturer), da de mest populære datasæt (og mange trænede modeller) er vidt tilgængelige i en robust og konstant opdatering torrent-scene.

For eksempel er det venerable Goliath of Computer Vision datasæt, ImageNet, tilgængelig til Torrent i alle dets mange iterationer, og omgår dets sædvanlige begrænsninger, og gør vigtige sekundære elementer, såsom validerings-sæt, tilgængelige.

Kilde: https://academictorrents.com

Hvis du har data, kan du (som Adelaide-forskerne observerer) effektivt “reverse-engineere” ethvert populært datasæt, såsom CityScapes eller CIFAR.

I tilfældet PubFig, datasættet, der gjorde “Obama-blomsten” mulig i det tidligere eksempel, har Columbia University adresseret en voksende trend i ophavsretsproblemer omkring billedsæt-redistribution ved at instruere forskere i, hvordan man reproducerer datasættet via kuraterede links, i stedet for at gøre kompilationen direkte tilgængelig, og observerer ‘Dette synes at være den måde, andre store web-baserede databaser synes at udvikle sig’.

I de fleste tilfælde er det ikke nødvendigt: Kaggle estimerer, at de ti mest populære billedsæt i computer vision er: CIFAR-10 og CIFAR-100 (begge direkte downloadbare); CALTECH-101 og 256 (begge tilgængelige og tilgængelige som torrents); MNIST (officielt tilgængelig, også på torrents); ImageNet (se ovenfor); Pascal VOC (tilgængelig, også på torrents); MS COCO (tilgængelig, og på torrents); Sports-1M (tilgængelig); og YouTube-8M (tilgængelig).

Dette tilgængelighed er også repræsentativ for den bredere række af tilgængelige computer vision billedsæt, da obskuritet er død i en “publicer eller dør” open source-udviklingskultur.

I hvilken måde, så, er vi med til at skabe denne situation?

Typiske Kritikker af Adversarial Billedeangrebsmetoder

Den hyppigste og mest vedholdende kritik af maskinlæringsingeniører mod effektiviteten af den seneste adversarial billedangrebsteknik er, at angrebet er specifikt for et bestemt datasæt, en bestemt model eller begge; at det ikke er “generaliserbart” til andre systemer; og, følgelig, repræsenterer kun en trivial trussel.

Den andenhyppigste klage er, at det adversarial billedangreb er ‘white box’, hvilket betyder, at man ville have brug for direkte adgang til træningsmiljøet eller data. Dette er faktisk en usandsynlig situation i de fleste tilfælde – for eksempel, hvis man ville udnytte træningsprocessen for ansigtsgenkendelsessystemerne i Londons Metropolitan Police, ville man skulle hacke sig ind i NEC, enten med en console eller en økse.

Den Langevarende ‘DNA’ af Populære Computer Vision Datasæt

Med hensyn til den første kritik, bør vi overveje ikke kun, at en håndfuld computer vision datasæt dominerer branchen år for år (dvs. ImageNet for multiple typer af objekter, CityScapes for kørsels-scener og FFHQ for ansigtsgenkendelse); men også, at de som enkle annoterede billeddata er “platform-agnostiske” og højst overførbar.

Afhængigt af dets kapaciteter, vil enhver computer vision træningsarkitektur finde nogle funktioner af objekter og klasser i ImageNet-datasættet. Nogle arkitekturer kan finde flere funktioner end andre eller gøre mere nyttige forbindelser end andre, men alle skal finde mindst de højeste niveau-funktioner:

ImageNet-data med det minimum viable antal korrekte identifikationer – ‘høj niveau’-funktioner.

Det er disse “høj niveau”-funktioner, der adskiller og “fingeraftrykker” et datasæt, og som er de pålidelige “kroge”, hvorpå man kan hænge en langvarig adversarial billedangrebsmetode, der kan overskride forskellige systemer og vokse i takt med det “gamle” datasæt, da det bliver videreført i nye forsknings- og produkter.

En mere avanceret arkitektur vil producere mere præcise og detaljerede identifikationer, funktioner og klasser:

Men jo mere en adversarial angrebsgenerator afhænger af disse lavere funktioner (dvs. “Unge caucasisk mand” i stedet for “Ansigt”), desto mindre effektiv vil det være i overgang eller senere arkitekturer, der bruger andre versioner af det originale datasæt – såsom en undermængde eller filteret sæt, hvor mange af de originale billeder fra det fulde datasæt ikke er til stede:

Adversarial Angreb på ‘Zeroed’, Forudtrænede Modeller

Hvad med tilfælde, hvor man blot downloader en forudtrænet model, der oprindeligt blev trænet på et meget populært datasæt, og giver den helt nye data?

Modellen er allerede blevet trænet på (for eksempel) ImageNet, og alt, der er tilbage, er vægtene, der måske har taget uger eller måneder at træne, og er nu klar til at hjælpe med at identificere lignende objekter som dem, der fandtes i det originale (nu fraværende) datasæt.

Med det originale datasæt fjernet fra træningsarkitekturen, er det, der er tilbage, ‘predispositionen’ af modellen til at klassificere objekter på den måde, den oprindeligt lærte at gøre, hvilket vil føre til, at mange af de originale ‘signaturer’ genopstår og bliver sårbare igen for de samme gamle Adversarial Billedeangrebsmetoder.

Disse vægte er værdifulde. Uden data eller vægtene har man essentiel en tom arkitektur med ingen data. Man skal træne den fra scratch, til stor omkostning af tid og beregningsressourcer, ligesom de oprindelige forfattere gjorde (sandsynligvis på mere kraftfulde hardware og med en højere budget end man har til rådighed).

Problemet er, at vægtene allerede er ret veldefinerede og robuste. Selvom de vil tilpasse sig noget under træning, vil de opføre sig lignende på din nye data som de gjorde på det originale datasæt, og producere signaturfunktioner, som et adversarial angrebsystem kan genkende og udnytte.

I lang tid vil dette også bevare “DNA’et” af computer vision datasæt, der er tolv eller mere år gamle, og måske er gået gennem en bemærkelsesværdig evolution fra open source-bevægelser til kommercielle installationer – selv hvor det originale træningsdatasæt blev fuldstændigt fjernet ved starten af projektet. Nogle af disse kommercielle installationer kan ikke ske før om flere år.

Ingen Hvid Boks Nødvendig

Med hensyn til den anden almindelige kritik af adversarial billedangrebs-systemer, har forfatterne af den nye artikel fundet, at deres evne til at narre genkendelsessystemer med designet billeder er højst overførbar på tværs af flere arkitekturer.

Medens de observerer, at deres ‘Universal NaTuralistic adversarial paTches’ (TnT)-metode er den første til at bruge genkendelige billeder (i stedet for tilfældigt støj) til at narre billedgenkendelsessystemer, fastslår forfatterne også:

‘[TnTs] er effektive mod multiple state-of-the-art klassificatorer, der spænder fra widely used WideResNet50 i Large-Scale Visual Recognition-opgaven af ImageNet datasættet til VGG-face-modeller i ansigtsgenkendelsesopgaven af PubFig datasættet i både targeted og untargeted angreb.

‘TnTs kan besidde: i) den naturalisme, der kan opnås [med] triggers brugt i Trojan angrebsmetoder; og ii) generaliseringen og overførbarheden af adversarial eksempler til andre netværk.

‘Dette rejser sikkerheds- og sikkerhedsproblemer med hensyn til allerede installeret DNN’er samt fremtidige DNN-installationer, hvor angribere kan bruge usynlige, naturligt udseende objektpatches til at misguide neurale netværk uden at manipulere med modellen og risikere opdagelse.’

Forfatterne foreslår, at konventionelle modforanstaltninger, såsom at nedgradering af Clean Acc. af et netværk, teoretisk set kunne give nogen forsvar mod TnT-patches, men at ‘TnTs stadig kan succesfuldt omgå denne SOTA-beviselige forsvarsmetode med de fleste af de forsvarende systemer, der opnår 0% Robusthed’.

Mulige andre løsninger inkluderer federated learning, hvor proveniens af bidragende billeder er beskyttet, og nye tilgange, der kunne direkte “kryptere” data under træning, såsom en nyt forslag fra Nanjing University of Aeronautics and Astronautics.

Selv i disse tilfælde ville det være vigtigt at træne på virkelig nye billeddata – nu er billederne og tilhørende annotationer i den lille gruppe af de mest populære CV-datasæt så integreret i udviklingscykler over hele verden, at de ligner software mere end data; software, der ofte ikke er blevet bemærkelsesværdigt opdateret i år.

Konklusion

Adversarial billedangreb er muliggjort ikke kun af open source maskinlæringspraksis, men også af en kommerciel AI-udviklingskultur, der er motiveret til at genbruge etablerede computer vision datasæt af flere årsager: de har allerede bevist sig effektive; de er langt billigere end at “starte fra scratch”; og de vedligeholdes og opdateres af førende hjerner og organisationer på tværs af akademik og industri, på niveauer af finansiering og personale, der ville være svært for en enkelt virksomhed at replikere.

Derudover er det i mange tilfælde, hvor data ikke er originalt (i modsætning til CityScapes), billederne blev indsamlet før nylige kontroverser omkring privatliv og dataindsamling, efterlader disse ældre datasæt i en slags semi-lovlig limbo, der kan se ud som en “sikkert havn” fra et virksomhedssynspunkt.

TnT Angreb! Universal Naturalistic Adversarial Patches Against Deep Neural Network Systems er skrevet af Bao Gia Doan, Minhui Xue, Ehsan Abbasnejad, Damith C. Ranasinghe fra University of Adelaide, sammen med Shiqing Ma fra Department of Computer Science på Rutgers University.

Opdateret 1. december 2021, 7:06, GMT+2 – rettet skrivefejl.