Hvorfor Adversarial Image Attacks Ikke Er Noen Spøk

Å angripe bilde-gjenkjenningssystemer med nøye konstruerte adversarial bilder har blitt betraktet som en morsom, men trivial, proof-of-concept de siste fem årene. Men, ny forskning fra Australia antyder at den uformelle bruken av svært populære bilde-datasett for kommersielle AI-prosjekter kan skape et varig nytt sikkerhetsproblem.

I noen år nå, har en gruppe akademikere ved University of Adelaide prøvd å forklare noe veldig viktig om fremtiden for AI-basert bilde-gjenkjenningssystemer.

Dette er noe som ville være vanskelig (og svært dyrt) å fikse med en gang, og som ville være uansvarlig dyrt å rette opp når de nåværende trender i bilde-gjenkjenning forskning har blitt fullt utviklet til kommersielle og industrialiserte utrullinger på 5-10 års tid.

Før vi går videre, la oss se på en blomst som klassifiseres som President Barack Obama, fra en av de seks videoene som teamet har publisert på prosjektsiden:

Kilde: https://www.youtube.com/watch?v=Klepca1Ny3c

I ovenstående bilde, et ansiktsgjenkjenningssystem som tydeligvis vet hvordan man gjenkjenner Barack Obama, blir lurt til 80% sikkerhet på at en anonym mann som holder et konstruert, trykt adversarial bilde av en blomst også er Barack Obama. Systemet bryr seg ikke engang om at “falskt ansikt” er på subjektets bryst, i stedet for på skuldrene.

Selv om det er imponerende at forskerne har klart å oppnå denne type identitetsfangst ved å generere et sammenhengende bilde (en blomst) i stedet for bare vanlig støy, ser det ut til at slike latterlige utnyttinger dukker opp ganske ofte i sikkerhetsforskning på datavisjon. For eksempel, de merkelige mønster-glassene som kunne lure ansiktsgjenkjenning tilbake i 2016, eller spesiallagde adversarial bilder som prøver å omskrive vegskilt.

Hvis du er interessert, er Convolutional Neural Network (CNN) modellen som blir angrepet i ovenstående eksempel VGGFace (VGG-16), trent på Columbia Universitys PubFig dataset. Andre angreps-eksempler utviklet av forskerne brukte ulike ressurser i ulike kombinasjoner.

Et tastatur blir klassifisert som en conch, i en WideResNet50 modell på ImageNet. Forskerne har også sikret at modellen ikke har noen bias mot concher. Se hele videoen for utvidede og ekstra demonstrasjoner på https://www.youtube.com/watch?v=dhTTjjrxIcU

Bilde-Gjenkjenning Som En Fremvoksende Angrepsvektor

De mange imponerende angrepene som forskerne omhandler og illustrerer, er ikke kritikk av individuelle datasett eller bestemte maskinlæringsarkitekturer som bruker dem. Hverken kan de lett forsvares mot ved å bytte datasett eller modeller, eller ved å omtrene modeller, eller noen av de andre “enkle” midlene som får maskinlæringspraktikere til å latterliggjøre sporadiske demonstrasjoner av denne type triks.

I stedet eksemplifiserer Adelaide-teamets utnyttinger en sentral svakhet i hele den nåværende arkitekturen for AI-basert bilde-gjenkjenning; en svakhet som kunne eksponere mange fremtidige bilde-gjenkjenningssystemer for lett manipulering av angripere, og å sette enhver påfølgende forsvarsmekanismer på defensiven.

Forestall deg de siste adversarial bilde-angrepene (slik som blomsten ovenfor) blir lagt til som “zero-day exploits” i sikkerhetssystemer i fremtiden, på samme måte som nåværende anti-malware og antivirus-rammeverk oppdaterer sine virusdefinisjoner hver dag.

Potensialet for nye adversarial bilde-angrep ville være uendelig, fordi grunnarkitekturen i systemet ikke forutså downstream-problemer, som skjedde med internettet, Millennium Bug og leaning Tower of Pisa.

I hvilken måte, så, setter vi scenen for dette?

Å Få Data For Et Angrep

Adversarial bilder som “blomst”-eksempelet ovenfor er generert ved å ha tilgang til bildedatasettene som trente computermodellene. Du trenger ikke “privilegeret” tilgang til treningdata (eller modellarkitekturer), siden de mest populære datasettene (og mange trente modeller) er vidt tilgjengelige i en robust og konstant oppdatering torrent-scene.

For eksempel, det venerable Goliath of Computer Vision datasets, ImageNet, er tilgjengelig på Torrent i alle sine mange iterasjoner, og omgår dets vanlige begrensninger, og gjør tilgjengelig avgjørende sekundære elementer, som valideringssett.

Kilde: https://academictorrents.com

Hvis du har data, kan du (som Adelaide-forskerne observerer) effektivt “reverse-engineere” noen populære datasett, som CityScapes, eller CIFAR.

I tilfelle PubFig, datasett som muliggjorde “Obama-blomsten” i tidligere eksempel, har Columbia University adressert en voksende trend i opphavsrettsproblemer rundt bildedatasett-redistribusjon ved å instruere forskere hvordan man reproduserer datasett via kurerte lenker, i stedet for å gjøre kompilasjonen direkte tilgjengelig, og observerer ‘Dette ser ut til å være måten andre store web-baserte databaser utvikler seg’.

I de fleste tilfeller er det ikke nødvendig: Kaggle estimerer at de ti mest populære bildedatasettene i datavisjon er: CIFAR-10 og CIFAR-100 (begge direkte nedlastbare); CALTECH-101 og 256 (begge tilgjengelige, og begge nå tilgjengelige som torrents); MNIST (offisielt tilgjengelig, også på torrents); ImageNet (se ovenfor); Pascal VOC (tilgjengelig, også på torrents); MS COCO (tilgjengelig, og på torrents); Sports-1M (tilgjengelig); og YouTube-8M (tilgjengelig).

Dette tilgjengeligheten er også representative for det bredere utvalget av tilgjengelige datavisjon-bildedatasett, siden obskuritet er død i en “publiser eller dør” åpen kildeutviklingskultur.

I alle tilfeller, mangelen på håndterbare nye datasett, den høye kostnaden av bildesett-utvikling, avhengigheten av “gamle favoritter”, og tendensen til å tilpasse eldre datasett alle forverrer problemet som er beskrevet i den nye Adelaide-papiren.

Typiske Kritikker Av Adversarial Bilde-Angrepsmetoder

Den mest hyppige og vedvarende kritikken av maskinlæringsingeniører mot effektiviteten av den siste adversarial bilde-angrepsmetoden er at angrepet er spesifikt for et bestemt datasett, et bestemt modell, eller begge; at det ikke er “generaliserbart” til andre systemer; og, følgelig, representerer bare en trivial trussel.

Den nest mest hyppige klagen er at adversarial bilde-angrepet er ‘hvit boks’, det vil si at du ville trenge direkte tilgang til treningmiljøet eller data. Dette er faktisk en usannsynlig scenario, i de fleste tilfeller – for eksempel, hvis du ville utnytte treningprosessen for ansiktsgjenkjenningssystemene til London’s Metropolitan Police, du ville trenge å hacke deg inn i NEC, enten med en konsoll eller en øks.

Den Langsiktige ‘DNA’ Av Populære Datavisjon-Datasett

Med hensyn til den første kritikken, bør vi vurdere ikke bare at et lite antall datavisjon-datasett dominerer industrien år for år (dvs. ImageNet for flere typer objekter, CityScapes for kjøringsscener, og FFHQ for ansiktsgjenkjenning); men også at, som enkle annoterte bilde-data, de er “plattform-uavhengige” og høyt overførbar.

Avhengig av dens evner, vil hver datavisjon-treningarkitektur finne noen egenskaper av objekter og klasser i ImageNet-datasett. Noen arkitekturer kan finne flere egenskaper enn andre, eller gjøre mer nyttige forbindelser enn andre, men alle bør finne minst de høyeste nivå-egenskapene:

ImageNet data, med det minste antall korrekte identifiseringer – ‘høy-nivå’ egenskaper.

Det er disse “høy-nivå” egenskapene som skiller og “fingerprint” et datasett, og som er de pålitelige “krokker” som en langsiktig adversarial bilde-angrepsmetode kan bruke for å krysse ulike systemer, og vokse i takt med “gamle” datasett som blir videreført i nye forsknings- og produkter.

En mer sofistikert arkitektur vil produsere mer nøyaktige og detaljerte identifiseringer, egenskaper og klasser:

Men, jo mer en adversarial angrepsgenerator avhenger av disse lavere egenskapene (dvs. “ung, kviter mann” i stedet for “ansikt”), jo mindre effektiv vil det være i å krysse over eller senere arkitekturer som bruker ulike versjoner av det opprinnelige datasett – som en undermengde eller filtrert mengde, hvor mange av de opprinnelige bildene fra det fulle datasett ikke er til stede:

Adversarial Angrep På ‘Zeroed’, Forhånds-Trente Modeller

Hva med tilfeller hvor du bare laster ned en forhånds-trent modell som opprinnelig ble trent på et svært populært datasett, og gir den helt nye data?

Modellen har allerede blitt trent på (for eksempel) ImageNet, og alt som er igjen er vektene, som kan ha tatt uker eller måneder å trene, og er nå klare til å hjelpe deg med å identifisere lignende objekter som de som fantes i det opprinnelige (nå fraværende) data.

Med det opprinnelige data fjernet fra treningarkitekturen, er det bare ‘forutsetningen’ til modellen til å klassifisere objekter på den måten den opprinnelig lærte å gjøre, som vil i praksis gjøre mange av de opprinnelige ‘signaturer’ til å reformere og bli sårbare igjen for de samme gamle Adversarial Bilde-Angrepsmetodene.

Disse vektene er verdifulle. Uten data eller vektene, har du essensielt en tom arkitektur uten data. Du vil trenge å trene den fra scratch, til stor kostnad av tid og beregningsressurser, akkurat som de opprinnelige forfatterne gjorde (sannsynligvis på mer kraftfulle maskiner og med en høyere budsjett enn du har tilgjengelig).

Problemet er at vektene allerede er ganske godt formet og robuste. Selv om de vil tilpasse seg noe i trening, vil de oppføre seg lignende på din nye data som de gjorde på det opprinnelige data, og produsere signatur-egenskaper som et adversarial angrepsystem kan nøkle tilbake på.

I lang tid, bevares også “DNA” av datavisjon-datasett som er tolv eller flere år gamle, og kan ha gått gjennom en merkbær betydning fra åpen kilde-bevegelser til kommersielle utrullinger – selv om det opprinnelige treningdata ble fullstendig fjernet ved starten av prosjektet. Noen av disse kommersielle utrullinger kan ikke skje før flere år.

Ingen Hvit Boks Trengs

Med hensyn til den andre vanlige kritikken av adversarial bilde-angrepsystemer, har forfatterne av den nye papiren funnet at deres evne til å lure gjenkjenningssystemer med konstruerte bilder av blomster er høyt overførbar mellom flere arkitekturer.

Mens de observerer at deres “Universal NaTuralistic Adversarial PaTches” (TnT) metode er den første som bruker gjenkjennelige bilder (i stedet for tilfeldig støy) for å lure bilde-gjenkjenningssystemer, sier forfatterne også:

‘[TnTs] er effektive mot flere state-of-the-art klassifiseringsmodeller, fra WideResNet50 i Large-Scale Visual Recognition-oppgaven i ImageNet-datasett til VGG-face-modeller i ansiktsgjenkjenning-oppgaven i PubFig-datasett, både i targeted og untargeted angrep.

‘TnTs kan ha: i) den naturalismen som er oppnåelig [med] utløsere brukt i Trojan-angrepsmetoder; og ii) generaliseringen og overførbarheten av adversarial eksempler til andre nettverk.

‘Dette raiser sikkerhets- og sikkerhetsproblemer med allerede utrullerte DNN-er, samt fremtidige DNN-utrullinger hvor angripere kan bruke usynlige, naturlig-utseende objekt-patcher til å lure neurale nettverkssystemer uten å endre modellen og risikere oppdagelse.’

Forfatterne foreslår at konvensjonelle mottiltak, som å degradere Clean Acc. av et nettverk, kunne teoretisk gi en viss forsvar mot TnT-patcher, men at ‘TnTs fortsatt kan bypass denne SOTA-provable forsvarsmetoden med de fleste av de forsvarande systemene som oppnår 0% Robusthet’.

Mulige andre løsninger inkluderer federated learning, hvor provenansen av bidragende bilder er beskyttet, og nye tilnærminger som kunne direkte “kryptere” data under trening, som en nylig foreslått av Nanjing University of Aeronautics and Astronautics.

Selv i disse tilfellene, ville det være viktig å trene på virkelig nye bilde-data – nå er bildene og tilhørende annotasjoner i den lille gruppen av de mest populære CV-datasett så dypt innarbeidet i utviklingscykluser over hele verden at de ligner mer på programvare enn data; programvare som ofte ikke har blitt merkbar oppdatert på flere år.

Konklusjon

Adversarial bilde-angrep muliggjøres ikke bare av åpen kilde-maskinlæringspraksis, men også av en kommersiell AI-utviklingskultur som er motivert til å gjenbruke etablerte datavisjon-datasett av flere grunner: de har allerede vist seg å være effektive; de er mye billigere enn å “starte fra scratch”; og de blir vedlikeholdt og oppdatert av fremhjuls-mindre og organisasjoner over hele akademiet og industrien, på nivåer av finansiering og bemanning som ville være vanskelig for en enkelt bedrift å replikere.

I tillegg, i mange tilfeller hvor data ikke er originalt (i motsetning til CityScapes), ble bildene samlet inn før nylige kontroverser rundt personvern og data-innsamling, og etterlater disse eldre datasett i en slags semi-lovlig limbo som kan se ut som en “trygg havn” fra et selskaps synspunkt.

TnT Angrep! Universal Naturalistiske Adversarial Patcher Mot Dyp Neurale Nettverkssystemer er skrevet av Bao Gia Doan, Minhui Xue, Ehsan Abbasnejad, Damith C. Ranasinghe fra University of Adelaide, sammen med Shiqing Ma fra Department of Computer Science ved Rutgers University.

Oppdatert 1. desember 2021, 7:06 GMT+2 – korrigert skrivefeil.