Optiskt adversarialt angrepp kan ändra vägskyltars betydelse

Forskare i USA har utvecklat ett adversarialt angrepp mot maskinlärningssystemens förmåga att korrekt tolka vad de ser – inklusive viktiga föremål som vägskyltar – genom att lysa upp mönster på verkliga föremål. I ett experiment lyckades metoden med att förvandla en “STOP”-skylt till en “30mph”-hastighetsbegränsningsskylt.

Perturbations på en skylt, skapad genom att lysa upp den med ett konstruerat ljus, förvränger hur den tolkas i ett maskinlärningssystem. Källa: https://arxiv.org/pdf/2108.06247.pdf

Forskningen, som heter Optiskt adversarialt angrepp, kommer från Purdue University i Indiana.

Ett optiskt adversarialt angrepp (OPAD) använder strukturerad belysning för att ändra utseendet på målföremål och kräver endast en vanlig projektor, en kamera och en dator. Forskarna lyckades med att genomföra både vita och svarta angrepp med denna teknik.

OPAD-uppsättningen och de minimalt uppfattade (av människor) förvrängningarna som är tillräckliga för att orsaka en felklassificering.

Uppsättningen för OPAD består av en ViewSonic 3600 Lumens SVGA-projektor, en Canon T6i-kamera och en bärbar dator.

Svart låda och riktade angrepp

Vita angrepp är osannolika scenarier där en angripare kan ha direkt tillgång till en träningsmodell eller till styrningen av indata. Svarta angrepp, å andra sidan, formuleras vanligtvis genom att man antar hur ett maskinlärningssystem är konstruerat eller åtminstone hur det beter sig, skapar “skuggmodeller” och utvecklar adversariala angrepp som är utformade för att fungera på den ursprungliga modellen.

Här ser vi den mängd visuell perturbation som krävs för att lura klassificeringen.

I det senare fallet behövs ingen särskild tillgång, men sådana angrepp underlättas avsevärt av den allmänna tillgången till öppen källkod för datorseende och databaser i nuvarande akademisk och kommersiell forskning.

Alla OPAD-angrepp som beskrivs i den nya artikeln är “riktade” angrepp, som specifikt syftar till att ändra hur vissa föremål tolkas. Även om systemet också har visat sig kunna uppnå allmänna, abstrakta angrepp, hävdar forskarna att en verklig angripare skulle ha ett mer specifikt störande mål.

OPAD-angreppet är enbart en verklig version av den ofta undersökta principen att injicera brus i bilder som ska användas i datorseendesystem. Värdet av metoden är att man kan enkelt “projicera” perturbationerna på målföremålet för att utlösa felklassificeringen, medan det är svårare att se till att “Trojanska hästar”-bilder hamnar i träningsprocessen.

I fallet där OPAD kunde påtvinga den hashade betydelsen av “hastighet 30”-bilden i en dataset på en “STOP”-skylt, erhölls basbilden genom att belysa föremålet enhetligt vid en intensitet på 140/255. Därefter applicerades projektor-kompenserad belysning som ett projicerat gradient descent-angrepp.

Exempel på OPAD-felklassificeringsangrepp.

Forskarna observerar att den största utmaningen i projektet har varit att kalibrera och konfigurera projektor-mekanismen så att den uppnår en ren “bedrägeri”, eftersom vinklar, optik och flera andra faktorer utgör en utmaning för exploateringen.

Dessutom är metoden endast troligen att fungera på natten. Om den uppenbara belysningen skulle avslöja “hacket” är också en faktor; om ett föremål som en skylt redan är belyst, måste projektorn kompensera för den belysningen, och mängden reflekterad perturbation behöver också vara motståndskraftig mot strålkastare. Det verkar vara ett system som skulle fungera bäst i urbana miljöer, där miljöbelysningen sannolikt är mer stabil.

Forskningen bygger i princip på Columbia Universitys 2004 års forskning om att ändra utseendet på föremål genom att projicera andra bilder på dem – ett optiskt experiment som saknar den skadliga potentialen hos OPAD.

Vid testning kunde OPAD lura en klassificerare i 31 av 64 angrepp – en framgångsgrad på 48%. Forskarna noterar att framgångsgraden beror mycket på typen av föremål som angrips. Mottade eller krökta ytor (såsom en teddybjörn respektive en mugg) kan inte ge tillräcklig direkt reflektivitet för att utföra angreppet. Å andra sidan är avsiktligt reflekterande platta ytor som vägskyltar idealiska miljöer för en OPAD-förvrängning.

Öppen källkodsangreppsytor

Alla angrepp genomfördes mot en specifik uppsättning databaser: den tyska trafikskyltigenkänning-databasen (GTSRB, kallad GTSRB-CNN i den nya artikeln), som användes för att träna modellen för ett liknande angreppsscenarie 2018; ImageNet VGG16-databasen; och ImageNet Resnet-50-databasen.

Så, är dessa angrepp “bara teoretiska”, eftersom de riktar sig mot öppen källkod-databaser och inte mot de proprietära, slutna systemen i autonoma fordon? De vore, om de stora forskningsarmarna inte förlitade sig på den öppna källkods-ekosfären, inklusive algoritmer och databaser, och istället arbetade i hemlighet för att producera slutna databaser och ogenomskinliga igenkänningsalgoritmer.

Men i allmänhet är det inte så det fungerar. Landmärkesdatabaser blir de måttstockar mot vilka all framgång (och anseende/berömmelse) mäts, medan öppen källkods-bildigenkänningssystem som YOLO-serien går före, genom gemensam globalt samarbete, alla internutvecklade, slutna system som är avsedda att fungera på liknande principer.

Den öppna källkods-exponeringen

Även där data i ett datorseendesystem så småningom kommer att ersättas med helt slutna data, är vikterna i de “utrensade” modellerna fortfarande ofta kalibrerade i de tidiga utvecklingsstadierna med öppen källkods-data som aldrig kommer att helt förkastas – vilket innebär att de resulterande systemen potentiellt kan angripas med öppen källkods-metoder.

Dessutom möjliggör det för privata företag att utnyttja, gratis, grenade innovationer från andra globala forskningsprojekt, och lägger till en finansiell incitament för att hålla arkitekturen tillgänglig. Därefter kan de försöka stänga systemet endast vid kommersialiseringen, vid vilken tidpunkt en hel uppsättning avslutbara öppen källkods-mått är djupt inbäddade i det.