Optiskt adversarialt angrepp kan ändra vägmärkens betydelse

Forskare i USA har utvecklat ett adversarialt angrepp mot maskinlärningssystemens förmåga att korrekt tolka vad de ser – inklusive viktiga föremål som vägmärken – genom att lysa upp mönster på verkliga föremål. I ett experiment lyckades tillvägagångssättet med att förvandla en “STOP”-skylt till en “30mph”-hastighetsbegränsningsskylt.

Perturbationer på en skylt, skapade genom att lysa upp den med konstruerat ljus, förvränger hur den tolkas i ett maskinlärningssystem. Källa: https://arxiv.org/pdf/2108.06247.pdf

Forskningen, som heter Optiskt adversarialt angrepp, kommer från Purdue University i Indiana.

Ett optiskt adversarialt angrepp (OPAD), som föreslås i artikeln, använder strukturerad belysning för att ändra utseendet på målföremål och kräver endast en vanlig projektor, en kamera och en dator. Forskarna kunde framgångsrikt genomföra både vita och svarta lådan-attacker med denna teknik.

OPAD-uppsättningen och de minimalt uppfattade (av människor) distorsionerna som är tillräckliga för att orsaka en felklassificering.

Uppsättningen för OPAD består av en ViewSonic 3600 Lumens SVGA-projektor, en Canon T6i-kamera och en bärbar dator.

Svarta lådan- och riktade attacker

Vita lådan-attacker är osannolika scenarier där en angripare kan ha direkt tillgång till en träningsmodell eller till styrningen av indata. Svarta lådan-attacker, å andra sidan, formuleras vanligtvis genom att inferera hur ett maskinlärningssystem är sammansatt, eller åtminstone hur det beter sig, skapar “skugg”-modeller och utvecklar adversariala attacker som är utformade för att fungera på den ursprungliga modellen.

Här ser vi den mängd visuell perturbation som krävs för att lura klassificeringen.

I det senare fallet behövs ingen särskild tillgång, även om sådana attacker underlättas av den allmänna tillgängligheten av öppen källkods-databaser och bibliotek i nuvarande akademisk och kommersiell forskning.

Alla OPAD-attacker som beskrivs i den nya artikeln är “riktade” attacker, som specifikt syftar till att ändra hur vissa föremål tolkas. Även om systemet också har visat sig kunna uppnå allmänna, abstrakta attacker, hävdar forskarna att en verklig angripare skulle ha ett mer specifikt störande mål.

OPAD-attacket är enbart en verklig version av det ofta undersökta principen att injicera brus i bilder som ska användas i datorseende-system. Värdet av tillvägagångssättet är att man kan enkelt “projicera” perturbationerna på målföremålet för att utlösa felklassificeringen, medan det är svårare att se till att “Trojanska hästar”-bilder hamnar i träningsprocessen.

I fallet där OPAD kunde påtvinga den hashade betydelsen av “hastighet 30”-bilden i en dataset på en “STOP”-skylt, erhölls baseline-bilden genom att lysa upp föremålet enhetligt med en intensitet på 140/255. Sedan tillämpades projektor-kompenserad belysning som en projicerad gradient descent-attack.

Exempel på OPAD-felklassificeringsattacker.

Forskarna observerar att den största utmaningen i projektet har varit att kalibrera och ställa in projektor-mekanismen så att den uppnår en ren “bedrägeri”, eftersom vinklar, optik och flera andra faktorer är en utmaning för exploateringen.

Dessutom är tillvägagångssättet endast troligt att fungera på natten. Om den uppenbara belysningen skulle avslöja “hacket” är också en faktor; om ett föremål som en skylt redan är upplyst, måste projektor-kompensera för den belysningen, och mängden reflekterad perturbation behöver också vara resistenta mot strålkastare. Det verkar vara ett system som skulle fungera bäst i urbana miljöer, där miljöbelysningen sannolikt är mer stabil.

Forskningen bygger i princip en ML-orienterad iteration av Columbia Universitys 2004 års forskning om att ändra utseendet på föremål genom att projicera andra bilder på dem – ett optiskt experiment som saknar den maligna potentialen hos OPAD.

Under testningen kunde OPAD lura en klassificerare i 31 av 64 attacker – en framgångsgrad på 48 %. Forskarna noterar att framgångsgraden beror starkt på vilken typ av föremål som attackeras. Fläckiga eller krökta ytor (såsom en teddybjörn respektive en mugg) kan inte ge tillräcklig direkt reflektivitet för att utföra attacken. Å andra sidan är avsiktligt reflekterande platta ytor, såsom vägmärken, idealiska miljöer för en OPAD-förvrängning.

Öppen källkods-attackytor

Alla attacker utfördes mot en specifik uppsättning databaser: den tyska trafikskyltsigenkänning-databasen (GTSRB, kallad GTSRB-CNN i den nya artikeln), som användes för att träna modellen för en liknande attack-scenario 2018; ImageNet VGG16-databasen; och ImageNet Resnet-50-uppsättningen.

Så, är dessa attacker “bara teoretiska”, eftersom de riktar sig mot öppen källkods-databaser och inte mot de proprietära, slutna systemen i autonoma fordon? De skulle vara, om de stora forskningsarmarna inte förlitar sig på den öppna källkods-ekon, inklusive algoritmer och databaser, och istället arbetar i hemlighet för att producera slutna, opaka igenkänningsalgoritmer.

Men i allmänhet fungerar det inte så. Landmärkesdatabaser blir de måttstockar mot vilka all framgång (och anseende/berömmelse) mäts, medan öppen källkods-bildigenkänningssystem som YOLO-serien går före, genom globalt samarbete, alla internutvecklade, slutna system som avses att fungera på liknande principer.

Den öppna källkods-exponeringen

Även där data i ett datorseende-ramverk så småningom kommer att ersättas med helt slutna data, är vikterna i de “utrymda” modellerna fortfarande ofta kalibrerade i de tidiga utvecklingsstadierna med hjälp av öppen källkods-data som aldrig kommer att helt förkastas – vilket innebär att de resulterande systemen potentiellt kan riktas mot öppen källkods-metoder.

Dessutom gör det öppna tillvägagångssättet till datorseende-system av denna typ det möjligt för privata företag att utnyttja, utan kostnad, greninnovationer från andra globala forskningsprojekt, och lägger till en finansiell incitament för att hålla arkitekturen tillgänglig. Därefter kan de försöka stänga systemet först vid kommersialiseringen, vid vilken tidpunkt en hel uppsättning infererbara öppen källkods-mått är djupt inbäddade i det.