Optisk Adversarial Attack Kan Ændre Betydningen af Vejskilte

Forskere i USA har udviklet en adversarial attack mod maskinlæringsystemers evne til korrekt at fortolke, hvad de ser – herunder kritiske elementer som vejskilte – ved at lyse mønstrede lys på virkelige objekter. I et eksperiment lykkedes det at ændre betydningen af et “STOP”-skilt til et “30 mph”-hastighedsskilt.

Forstyrrelser på et skilt, skabt ved at lyse mønstret lys på det, forvrænger, hvordan det fortolkes i et maskinlæringsystem. Kilde: https://arxiv.org/pdf/2108.06247.pdf

Forskningen er kendt som Optisk Adversarial Attack og kommer fra Purdue University i Indiana.

En optisk adversarial attack (OPAD), som foreslås i artiklen, bruger struktureret belysning til at ændre udseendet af målobjekter og kræver kun en almindelig projector, en kamera og en computer. Forskerne var i stand til at gennemføre både white-box og black-box-angreb med denne teknik.

OPAD-sætningen og de minimale forstyrrelser, der er tilstrækkelige til at forårsage en mis klassificering.

Sætningen til OPAD består af en ViewSonic 3600 Lumens SVGA-projector, en Canon T6i-kamera og en bærbar computer.

Black Box og Targeted Attacks

White-box-angreb er usandsynlige scenarier, hvor en angriber måske har direkte adgang til en træningsmodelprocedur eller til styringen af inputdata. Black-box-angreb er derimod typisk formuleret ved at slutte sig til, hvordan en maskinlæringsmodel er sammensat, eller i hvert fald hvordan den opfører sig, ved at opbygge “skygge”-modeller og udvikle adversarial-angreb, der er designet til at virke på den originale model.

Her ser vi mængden af visuel forstyrrelse, der er nødvendig for at narre klassificatoren.

I sidstnævnte tilfælde er der ikke brug for særlig adgang, selvom sådanne angreb i høj grad hjælpes af det åbne kildekode-computer-vision-biblioteker og -databaser i nuværende akademisk og kommerciel forskning.

Alle OPAD-angrebene i den nye artikel er “targeted”-angreb, der specifikt søger at ændre, hvordan bestemte objekter fortolkes. Selvom systemet også er blevet demonstreret i stand til at opnå generaliserede, abstrakte angreb, mener forskerne, at en virkelig angriber ville have et mere specifikt disruptivt formål.

OPAD-angrebet er blot en virkelig version af det ofte forskede princip om at injicere støj i billeder, der skal bruges i computer-vision-systemer. Værdien af denne tilgang er, at man kan projicere forstyrrelserne på målobjektet for at udløse mis klassificeringen, hvorimod det er sværere at sikre, at “Trojan-hest”-billeder ender i træningsprocessen.

I tilfældet, hvor OPAD kunne påføre den hashede betydning af “hastighed 30”-billedet i en dataset på et “STOP”-skilt, blev grundlæggende billedet erhvervet ved at lyse objektet jævnt med en intensitet på 140/255. Derefter blev projector-kompenseret belysning anvendt som et projiceret gradient descent-angreb.

Eksempler på OPAD-mis klassificeringsangreb.

Forskerne bemærker, at det primære udfordring i projektet har været at kalibrere og opsætte projektormekanismen, så den opnår en ren “forførelse”, da vinkler, optik og flere andre faktorer er en udfordring for udnyttelsen.

Dertil er tilgangen kun sandsynlig at virke om natten. Om den åbenlyse belysning ville afsløre “hærværket” er også en faktor; hvis et objekt som et skilt allerede er belyst, skal projektoren kompensere for den belysning, og mængden af reflekteret forstyrrelse skal også være modstandsdygtig over for forlygter. Det synes at være et system, der vil fungere bedst i urbane miljøer, hvor miljøbelysningen sandsynligvis er mere stabil.

Forskningen bygger i virkeligheden en ML-orienteret iteration af Columbia Universitys 2004-forskning i at ændre udseendet af objekter ved at projicere andre billeder på dem – et optisk eksperiment, der mangler den ondsindede potentiale i OPAD.

Ved testning kunne OPAD narre en klassificator i 31 af 64 angreb – en succesrate på 48%. Forskerne bemærker, at succesraten afhænger stærkt af den type objekt, der angribes. Mønstrerede eller kurvede overflader (som henholdsvis en teddybjørn og en kopp) kan ikke give nok direkte refleksion til at udføre angrebet. På den anden side er bevidst reflekterende flade overflader som vejskilte ideelle miljøer for en OPAD-forstyrrelse.

Åbne Kildekode-Angrebsflader

Alle angrebene blev gennemført mod en bestemt samling af databaser: den tyske trafikskilt-genkendelsesdatabase (GTSRB, kaldet GTSRB-CNN i den nye artikel), som blev brugt til at træne modellen for et tilsvarende angrebsscenario i 2018; ImageNet VGG16-datasettet; og ImageNet Resnet-50-sættet.

Så er disse angreb “kun teoretiske”, da de er rettet mod åbne kildekode-databaser og ikke mod de proprietære, lukkede systemer i selvstændige køretøjer? De ville være, hvis de store forskningsarme ikke afhang af den åbne kildekode-økosystem, herunder algoritmer og databaser, og i stedet arbejdede i hemmelighed for at producere lukkede kildekode-databaser og uigennemsigtige genkendelsesalgoritmer.

Men generelt er det ikke sådan, det fungerer. Landmark-databaser bliver benchmarkene, mod hvilke al fremgang (og anseelse/berømmelse) bliver målt, mens åbne kildekode-billedgenkendelsessystemer som YOLO-serien skyder forbi enhver internt udviklet, lukket system, der er designet til at fungere på tilsvarende principper.

FOSS-Exponeringen

Selv hvor dataene i et computer-vision-rammeværk til sidst vil blive erstattet med helt lukkede data, er vægten af de “tømte” modeller ofte stadig kalibreret i de tidlige udviklingsfaser ved FOSS-data, der aldrig helt vil blive forkastet – hvilket betyder, at de resulterende systemer potentielt kan blive mål for FOSS-metoder.

Dertil gør det muligt for private virksomheder at vail themselves, free, of branched innovations from other global research projects, adding a financial incentive to keep the architecture accessible. Thereafter they can attempt to close the system only at the point of commercialization, by which time an entire array of inferable FOSS metrics are deeply embedded in it.