Attacco Adversario Ottico Può Cambiare il Significato dei Segnali Stradali

I ricercatori negli Stati Uniti hanno sviluppato un attacco adversario contro la capacità dei sistemi di apprendimento automatico di interpretare correttamente ciò che vedono – compresi elementi critici come i segnali stradali – illuminando con luce patternata gli oggetti del mondo reale. In un esperimento, l’approccio è riuscito a far cambiare il significato di un segnale stradale “FERMATA” in un segnale di limite di velocità “30mph”.

Perturbazioni su un segnale, create illuminando con luce artificiale, distorcono la sua interpretazione in un sistema di apprendimento automatico. Fonte: https://arxiv.org/pdf/2108.06247.pdf

La ricerca è intitolata Attacco Adversario Ottico, e proviene dall’Università di Purdue, nell’Indiana.

Un attacco adversario ottico (OPAD), come proposto nel paper, utilizza un’illuminazione strutturata per alterare l’aspetto degli oggetti bersaglio, e richiede solo un proiettore commodity, una camera e un computer. I ricercatori sono riusciti a eseguire con successo sia attacchi white-box che black-box utilizzando questa tecnica.

La configurazione OPAD, e le distorsioni minimamente percepite (dalle persone) che sono sufficienti per causare una classificazione errata.

La configurazione per OPAD consiste in un proiettore ViewSonic 3600 Lumens SVGA, una camera Canon T6i e un laptop computer.

Attacchi Black Box e Targeted

Gli attacchi white-box sono scenari improbabili in cui un attaccante può avere accesso diretto a una procedura di modello di formazione o al governo dei dati di input. Gli attacchi black-box, al contrario, sono solitamente formulati inferendo come è composto un sistema di apprendimento automatico, o almeno come si comporta, creando modelli “ombra” e sviluppando attacchi adversari progettati per funzionare sul modello originale.

Qui vediamo la quantità di perturbazione visiva necessaria per ingannare il classificatore.

Nel secondo caso, non è necessario alcun accesso speciale, sebbene tali attacchi siano notevolmente aiutati dall’ubiquità delle librerie e dei database di visione artificiale open source nella ricerca accademica e commerciale attuale.

Tutti gli attacchi OPAD descritti nel nuovo paper sono attacchi “targeted”, che cercano specificamente di alterare come vengono interpretati determinati oggetti. Sebbene il sistema abbia anche dimostrato di essere in grado di raggiungere attacchi generalizzati e astratti, i ricercatori sostengono che un attaccante del mondo reale avrebbe un obiettivo più specifico e disruptivo.

L’attacco OPAD è semplicemente una versione del mondo reale del principio frequentemente studiato di iniezione di rumore nelle immagini che saranno utilizzate nei sistemi di visione artificiale. Il valore dell’approccio è che si può semplicemente “proiettare” le perturbazioni sull’oggetto bersaglio per attivare la classificazione errata, mentre assicurarsi che le immagini “Trojan horse” finiscano nel processo di formazione è piuttosto più difficile da realizzare.

Nel caso in cui OPAD è riuscito a imporre il significato hash dell’immagine “velocità 30” in un set di dati su un segnale di “FERMATA”, l’immagine di base è stata ottenuta illuminando l’oggetto in modo uniforme a un’intensità di 140/255. Quindi è stata applicata un’illuminazione compensata dal proiettore come attacco di discesa del gradiente proiettato.

Esempi di attacchi di classificazione errata OPAD.

I ricercatori osservano che la principale sfida del progetto è stata quella di calibrare e configurare il meccanismo del proiettore in modo che raggiunga un “inganno” pulito, poiché angoli, ottiche e diversi altri fattori sono una sfida per lo sfruttamento.

Inoltre, l’approccio funziona solo di notte. Se l’illuminazione ovvia rivela l'”hack” è anche un fattore; se un oggetto come un segnale è già illuminato, il proiettore deve compensare quell’illuminazione, e la quantità di perturbazione riflessa deve anche essere resistente ai fari. Sembra essere un sistema che funzionerebbe meglio in ambienti urbani, dove l’illuminazione ambientale è probabilmente più stabile.

La ricerca costruisce efficacemente un’iterazione orientata all’apprendimento automatico della ricerca del 2004 della Columbia University sulla modifica dell’aspetto degli oggetti proiettando altre immagini su di essi – un esperimento ottico che manca del potenziale maligno di OPAD.

Nel test, OPAD è riuscito a ingannare un classificatore per 31 attacchi su 64 – un tasso di successo del 48%. I ricercatori notano che il tasso di successo dipende notevolmente dal tipo di oggetto attaccato. Superfici mottate o curve (come, rispettivamente, un orso di pezza e una tazza) non possono fornire abbastanza riflettività diretta per eseguire l’attacco. D’altra parte, superfici piatte e intenzionalmente riflettenti come i segnali stradali sono ambienti ideali per una distorsione OPAD.

Superfici di Attacco Open Source

Tutti gli attacchi sono stati eseguiti contro un set specifico di database: il database di riconoscimento dei segnali stradali tedesco (GTSRB, chiamato GTSRB-CNN nel nuovo paper), che è stato utilizzato per formare il modello per uno scenario di attacco simile nel 2018; il set di dati ImageNet VGG16; e il set di dati ImageNet Resnet-50.

Quindi, questi attacchi sono “meramente teorici”, poiché sono rivolti a set di dati open source e non a sistemi proprietari e chiusi in veicoli autonomi? Lo sarebbero, se i principali centri di ricerca non si basassero sulla struttura open source, compresi algoritmi e set di dati, e invece lavorassero in segreto per produrre set di dati e algoritmi di riconoscimento chiusi e opachi.

Ma in generale, non è così che funziona. I set di dati più importanti diventano i benchmark rispetto ai quali tutti i progressi (e il prestigio) vengono misurati, mentre i sistemi di riconoscimento di immagini open source come la serie YOLO si distinguono, attraverso la cooperazione globale, da qualsiasi sistema sviluppato internamente e chiuso destinato a funzionare su principi simili.

L’Esposizione FOSS

Anche quando i dati in un framework di visione artificiale saranno eventualmente sostituiti con dati completamente chiusi, i pesi dei modelli “svuotati” sono ancora frequentemente calibrati nelle prime fasi di sviluppo dai dati FOSS che non saranno mai completamente scartati – il che significa che i sistemi risultanti possono potenzialmente essere presi di mira dai metodi FOSS.

Inoltre, l’approccio open source ai sistemi CV di questo tipo consente alle società private di avvalersi gratuitamente delle innovazioni ramificate da altri progetti di ricerca globali, aggiungendo un incentivo finanziario per mantenere l’architettura accessibile. Quindi possono tentare di chiudere il sistema solo al momento della commercializzazione, momento in cui una serie completa di metriche FOSS inferibili sono profondamente incorporate in esso.