Attacco Adversario Ottico Può Cambiare il Significato dei Segnali Stradali

I ricercatori negli Stati Uniti hanno sviluppato un attacco adversario contro la capacità dei sistemi di apprendimento automatico di interpretare correttamente ciò che vedono – compresi elementi critici come i segnali stradali – proiettando luce patternata su oggetti del mondo reale. In un esperimento, l’approccio è riuscito a far cambiare il significato di un segnale stradale “FERMATA” in un segnale di limite di velocità “30 mph”.

Perturbazioni su un segnale, create proiettando luce artificiale su di esso, distorcono la sua interpretazione in un sistema di apprendimento automatico. Fonte: https://arxiv.org/pdf/2108.06247.pdf

La ricerca è intitolata Attacco Adversario Ottico e proviene dall’Università di Purdue, nell’Indiana.

Un attacco adversario ottico (OPAD), come proposto nel paper, utilizza l’illuminazione strutturata per alterare l’aspetto degli oggetti bersaglio e richiede solo un proiettore commodity, una fotocamera e un computer. I ricercatori sono stati in grado di eseguire con successo sia attacchi white-box che black-box utilizzando questa tecnica.

L’impostazione OPAD e le distorsioni minimamente percepite (dalle persone) adeguate a causare una classificazione errata.

L’impostazione per OPAD consiste in un proiettore ViewSonic 3600 Lumens SVGA, una fotocamera Canon T6i e un laptop computer.

Scatola Nera e Attacchi Mirati

Gli attacchi white-box sono scenari improbabili in cui un attaccante potrebbe avere accesso diretto a una procedura di modello di formazione o ai dati di input. Gli attacchi black-box, al contrario, sono tipicamente formulati inferendo come è composto un sistema di apprendimento automatico, o almeno come si comporta, creando “modelli ombra” e sviluppando attacchi adversari progettati per funzionare sul modello originale.

Qui vediamo la quantità di perturbazione visiva necessaria per ingannare il classificatore.

Nel caso di attacchi black-box, non è necessario alcun accesso speciale, sebbene tali attacchi siano notevolmente aiutati dall’ubiquità delle librerie e dei database di visione artificiale open source nell’attuale ricerca accademica e commerciale.

Tutti gli attacchi OPAD descritti nel nuovo paper sono “attacchi mirati”, che cercano specificamente di alterare la modalità di interpretazione di determinati oggetti. Sebbene il sistema abbia anche dimostrato di essere in grado di raggiungere attacchi generalizzati e astratti, i ricercatori sostengono che un attaccante del mondo reale avrebbe un obiettivo di disturbo più specifico.

L’attacco OPAD è semplicemente una versione del mondo reale del principio frequentemente studiato di iniezione di rumore nelle immagini che saranno utilizzate nei sistemi di visione artificiale. Il valore dell’approccio è che si può semplicemente “proiettare” le perturbazioni sull’oggetto bersaglio per innescare la classificazione errata, mentre assicurarsi che le immagini “Trojan horse” finiscano nel processo di formazione è molto più difficile da realizzare.

Nel caso in cui OPAD è stato in grado di imporre il significato hashato dell’immagine “velocità 30” in un set di dati su un segnale di “FERMATA”, l’immagine di base è stata ottenuta illuminando l’oggetto in modo uniforme a un’intensità di 140/255. Quindi è stata applicata un’illuminazione compensata dal proiettore come un attacco di discesa del gradiente proiettato.

Esempi di attacchi di classificazione errata OPAD.

I ricercatori osservano che la principale sfida del progetto è stata quella di calibrare e impostare il meccanismo del proiettore in modo da ottenere un “inganno” pulito, poiché angoli, ottiche e diversi altri fattori sono una sfida per lo sfruttamento.

Inoltre, l’approccio è probabile che funzioni solo di notte. Se l’illuminazione ovvia riveli l'”hacking” è anche un fattore; se un oggetto come un segnale è già illuminato, il proiettore deve compensare quell’illuminazione, e la quantità di perturbazione riflessa deve anche essere resistente ai fari. Sembra essere un sistema che funzionerebbe meglio in ambienti urbani, dove l’illuminazione ambientale è probabilmente più stabile.

La ricerca costruisce essenzialmente un’iterazione orientata all’apprendimento automatico della ricerca del 2004 dell’Università di Columbia sulla modifica dell’aspetto degli oggetti proiettando altre immagini su di essi – un esperimento ottico che manca del potenziale maligno di OPAD.

Nel test, OPAD è stato in grado di ingannare un classificatore per 31 attacchi su 64 – un tasso di successo del 48%. I ricercatori notano che il tasso di successo dipende notevolmente dal tipo di oggetto attaccato. Superfici marmorate o curve (come, rispettivamente, un orsacchiotto e una tazza) non possono fornire abbastanza riflettività diretta per eseguire l’attacco. D’altra parte, superfici piatte intenzionalmente riflettenti come i segnali stradali sono ambienti ideali per una distorsione OPAD.

Superfici di Attacco Open Source

Tutti gli attacchi sono stati condotti contro un set specifico di database: il database di riconoscimento dei segnali stradali tedeschi (GTSRB, chiamato GTSRB-CNN nel nuovo paper), che è stato utilizzato per addestrare il modello per uno scenario di attacco simile nel 2018; il set di dati ImageNet VGG16; e il set di dati ImageNet Resnet-50.

Quindi, questi attacchi sono “meramente teorici”, poiché sono rivolti a set di dati open source e non a sistemi chiusi in veicoli autonomi? Lo sarebbero, se i principali centri di ricerca non si basassero sull’ecosistema open source, compresi algoritmi e set di dati, e invece lavorassero in segreto per produrre set di dati chiusi e algoritmi di riconoscimento opachi.

Ma in generale, non è così che funziona. I set di dati di riferimento diventano i benchmark contro cui tutti i progressi (e la stima/acclamazione) vengono misurati, mentre i sistemi di riconoscimento di immagini open source come la serie YOLO procedono, attraverso la cooperazione globale comune, di qualsiasi sistema chiuso sviluppato internamente destinato a funzionare su principi simili.

L’Esposizione FOSS

Anche laddove i dati in un framework di visione artificiale saranno eventualmente sostituiti con dati completamente chiusi, i pesi dei modelli “svuotati” sono ancora frequentemente calibrati nelle prime fasi di sviluppo con dati FOSS che non saranno mai completamente scartati – il che significa che i sistemi risultanti possono potenzialmente essere bersaglio di metodi FOSS.

Inoltre, fare affidamento a un approccio open source ai sistemi di visione artificiale di questo tipo consente alle società private di avvalersi, gratuitamente, delle innovazioni ramificate di altri progetti di ricerca globali, aggiungendo un incentivo finanziario per mantenere l’architettura accessibile. Successivamente possono tentare di chiudere il sistema solo al punto di commercializzazione, al quale punto un’intera gamma di metriche FOSS inferibili sono profondamente incorporate in esso.