L'attacco del contraddittorio ottico può cambiare il significato dei segnali stradali

Alcuni ricercatori negli Stati Uniti hanno sviluppato un attacco avversario alla capacità dei sistemi di apprendimento automatico di interpretare correttamente ciò che vedono, inclusi elementi mission-critical come i segnali stradali, proiettando una luce a motivi su oggetti del mondo reale. In un esperimento, l'approccio è riuscito a trasformare il significato di un cartello stradale con la scritta "STOP" in un cartello con il limite di velocità di "30 km/h".

Le perturbazioni su un segno, create facendo brillare luce artificiale su di esso, distorcono il modo in cui viene interpretato in un sistema di apprendimento automatico. Fonte: https://arxiv.org/pdf/2108.06247.pdf

. riparazioni ha diritto Attacco contraddittorio ottico, e proviene dalla Purdue University in Indiana.

Un attacco OPtical ADversarial (OPAD), come proposto dal documento, utilizza l'illuminazione strutturata per alterare l'aspetto degli oggetti bersaglio e richiede solo un proiettore, una fotocamera e un computer. I ricercatori sono stati in grado di intraprendere con successo sia attacchi white box che black box utilizzando questa tecnica.

L'impostazione dell'OPAD e le distorsioni minimamente percepite (dalle persone) che sono adeguate a causare un'errata classificazione.

La configurazione per OPAD consiste in un proiettore SVGA ViewSonic da 3600 lumen, una fotocamera Canon T6i e un computer portatile.

Scatola nera e attacchi mirati

Gli attacchi white box sono scenari improbabili in cui un aggressore può avere accesso diretto a una procedura di addestramento del modello o alla governance dei dati di input. Gli attacchi black box, al contrario, sono in genere formulati deducendo come è composto un modello di apprendimento automatico, o almeno come si comporta, creando modelli "ombra" e sviluppando attacchi avversari progettati per funzionare sul modello originale.

Qui vediamo la quantità di perturbazione visiva necessaria per ingannare la classificaer.

In quest’ultimo caso, non è necessario alcun accesso speciale, sebbene tali attacchi siano notevolmente aiutati dall’ubiquità delle librerie e dei database di visione artificiale open source nell’attuale ricerca accademica e commerciale.

Tutti gli attacchi OPAD descritti nel nuovo documento sono attacchi "mirati", che mirano specificamente a modificare il modo in cui vengono interpretati determinati oggetti. Sebbene il sistema abbia dimostrato di essere in grado di realizzare anche attacchi generalizzati e astratti, i ricercatori sostengono che un aggressore reale avrebbe un obiettivo di disturbo più specifico.

L'attacco OPAD è semplicemente una versione pratica del principio, ampiamente studiato, di iniettare rumore nelle immagini che verranno utilizzate nei sistemi di visione artificiale. Il vantaggio di questo approccio risiede nel fatto che è possibile semplicemente "proiettare" le perturbazioni sull'oggetto target per innescare l'errore di classificazione, mentre garantire che le immagini "cavallo di Troia" finiscano nel processo di addestramento è piuttosto più difficile.

Nel caso in cui OPAD fosse in grado di imporre il significato hash dell'immagine "velocità 30" in un set di dati su un segnale di "STOP", l'immagine di base è stata ottenuta illuminando l'oggetto uniformemente a un'intensità di 140/255. Quindi l'illuminazione compensata dal proiettore è stata applicata come proiezione attacco di discesa gradiente.

Esempi di attacchi di errata classificazione OPAD.

I ricercatori osservano che la sfida principale del progetto è stata quella di calibrare e impostare il meccanismo del proiettore in modo da ottenere un "inganno" pulito, poiché angoli, ottica e molti altri fattori rappresentano una sfida per l'impresa.

Inoltre, è probabile che l'approccio funzioni solo di notte. Anche il fatto che l'illuminazione ovvia riveli l'"hack" è un fattore da considerare; se un oggetto come un cartello è già illuminato, il proiettore deve compensare tale illuminazione e la quantità di perturbazione riflessa deve anche essere resistente ai fari. Sembrerebbe essere un sistema che funzionerebbe al meglio in ambienti urbani, dove l'illuminazione ambientale è probabilmente più stabile.

La ricerca costruisce efficacemente un'iterazione orientata all'apprendimento automatico della Columbia University Ricerca 2004 nel cambiare l'aspetto degli oggetti proiettando altre immagini su di essi - un esperimento basato sull'ottica che manca del potenziale maligno dell'OPAD.

Durante i test, OPAD è stato in grado di ingannare un classificatore per 31 attacchi su 64, una percentuale di successo del 48%. I ricercatori osservano che il tasso di successo dipende molto dal tipo di oggetto che viene attaccato. Le superfici screziate o curve (come, rispettivamente, un orsacchiotto e una tazza) non possono fornire una riflettività diretta sufficiente per eseguire l'attacco. D'altra parte, superfici piane intenzionalmente riflettenti come i segnali stradali sono ambienti ideali per una distorsione OPAD.

Superfici di attacco open source

Tutti gli attacchi sono stati condotti contro un set specifico di database: il database tedesco di riconoscimento dei segnali stradali (GTSRB, chiamato GTSRB-CNN nel nuovo documento), che è stato utilizzato per addestrare il modello per a scenario di attacco simile nel 2018; ImageNet VGG16 set di dati; e l'ImageNet Resnet-50 impostato.

Quindi, questi attacchi sono "meramente teorici", dal momento che sono mirati a set di dati open source e non ai sistemi proprietari e chiusi dei veicoli autonomi? Lo sarebbero, se i principali settori della ricerca non si affidassero all'ecosistema open source, inclusi algoritmi e set di dati, e invece lavorassero in segreto per produrre set di dati closed source e algoritmi di riconoscimento opachi.

Ma in generale, non è così che funziona. I dataset di riferimento diventano i parametri di riferimento in base ai quali misurare ogni progresso (e stima/consenso), mentre i sistemi di riconoscimento delle immagini open source come la serie YOLO superano, attraverso una cooperazione globale comune, qualsiasi sistema chiuso sviluppato internamente e concepito per operare secondo principi simili.

L'esposizione FOSS

Anche quando i dati in un framework di visione artificiale saranno alla fine sostituiti con dati completamente chiusi, i pesi dei modelli "svuotati" vengono comunque spesso calibrati nelle prime fasi di sviluppo tramite dati FOSS che non saranno mai completamente scartati, il che significa che i sistemi risultanti possono potenzialmente essere presi di mira dai metodi FOSS.

Inoltre, fare affidamento su un approccio open source a sistemi CV di questa natura consente alle aziende private di avvalersi, gratuitamente, di innovazioni ramificate da altri progetti di ricerca globali, aggiungendo un incentivo finanziario per mantenere l'architettura accessibile. Successivamente possono tentare di chiudere il sistema solo al momento della commercializzazione, momento in cui un'intera gamma di metriche FOSS deducibili è profondamente incorporata in esso.