Perché gli attacchi di immagini avversarie non sono uno scherzo

Gli attacchi ai sistemi di riconoscimento di immagini con immagini avversarie progettate con cura sono stati considerati un concetto dimostrativo divertente ma banale negli ultimi cinque anni. Tuttavia, una nuova ricerca dall’Australia suggerisce che l’uso casuale di set di dati di immagini altamente popolari per progetti di intelligenza artificiale commerciali potrebbe creare un nuovo problema di sicurezza duraturo.

Ormai da un paio di anni, un gruppo di accademici dell’Università di Adelaide sta cercando di spiegare qualcosa di molto importante sul futuro dei sistemi di riconoscimento di immagini basati sull’intelligenza artificiale.

È qualcosa che sarebbe difficile (e molto costoso) da risolvere subito, e che sarebbe inaccettabilmente costoso da risolvere una volta che le tendenze attuali nella ricerca sul riconoscimento di immagini saranno state completamente sviluppate in implementazioni commercializzate e industrializzate nel giro di 5-10 anni.

Prima di entrare nel dettaglio, diamo un’occhiata a un fiore classificato come il presidente Barack Obama, da una delle sei video che il team ha pubblicato sulla pagina del progetto:

Fonte: https://www.youtube.com/watch?v=Klepca1Ny3c

Nell’immagine sopra, un sistema di riconoscimento facciale che chiaramente sa riconoscere Barack Obama è ingannato con una certezza dell’80% che un uomo anonimo che tiene un’immagine avversaria progettata e stampata di un fiore sia anche Barack Obama. Il sistema non si cura nemmeno del fatto che il “falso volto” sia sul petto del soggetto, invece che sulle sue spalle.

Sebbene sia impressionante che i ricercatori siano riusciti a realizzare questo tipo di cattura di identità generando un’immagine coerente (un fiore) invece del solito rumore casuale, sembra che sfruttamenti come questo si verifichino abbastanza regolarmente nella ricerca sulla sicurezza della visione computerizzata. Ad esempio, quegli occhiali con motivi strani che sono riusciti a ingannare il riconoscimento facciale nel 2016, o immagini avversarie progettate in modo specifico che tentano di riscrivere i segnali stradali.

Se sei interessato, il modello di rete neurale convoluzionale (CNN) attaccato nell’esempio sopra è VGGFace (VGG-16), addestrato sul set di dati PubFig dell’Università di Columbia. Altri esempi di attacchi sviluppati dai ricercatori hanno utilizzato risorse diverse in combinazioni diverse.

Una tastiera è riclassificata come un conchiglia, in un modello WideResNet50 su ImageNet. I ricercatori hanno anche assicurato che il modello non abbia pregiudizi verso le conchiglie. Vedi il video completo per dimostrazioni estese e aggiuntive su https://www.youtube.com/watch?v=dhTTjjrxIcU

Il riconoscimento di immagini come un vettore di attacco emergente

Gli attacchi impressionanti che i ricercatori delineano e illustrano non sono critiche a specifici set di dati o architetture di apprendimento automatico che li utilizzano. Né possono essere facilmente difesi semplicemente cambiando i set di dati o i modelli, riaddestrando i modelli o utilizzando altri “rimedi semplici” che fanno inalberare gli sviluppatori di apprendimento automatico di fronte a dimostrazioni sporadiche di questo tipo di truffa.

Rather, gli sfruttamenti del team di Adelaide esemplificano una debolezza centrale nell’intera architettura attuale dello sviluppo dell’intelligenza artificiale per il riconoscimento di immagini; una debolezza che potrebbe esporre molti futuri sistemi di riconoscimento di immagini a una facile manipolazione da parte degli aggressori, e mettere qualsiasi misura difensiva successiva in difficoltà.

Immagina le ultime immagini di attacco avversarie (come il fiore sopra) aggiunte come “exploit zero-day” ai sistemi di sicurezza del futuro, proprio come le attuali strutture anti-malware e antivirus aggiornano le loro definizioni di virus ogni giorno.

Il potenziale per nuovi attacchi di immagini avversarie sarebbe inesauribile, perché l’architettura di base del sistema non ha previsto problemi a valle, come è accaduto con Internet, il Millennium Bug e la torre pendente di Pisa.

In che modo, allora, stiamo preparando il terreno per questo?

Ottenere i dati per un attacco

Le immagini avversarie come l’esempio del “fiore” sopra sono generate avendo accesso ai set di dati di immagini che hanno addestrato i modelli di computer. Non è necessario avere accesso “privilegiato” ai dati di addestramento (o alle architetture dei modelli), poiché i set di dati più popolari (e molti modelli addestrati) sono ampiamente disponibili in una scena di torrent robusta e costantemente aggiornata.

Ad esempio, il venerabile Golia dei set di dati di visione computerizzata, ImageNet, è disponibile su Torrent in tutte le sue molte iterazioni, bypassando le sue restrizioni consuete, e rendendo disponibili elementi secondari cruciali, come set di convalida.

Fonte: https://academictorrents.com

Se hai i dati, puoi (come osservano i ricercatori di Adelaide) effettivamente “progettare al contrario” qualsiasi set di dati popolare, come CityScapes, o CIFAR.

Nel caso di PubFig, il set di dati che ha reso possibile il “fiore di Obama” nell’esempio precedente, l’Università di Columbia ha affrontato una tendenza crescente di problemi di copyright relativi alla ridistribuzione dei set di dati di immagini, istruendo i ricercatori su come riprodurre il set di dati tramite collegamenti curati, anziché rendere direttamente disponibile la raccolta, osservando ‘Sembra che questo sia il modo in cui altre grandi banche dati basate su web stanno evolvendo’.

La maggior parte delle volte, non è necessario: Kaggle stima che i dieci set di dati di immagini più popolari nella visione computerizzata sono: CIFAR-10 e CIFAR-100 (entrambi direttamente scaricabili); CALTECH-101 e 256 (entrambi disponibili, e attualmente disponibili come torrent); MNIST (ufficialmente disponibile, anche su torrent); ImageNet (vedi sopra); Pascal VOC (disponibile, anche su torrent); MS COCO (disponibile, e su torrent); Sports-1M (disponibile); e YouTube-8M (disponibile).

Questa disponibilità è anche rappresentativa della gamma più ampia di set di dati di immagini di visione computerizzata disponibili, poiché l’oscurità è la morte in una cultura di sviluppo open source “pubblica o perisci”.

In ogni caso, la scarsità di nuovi set di dati gestibili, il costo elevato dello sviluppo di set di immagini, la dipendenza da “vecchi preferiti” e la tendenza a adattare semplicemente set di dati più vecchi esacerbano tutti il problema delineato nel nuovo articolo di Adelaide.

Critiche tipiche ai metodi di attacco di immagini avversarie

La critica più frequente e persistente degli ingegneri di apprendimento automatico contro l’efficacia dell’ultima tecnica di attacco di immagini avversarie è che l’attacco è specifico per un particolare set di dati, un particolare modello o entrambi; che non è “generalizzabile” ad altri sistemi; e, di conseguenza, rappresenta solo una minaccia banale.

La seconda critica più frequente è che l’attacco di immagini avversarie è ‘white box’, ovvero che si avrebbe bisogno di accesso diretto all’ambiente di addestramento o ai dati. Ciò è effettivamente uno scenario improbabile, nella maggior parte dei casi – ad esempio, se si volesse sfruttare il processo di addestramento per i sistemi di riconoscimento facciale della polizia metropolitana di Londra, si dovrebbe hackerare il sistema di NEC, o con una console o con un’ascia.

Il “DNA” a lungo termine dei set di dati di visione computerizzata popolari

Riguardo alla prima critica, dovremmo considerare non solo che un pugno di set di dati di visione computerizzata dominano l’industria per settore anno dopo anno (ad esempio ImageNet per molti tipi di oggetti, CityScapes per scene di guida e FFHQ per il riconoscimento facciale); ma anche che, in quanto semplici dati di immagini annotate, sono “agnostici della piattaforma” e altamente trasferibili.

A seconda delle sue capacità, qualsiasi architettura di addestramento di visione computerizzata troverà alcune caratteristiche di oggetti e classi nel set di dati ImageNet. Alcune architetture possono trovare più caratteristiche di altre, o stabilire connessioni più utili di altre, ma tutte dovrebbero trovare almeno le caratteristiche di livello più alto:

Dati di ImageNet, con il numero minimo di identificazioni corrette – caratteristiche di ‘livello alto’.

È proprio quelle caratteristiche di “livello alto” che distinguono e “improntano digitalmente” un set di dati, e che sono gli “uncini” affidabili su cui appendere una metodologia di attacco di immagini avversarie a lungo termine che possa attraversare diversi sistemi e crescere in tandem con il “vecchio” set di dati mentre questo viene perpetuato in nuove ricerche e prodotti.

Un’architettura più sofisticata produrrà identificazioni più accurate e granulari, caratteristiche e classi:

Tuttavia, più un generatore di attacchi avversari si basa su queste caratteristiche di livello inferiore (ad esempio “giovane maschio caucasico” invece di “viso”), meno efficace sarà nel passaggio ad architetture successive che utilizzano versioni diverse del set di dati originale – come un sottoinsieme o un insieme filtrato, dove molte delle immagini originali del set di dati completo non sono presenti:

Attacchi avversari su modelli pre-addestrati “azzerati”

Cosa succede nei casi in cui si scarica semplicemente un modello pre-addestrato che è stato originariamente addestrato su un set di dati di immagini molto popolare, e gli si fornisce completamente nuova dati?

Il modello è già stato addestrato su (ad esempio) ImageNet, e tutto ciò che rimane sono i pesi, che possono aver richiesto settimane o mesi per l’addestramento, e sono ora pronti per aiutare a identificare oggetti simili a quelli che esistevano nel set di dati originale (ora assente).

Con i dati originali rimossi dall’architettura di addestramento, ciò che rimane è la ‘predisposizione’ del modello per classificare gli oggetti nel modo in cui ha originariamente imparato a fare, il che causerà essenzialmente la riformazione di molte delle ‘firme’ originali e li renderà nuovamente vulnerabili agli stessi vecchi metodi di attacco di immagini avversarie.

Quei pesi sono preziosi. Senza i dati o i pesi, si ha essenzialmente un’architettura vuota senza dati. Si dovrà addestrare il modello da zero, a un grande costo di tempo e risorse di calcolo, proprio come hanno fatto gli autori originali (probabilmente con hardware più potente e un budget più alto di quello a disposizione).

I problemi sono che i pesi sono già abbastanza ben formati e resilienti. Sebbene si adatteranno un po’ durante l’addestramento, si comporteranno in modo simile sui nuovi dati come hanno fatto sui dati originali, producendo caratteristiche di firma che un sistema di attacco avversario può utilizzare nuovamente.

Nel lungo termine, ciò conserva anche il “DNA” dei set di dati di visione computerizzata che hanno dodici o più anni, e possono essere passati attraverso una notevole evoluzione da sforzi open source a implementazioni commercializzate – anche quando i dati di addestramento originali sono stati completamente eliminati all’inizio del progetto. Alcune di queste implementazioni commerciali potrebbero non verificarsi per anni.

Nessuna scatola bianca necessaria

Riguardo alla seconda critica comune ai sistemi di attacco di immagini avversarie, gli autori del nuovo articolo hanno scoperto che la loro capacità di ingannare i sistemi di riconoscimento con immagini di fiori progettate è altamente trasferibile su una serie di architetture.

Sebbene osservino che il loro metodo “Universal NaTuralistic adversarial paTches” (TnT) sia il primo a utilizzare immagini riconoscibili (anziché rumore di perturbazione casuale) per ingannare i sistemi di riconoscimento di immagini, gli autori affermano anche:

‘[TnTs] sono efficaci contro多pli classificatori all’avanguardia che vanno dal largamente utilizzato WideResNet50 nel compito di riconoscimento visivo su larga scala del dataset ImageNet ai modelli VGG-face nel compito di riconoscimento facciale del dataset PubFig sia negli attacchi targeted che untargeted.

‘TnTs possono possedere: i) la naturalità raggiungibile [con] i trigger utilizzati nei metodi di attacco Trojan; e ii) la generalizzazione e la trasferibilità degli esempi avversari ad altre reti.

‘Ciò solleva preoccupazioni di sicurezza riguardo ai DNN già distribuiti, nonché alle future distribuzioni di DNN in cui gli aggressori possono utilizzare patch di oggetti naturali poco appariscenti per fuorviare i sistemi di rete neurale senza manomettere il modello e rischiare di essere scoperti.’

Gli autori suggeriscono che le contromisure convenzionali, come la degradazione dell’accuratezza pulita di una rete, potrebbero teoricamente fornire alcune difese contro le patch TnT, ma che ‘TnTs possono comunque bypassare con successo queste difese provabili con la maggior parte dei sistemi di difesa che raggiungono il 0% di robustezza’.

Possibili altre soluzioni includono apprendimento federato, in cui la provenienza delle immagini contributive è protetta, e nuovi approcci che potrebbero “criptare” direttamente i dati durante l’addestramento, come uno recentemente suggerito dall’Università di Aeronautica e Astronautica di Nanchino.

Anche in quei casi, sarebbe importante addestrare su dati di immagini veramente nuovi – ormai le immagini e le annotazioni associate nei pochi set di dati di visione computerizzata più popolari sono così radicate nei cicli di sviluppo in tutto il mondo da assomigliare più a software che a dati; software che spesso non è stato notevolmente aggiornato negli anni.

Conclusione

Gli attacchi di immagini avversarie sono resi possibili non solo dalle pratiche di apprendimento automatico open source, ma anche da una cultura di sviluppo di intelligenza artificiale aziendale motivata a riutilizzare set di dati di visione computerizzata ben stabiliti per diversi motivi: hanno già dimostrato la loro efficacia; sono molto più economici rispetto a “partire da zero”; e sono mantenuti e aggiornati da menti e organizzazioni all’avanguardia in tutto il mondo, a livelli di finanziamento e personale che sarebbero difficili da replicare per una singola azienda.

Inoltre, in molti casi in cui i dati non sono originali (a differenza di CityScapes), le immagini sono state raccolte prima delle recenti controversie sulle pratiche di raccolta e privacy dei dati, lasciando questi set di dati più vecchi in una sorta di limbo semi-legale che può sembrare un “porto sicuro” dal punto di vista di un’azienda.

TnT Attacks! Universal Naturalistic Adversarial Patches Against Deep Neural Network Systems è stato scritto da Bao Gia Doan, Minhui Xue, Ehsan Abbasnejad, Damith C. Ranasinghe dell’Università di Adelaide, insieme a Shiqing Ma del Dipartimento di Informatica dell’Università di Rutgers.

Aggiornato il 1° dicembre 2021, 7:06 GMT+2 – correzione di un refuso.