Team di ricerca del MIT progetta una rete AI per resistere agli esempi avversari

Un team di ricercatori del MIT ha sviluppato un algoritmo di apprendimento profondo destinato ad aiutare gli AI a gestire gli “esempi avversari”, che possono causare a un AI di fare previsioni errate e compiere azioni errate. L’algoritmo progettato dal team del MIT può aiutare i sistemi AI a mantenere la loro accuratezza e evitare di commettere errori quando si trovano di fronte a dati confusi.

I sistemi AI analizzano le caratteristiche di input di un evento per decidere come rispondere a quell’evento. Un AI responsabile della manovra di un veicolo autonomo deve prendere i dati dalle telecamere del veicolo e decidere cosa fare in base ai dati contenuti in quelle immagini. Tuttavia, c’è la possibilità che i dati dell’immagine analizzati dall’AI non siano una rappresentazione accurata del mondo reale. Un glitch nel sistema di telecamere potrebbe alterare alcuni dei pixel, portando l’AI a trarre conclusioni errate sul corso di azione appropriato.

I “dati di input avversari” sono come illusioni ottiche per un sistema AI. Sono input che confondono un AI in qualche modo. I dati di input avversari possono essere creati con l’obiettivo esplicito di far commettere errori all’AI, rappresentando i dati in un modo che fa credere all’AI che il contenuto di un esempio sia una cosa invece di un’altra. Ad esempio, è possibile creare un esempio avversario per un sistema di visione computerizzata facendo piccoli cambiamenti alle immagini di gatti, facendo in modo che l’AI classifichi erroneamente le immagini come monitor del computer. Il team di ricerca del MIT ha progettato un algoritmo per aiutare a difendersi contro gli esempi avversari, consentendo al modello di mantenere un certo grado di “scetticismo” sugli input che riceve.

I ricercatori del MIT hanno chiamato il loro approccio “Certified Adversarial Robustness for Deep Reinforcement Learning”, o CARRL. CARRL è composto da una rete di apprendimento per rinforzo e una rete neurale profonda tradizionale unite insieme. L’apprendimento per rinforzo utilizza il concetto di “ricompense” per addestrare un modello, dando al modello una ricompensa proporzionale alla sua vicinanza all’obiettivo. Il modello di apprendimento per rinforzo viene utilizzato per addestrare una rete Q-Net, o DQN. Le DQN funzionano come reti neurali tradizionali, ma associano anche i valori di input a un livello di ricompensa, proprio come i sistemi di apprendimento per rinforzo.

CARRL funziona modellando una gamma di valori diversi per i dati di input.

Supponendo che l’AI stia cercando di tracciare la posizione di un punto all’interno di un’immagine più grande, l’AI considera che la posizione del punto potrebbe essere il risultato dell’influenza avversaria e considera le aree in cui il punto potrebbe essere invece. La rete prende decisioni in base al worst-case scenario per la posizione del punto, decidendo l’azione che produrrebbe la ricompensa più alta in questo worst-case scenario.

Il metodo tradizionale per difendersi contro gli esempi avversari consiste nell’eseguire versioni leggermente alterate dell’immagine di input attraverso la rete AI per vedere se la stessa decisione viene sempre presa. Se le alterazioni dell’immagine non influenzano significativamente il risultato, c’è una buona possibilità che la rete sia resistente agli esempi avversari. Tuttavia, questo non è un approccio praticabile per scenari in cui devono essere prese decisioni rapide, poiché questi sono metodi di test che richiedono molto tempo e sono computazionalmente costosi. Per questo motivo, il team del MIT ha cercato di creare una rete neurale che potesse prendere decisioni in base a ipotesi worst-case, in grado di operare in scenari in cui la sicurezza è critica.

I ricercatori del MIT hanno testato i loro algoritmi facendo giocare all’AI un gioco di Pong. Hanno incluso esempi avversari alimentando l’AI con istanze in cui la palla era visualizzata leggermente più in basso sullo schermo di quanto non fosse in realtà. Man mano che l’influenza degli esempi avversari cresceva, le tecniche correttive standard iniziavano a fallire, mentre CARRL era in grado di vincere più partite in confronto. CARRL è stato anche testato su un compito di evitamento di collisioni. Il compito si è svolto in un ambiente virtuale in cui due agenti diversi hanno cercato di scambiare posizioni senza urtarsi a vicenda. Il team di ricerca ha alterato la percezione del primo agente del secondo agente e CARRL è stato in grado di guidare con successo il primo agente intorno al secondo agente, anche in condizioni di alta incertezza, sebbene ci sia stato un punto in cui CARRL è diventato troppo cauto e ha finito per evitare la sua destinazione nel complesso.

Indipendentemente da ciò, il dottorando del Dipartimento di Aeronautica e Astronautica del MIT Michael Everett, che ha guidato lo studio, ha spiegato che la ricerca potrebbe avere implicazioni per la capacità dei robot di gestire situazioni imprevedibili. Come ha spiegato Everett via MIT News:

“Le persone possono essere avversarie, come mettersi davanti a un robot per bloccare i suoi sensori, o interagire con loro, non necessariamente con le migliori intenzioni”, dice Everett. “Come può un robot pensare a tutte le cose che le persone potrebbero provare a fare e cercare di evitarle? Che tipo di modelli avversari vogliamo difendere? È qualcosa a cui stiamo pensando per capire come farlo.”