Équipe de recherche du MIT conçoit un réseau d’IA pour résister aux exemples adverses

Une équipe de chercheurs du MIT a développé un algorithme d’apprentissage profond destiné à aider les IA à faire face aux « exemples adverses » qui peuvent causer des erreurs de prédiction et des actions incorrectes. L’algorithme conçu par l’équipe du MIT peut aider les systèmes d’IA à maintenir leur précision et à éviter les erreurs lorsqu’ils sont confrontés à des points de données confus.

Les systèmes d’IA analysent les caractéristiques d’entrée d’un événement pour décider comment y réagir. Un système d’IA responsable de la conduite d’un véhicule autonome doit analyser les données provenant des caméras du véhicule et décider quoi faire en fonction des données contenues dans ces images. Cependant, il est possible que les données d’image analysées par l’IA ne soient pas une représentation exacte du monde réel. Un dysfonctionnement du système de caméra peut altérer certains pixels, conduisant l’IA à tirer des conclusions incorrectes sur le plan d’action approprié.

Les « entrées adverses » sont comme des illusions d’optique pour un système d’IA. Ce sont des entrées qui confondent l’IA d’une manière ou d’une autre. Les entrées adverses peuvent être conçues dans le but de causer des erreurs à l’IA, en représentant les données d’une manière qui fait croire à l’IA que le contenu d’un exemple est une chose et non une autre. Par exemple, il est possible de créer un exemple adverse pour un système de vision par ordinateur en apportant de légères modifications aux images de chats, ce qui fait que l’IA les classe incorrectement comme des moniteurs d’ordinateur. L’équipe de recherche du MIT a conçu un algorithme pour aider à se protéger contre les exemples adverses en laissant le modèle maintenir un certain niveau de « scepticisme » à l’égard des entrées qu’il reçoit.

Les chercheurs du MIT ont appelé leur approche « Certified Adversarial Robustness for Deep Reinforcement Learning », ou CARRL. Le CARRL est composé d’un réseau d’apprentissage par renforcement et d’un réseau neuronal profond traditionnel joints ensemble. L’apprentissage par renforcement utilise le concept de « récompenses » pour former un modèle, en donnant au modèle une récompense proportionnellement plus élevée à mesure qu’il se rapproche de son objectif. Le modèle d’apprentissage par renforcement est utilisé pour former un Deep Q-Netowrkk, ou DQN. Les DQNs fonctionnent comme des réseaux neuronaux traditionnels, mais ils associent également les valeurs d’entrée à un niveau de récompense, à la manière des systèmes d’apprentissage par renforcement.

Le CARRL fonctionne en modélisant une gamme de valeurs différentes possibles pour les données d’entrée.

En supposant que l’IA tente de suivre la position d’un point dans une image plus grande, l’IA considère que la position du point pourrait être le résultat d’une influence adverse et considère les régions où le point pourrait se trouver à la place. Le réseau prend ensuite des décisions en fonction du pire scénario pour la position du point, en se fixant sur l’action qui produirait la récompense la plus élevée dans ce pire scénario.

La méthode typique pour se protéger contre les exemples adverses consiste à exécuter des versions légèrement modifiées de l’image d’entrée à travers le réseau d’IA pour voir si la même décision est toujours prise. Si les modifications apportées à l’image n’affectent pas de manière significative le résultat, il y a une bonne chance que le réseau soit résistant aux exemples adverses. Cependant, ce n’est pas une stratégie viable pour les scénarios où des décisions rapides doivent être prises, car ces méthodes de test sont coûteuses en temps et en calcul. Pour cette raison, l’équipe du MIT a cherché à créer un réseau neuronal capable de prendre des décisions en fonction d’hypothèses les plus défavorables, capable de fonctionner dans des scénarios où la sécurité est critique.

Les chercheurs du MIT ont testé leurs algorithmes en faisant jouer à l’IA un jeu de Pong. Ils ont inclus des exemples adverses en alimentant l’IA avec des instances où la balle était affichée légèrement plus bas sur l’écran qu’elle ne l’était en réalité. À mesure que l’influence des exemples adverses augmentait, les techniques correctives standard commençaient à échouer, tandis que le CARRL était capable de gagner plus de parties par comparaison. Le CARRL a également été testé sur une tâche d’évitement de collision. La tâche s’est déroulée dans un environnement virtuel où deux agents différents ont tenté de changer de position sans se heurter. L’équipe de recherche a modifié la perception du premier agent par rapport au deuxième agent et le CARRL a été capable de diriger avec succès le premier agent autour du deuxième agent, même dans des conditions d’incertitude élevée, bien qu’il y ait un moment où le CARRL est devenu trop prudent et a fini par éviter sa destination tout à fait.

Quoi qu’il en soit, Michael Everett, chercheur postdoctoral du département d’aéronautique et d’astronautique du MIT, qui a mené l’étude, a expliqué que la recherche pourrait avoir des implications pour la capacité des robots à gérer des situations imprévisibles. Comme l’a expliqué Everett via MIT News :

« Les gens peuvent être adverses, comme se mettre devant un robot pour bloquer ses capteurs, ou interagir avec eux, pas nécessairement avec les meilleures intentions », déclare Everett. « Comment un robot peut-il penser à toutes les choses que les gens pourraient essayer de faire, et essayer de les éviter ? Quel type de modèles adverses voulons-nous défendre ? C’est quelque chose que nous réfléchissons à la manière de le faire. »