Une équipe développe une approche pour comparer les réseaux de neurones

Une équipe de chercheurs du Laboratoire national de Los Alamos a développé une nouvelle approche pour comparer les réseaux de neurones. Selon l’équipe, cette nouvelle approche regarde à l’intérieur de la « boîte noire » de l’intelligence artificielle (IA) et les aide à comprendre le comportement des réseaux de neurones. Les réseaux de neurones, qui reconnaissent des régularités dans les jeux de données, sont utilisés pour une large gamme d’applications comme les systèmes de reconnaissance faciale et les véhicules autonomes.

L’équipe a présenté son article, « If You’ve Trained One You’ve Trained Them All : Inter-Architecture Similarity Increases With Robustness », à la Conférence sur l’incertitude en intelligence artificielle.

Haydn Jones est un chercheur dans le groupe de recherche avancée en systèmes cybernétiques de Los Alamos et auteur principal de l’article de recherche.

Meilleure compréhension des réseaux de neurones

« La communauté de recherche en intelligence artificielle n’a pas nécessairement une compréhension complète de ce que font les réseaux de neurones ; ils nous donnent de bons résultats, mais nous ne savons pas comment ou pourquoi », a déclaré Jones. « Notre nouvelle méthode fait un meilleur travail de comparaison des réseaux de neurones, ce qui est une étape cruciale vers une meilleure compréhension des mathématiques derrière l’IA. »

La nouvelle recherche aidera également les experts à comprendre le comportement des réseaux de neurones robustes.

Alors que les réseaux de neurones sont de haute performance, ils sont également fragiles. De petits changements dans les conditions, tels qu’un panneau d’arrêt partiellement recouvert qui est traité par un véhicule autonome, peuvent amener le réseau de neurones à mal identifier le panneau. Cela signifie que le véhicule pourrait ne pas s’arrêter, ce qui peut être dangereux.

Entraînement adversarial des réseaux de neurones

Les chercheurs se sont efforcés d’améliorer ces types de réseaux de neurones en regardant les moyens d’améliorer la robustesse du réseau. L’une des approches consiste à « attaquer » les réseaux pendant leur processus d’entraînement, où les chercheurs introduisent intentionnellement des aberrations tout en entraînant l’IA à les ignorer. Le processus, qui est appelé entraînement adversarial, rend plus difficile pour les réseaux d’être trompés.

L’équipe a appliqué la nouvelle métrique de similarité des réseaux aux réseaux de neurones entraînés de manière adversariale. Ils ont été surpris de constater que la entraînement adversarial fait que les réseaux de neurones dans le domaine de la vision par ordinateur convergent vers des représentations de données similaires, quelle que soit l’architecture du réseau, à mesure que l’ampleur de l’attaque augmente.

« Nous avons constaté que lorsque nous formons des réseaux de neurones pour qu’ils soient robustes contre les attaques adverses, ils commencent à faire les mêmes choses », a déclaré Jones.

Ce n’est pas la première fois que les experts ont cherché à trouver l’architecture parfaite pour les réseaux de neurones. Cependant, les nouvelles découvertes démontrent que l’introduction de la entraînement adversarial réduit considérablement l’écart, ce qui signifie que la communauté de recherche en IA n’a peut-être pas besoin d’explorer autant de nouvelles architectures puisque l’on sait maintenant que la entraînement adversarial fait que les architectures diverses convergent vers des solutions similaires.

« En constatant que les réseaux de neurones robustes sont similaires les uns aux autres, nous facilitons la compréhension de la manière dont l’IA robuste pourrait vraiment fonctionner », a déclaré Jones. « Nous pourrions même découvrir des indices sur la façon dont la perception se produit chez les humains et les autres animaux. »