Équipe développe une approche pour comparer les réseaux de neurones

Une équipe de chercheurs du Los Alamos National Laboratory a développé une nouvelle approche pour comparer les réseaux de neurones. Selon l’équipe, cette nouvelle approche regarde à l’intérieur de la « boîte noire » de l’intelligence artificielle (IA), et elle les aide à comprendre le comportement des réseaux de neurones. Les réseaux de neurones, qui reconnaissent les modèles dans les jeux de données, sont utilisés pour une large gamme d’applications comme les systèmes de reconnaissance faciale et les véhicules autonomes. 

L’équipe a présenté leur article, “If You’ve Trained One You’ve Trained Them All: Inter-Architecture Similarity Increases With Robustness,” à la Conférence sur l’incertitude en intelligence artificielle. 

Haydn Jones est un chercheur dans le groupe de recherche avancée en systèmes cybernétiques du Los Alamos et auteur principal de l’article de recherche. 

Mieux comprendre les réseaux de neurones 

“La communauté de recherche en intelligence artificielle ne comprend pas nécessairement complètement ce que les réseaux de neurones font ; ils nous donnent de bons résultats, mais nous ne savons pas comment ou pourquoi,” a déclaré Jones. “Notre nouvelle méthode fait un meilleur travail de comparaison des réseaux de neurones, ce qui est une étape cruciale vers une meilleure compréhension des mathématiques derrière l’IA. 

La nouvelle recherche jouera également un rôle dans l’aide aux experts pour comprendre le comportement des réseaux de neurones robustes. 

Alors que les réseaux de neurones ont des performances élevées, ils sont également fragiles. De petits changements dans les conditions, comme un panneau d’arrêt partiellement couvert qui est traité par un véhicule autonome, peuvent causer le mauvais fonctionnement du réseau de neurones. Cela signifie qu’il pourrait ne jamais s’arrêter, ce qui peut être dangereux. 

Entraînement de réseaux de neurones adverses

Les chercheurs ont cherché à améliorer ces types de réseaux de neurones en regardant les moyens d’améliorer la robustesse du réseau. L’une des approches consiste à « attaquer » les réseaux pendant leur processus d’entraînement, où les chercheurs introduisent intentionnellement des aberrations pendant l’entraînement de l’IA pour les ignorer. Le processus, qui est appelé entraînement adverse, rend plus difficile pour les réseaux d’être trompés. 

L’équipe a appliqué la nouvelle métrique de similarité de réseau aux réseaux de neurones entraînés de manière adverse. Ils ont été surpris de constater que l’entraînement adverse fait que les réseaux de neurones dans le domaine de la vision par ordinateur convergent vers des représentations de données similaires, quelle que soit l’architecture du réseau, à mesure que la grandeur de l’attaque augmente. 

“Nous avons constaté que lorsque nous entraînons les réseaux de neurones pour qu’ils soient robustes contre les attaques adverses, ils commencent à faire les mêmes choses,” a déclaré Jones. 

Ce n’est pas la première fois que les experts ont cherché à trouver l’architecture parfaite pour les réseaux de neurones. Cependant, les nouvelles découvertes démontrent que l’introduction de l’entraînement adverse réduit considérablement l’écart, ce qui signifie que la communauté de recherche en IA n’a peut-être pas besoin d’explorer autant de nouvelles architectures puisque l’on sait maintenant que l’entraînement adverse fait converger les architectures diverses vers des solutions similaires. 

“En constatant que les réseaux de neurones robustes sont similaires les uns aux autres, nous facilitons la compréhension de la manière dont l’IA robuste pourrait vraiment fonctionner,” a déclaré Jones. “Nous pourrions même découvrir des indices sur la façon dont la perception se produit chez les humains et les autres animaux.”