L’équipe développe une approche pour comparer les réseaux de neurones

Une équipe de chercheurs du Laboratoire national de Los Alamos a développé une nouvelle approche pour comparer les réseaux de neurones. Selon l’équipe, cette nouvelle approche regarde à l’intérieur de la « boîte noire » de l’intelligence artificielle (IA) et les aide à comprendre le comportement des réseaux de neurones. Les réseaux de neurones, qui reconnaissent les modèles dans les jeux de données, sont utilisés pour une large gamme d’applications comme les systèmes de reconnaissance faciale et les véhicules autonomes.

L’équipe a présenté son article, « If You’ve Trained One You’ve Trained Them All : Inter-Architecture Similarity Increases With Robustness », à la Conférence sur l’incertitude en intelligence artificielle.

Haydn Jones est un chercheur dans le groupe de recherche avancée en systèmes cybernétiques de Los Alamos et auteur principal de l’article de recherche.

Meilleure compréhension des réseaux de neurones

« La communauté de recherche en intelligence artificielle n’a pas nécessairement une compréhension complète de ce que font les réseaux de neurones ; ils nous donnent de bons résultats, mais nous ne savons pas comment ou pourquoi », a déclaré Jones. « Notre nouvelle méthode fait un meilleur travail de comparaison des réseaux de neurones, ce qui est une étape cruciale vers une meilleure compréhension des mathématiques derrière l’IA.

La nouvelle recherche jouera également un rôle dans l’aide des experts à comprendre le comportement des réseaux de neurones robustes.

Alors que les réseaux de neurones sont de haute performance, ils sont également fragiles. De petits changements dans les conditions, tels qu’un panneau d’arrêt partiellement recouvert qui est traité par un véhicule autonome, peuvent causer au réseau de neurones de mal identifier le panneau. Cela signifie qu’il ne s’arrêtera jamais, ce qui peut être dangereux.

Formation adverse des réseaux de neurones

Les chercheurs se sont efforcés d’améliorer ces types de réseaux de neurones en regardant les moyens d’améliorer la robustesse du réseau. L’une des approches consiste à « attaquer » les réseaux pendant leur processus de formation, où les chercheurs introduisent intentionnellement des aberrations pendant la formation de l’IA pour les ignorer. Le processus, qui est appelé formation adverse, rend plus difficile pour les réseaux d’être trompés.

L’équipe a appliqué la nouvelle métrique de similarité des réseaux aux réseaux de neurones formés de manière adverse. Ils ont été surpris de constater que la formation adverse fait que les réseaux de neurones dans le domaine de la vision par ordinateur convergent vers des représentations de données similaires, quelle que soit l’architecture du réseau, à mesure que la grandeur de l’attaque augmente.

« Nous avons constaté que lorsque nous formons des réseaux de neurones pour qu’ils soient robustes contre les attaques adverses, ils commencent à faire les mêmes choses », a déclaré Jones.

Ce n’est pas la première fois que les experts ont cherché à trouver l’architecture parfaite pour les réseaux de neurones. Cependant, les nouvelles découvertes démontrent que l’introduction de la formation adverse réduit considérablement l’écart, ce qui signifie que la communauté de recherche en IA n’a peut-être pas besoin d’explorer autant de nouvelles architectures puisque l’on sait maintenant que la formation adverse fait que les architectures diverses convergent vers des solutions similaires.

« En constatant que les réseaux de neurones robustes sont similaires les uns aux autres, nous facilitons la compréhension de la manière dont l’IA robuste pourrait vraiment fonctionner », a déclaré Jones. « Nous pourrions même découvrir des indices sur la façon dont la perception se produit chez les humains et les autres animaux. »