Les chercheurs s’appuient sur les neuroscientifiques pour surmonter les biais des jeux de données

Une équipe de chercheurs du MIT, de l’Université Harvard et de Fujitsu, Ltd. a cherché à savoir comment un modèle d’apprentissage automatique pouvait surmonter les biais des jeux de données. Ils ont fait appel à une approche de neurosciences pour étudier comment les données de formation affectent la capacité d’un réseau de neurones artificiels à reconnaître des objets qu’il n’a jamais vus.

La recherche a été publiée dans Nature Machine Intelligence.

Diversité des données de formation

Les résultats de l’étude ont montré que la diversité des données de formation influence la capacité d’un réseau de neurones à surmonter les biais. Cependant, la diversité des données peut également avoir un impact négatif sur les performances du réseau. Les chercheurs ont également montré que la façon dont un réseau de neurones est formé peut également influencer sa capacité à surmonter un jeu de données biaisé.

Xavier Boix est un chercheur scientifique au Département des sciences du cerveau et de la cognition (BCS) et au Centre pour les cerveaux, les esprits et les machines (CBMM). Il est également l’auteur principal de l’article.

“Un réseau de neurones peut surmonter les biais des jeux de données, ce qui est encourageant. Mais la principale conclusion ici est que nous devons prendre en compte la diversité des données. Nous devons cesser de penser que si nous collectons simplement une grande quantité de données brutes, cela nous mènera quelque part. Nous devons être très prudents dans la conception des jeux de données dès le départ”, déclare Boix.

L’équipe a adopté la mentalité d’un neuroscientifique pour développer la nouvelle approche. Selon Boix, il est courant d’utiliser des jeux de données contrôlés dans les expériences, donc l’équipe a construit des jeux de données qui contenaient des images d’objets différents dans diverses poses. Ils ont ensuite contrôlé les combinaisons de sorte que certains jeux de données soient plus diversifiés que d’autres. Un jeu de données avec plus d’images qui montrent des objets d’un seul point de vue est moins diversifié, tandis qu’un jeu de données avec plus d’images qui montrent des objets de plusieurs points de vue est plus diversifié.

Les chercheurs ont pris ces jeux de données et les ont utilisés pour former un réseau de neurones pour la classification d’images. Ils ont ensuite étudié comment il était bon pour identifier des objets de points de vue que le réseau n’avait pas vus pendant la formation.

Ils ont constaté que les jeux de données plus diversifiés permettent au réseau de mieux généraliser de nouvelles images ou de nouveaux points de vue, et que cela est crucial pour surmonter les biais.

“Mais il n’est pas comme si plus de diversité des données était toujours mieux ; il y a une tension ici. Lorsque le réseau de neurones devient meilleur pour reconnaître de nouvelles choses qu’il n’a pas vues, alors il deviendra plus difficile pour lui de reconnaître les choses qu’il a déjà vues”, déclare Boix.

Méthodes de formation des réseaux de neurones

L’équipe a également constaté qu’un modèle formé séparément pour chaque tâche est mieux à même de surmonter les biais par rapport à un modèle formé pour les deux tâches ensemble.

“Les résultats étaient vraiment frappants. En fait, la première fois que nous avons effectué cette expérience, nous pensions que c’était un bug. Il nous a fallu plusieurs semaines pour réaliser que c’était un résultat réel, car il était si inattendu”, poursuit Boix.

Une analyse plus approfondie a révélé que la spécialisation des neurones est impliquée dans ce processus. Lorsque le réseau de neurones est formé pour reconnaître des objets dans des images, deux types de neurones émergent. Un neurone se spécialise dans la reconnaissance de la catégorie d’objets, tandis que l’autre se spécialise dans la reconnaissance du point de vue.

Les neurones spécialisés deviennent plus prononcés lorsque le réseau est formé pour effectuer des tâches séparément. Cependant, lorsque le réseau est formé pour effectuer les deux tâches en même temps, certains neurones deviennent dilués. Cela signifie qu’ils ne se spécialisent pas dans une tâche, et qu’ils sont plus susceptibles de se tromper.

“Mais la prochaine question maintenant est, comment ces neurones sont-ils arrivés là ? Vous formez le réseau de neurones et ils émergent du processus d’apprentissage. Personne n’a dit au réseau d’inclure ces types de neurones dans son architecture. C’est la chose fascinante”, déclare Boix.

Les chercheurs vont chercher à explorer cette question dans leur travail futur, ainsi qu’à appliquer la nouvelle approche à des tâches plus complexes.