Entraîner des modèles de vision par ordinateur sur du bruit aléatoire au lieu de vraies images

Les chercheurs du laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL) ont expérimenté l’utilisation d’images de bruit aléatoire dans les ensembles de données de vision par ordinateur pour entraîner les modèles de vision par ordinateur, et ont constaté que, au lieu de produire des déchets, la méthode est étonnamment efficace:

Modèles génératifs de l’expérience, classés par performance. Source: https://openreview.net/pdf?id=RQUl8gZnN7O

Alimenter des « déchets visuels » apparents dans les architectures de vision par ordinateur populaires ne devrait pas aboutir à ce type de performance. À droite de l’image ci-dessus, les colonnes noires représentent les scores de précision (sur Imagenet-100) pour quatre ensembles de données « réels ». Alors que les ensembles de données « bruit aléatoire » qui les précèdent (représentés dans différentes couleurs, voir index en haut à gauche) ne peuvent pas égaler cela, ils sont presque tous dans des limites supérieures et inférieures respectables (lignes rouges pointillées) pour la précision.

Dans ce sens, « la précision » ne signifie pas que le résultat ressemble nécessairement à un visage, une église, une pizza, ou tout autre domaine particulier pour lequel vous pourriez être intéressé à créer un système de synthèse d’images, tel qu’un réseau antagoniste génératif ou un cadre encodeur/décodeur.

Plutôt, cela signifie que les modèles CSAIL ont dérivé des « vérités » centrales largement applicables à partir de données d’images si apparemment non structurées qu’elles ne devraient pas être capables de les fournir.

Diversité contre naturalisme

Ces résultats ne peuvent pas non plus être attribués à la sur-ajustement: une discussion animée entre les auteurs et les rédacteurs en chef d’Open Review révèle que le mélange de différents contenus à partir de jeux de données visuellement divers (tels que « feuilles mortes », « fractales » et « bruit procédural » – voir image ci-dessous) dans un ensemble de données d’entraînement améliore réellement la précision dans ces expériences.

Cela suggère (et c’est une notion un peu révolutionnaire) un nouveau type de « sous-ajustement », où la « diversité » l’emporte sur le « naturalisme ».

La page du projet permet de visualiser de manière interactive les différents types de jeux de données d’images aléatoires utilisés dans l’expérience. Source: https://mbaradad.github.io/learning_with_noise/

Les résultats obtenus par les chercheurs remettent en question la relation fondamentale entre les réseaux de neurones basés sur des images et les « images du monde réel » qui leur sont présentées en quantités alarmantes chaque année, et impliquent que le besoin d’obtenir, de curer et de manipuler des ensembles de données d’images à grande échelle pourrait finalement devenir redondant. Les auteurs déclarent:

‘Les systèmes de vision actuels sont formés sur des ensembles de données énormes, et ces ensembles de données comportent des coûts: la curation est coûteuse, ils héritent des biais humains, et il existe des préoccupations en matière de confidentialité et de droits d’utilisation. Pour contrer ces coûts, l’intérêt a augmenté pour l’apprentissage à partir de sources de données moins coûteuses, telles que des images non étiquetées.’

‘Dans cet article, nous allons plus loin et nous demandons si nous pouvons nous passer complètement d’ensembles de données d’images réelles en apprenant à partir de processus de bruit procédural.’

Les chercheurs suggèrent que les architectures d’apprentissage automatique actuelles pourraient déduire quelque chose de beaucoup plus fondamental (ou, du moins, inattendu) à partir des images que ce qui était précédemment pensé, et que des images « sans sens » pourraient potentiellement transmettre une grande partie de ces connaissances de manière beaucoup moins coûteuse, même avec l’utilisation éventuelle de données synthétiques ad hoc, via des architectures de génération de données qui génèrent des images aléatoires au moment de l’entraînement:

‘Nous identifions deux propriétés clés qui font de bonnes données synthétiques pour l’entraînement des systèmes de vision: 1) le naturalisme, 2) la diversité. Il est intéressant de noter que les données les plus naturalistes ne sont pas toujours les meilleures, car le naturalisme peut se faire au détriment de la diversité.’

‘Le fait que les données naturalistes aident peut ne pas être surprenant, et cela suggère que, en effet, les données réelles à grande échelle ont de la valeur. Cependant, nous constatons que ce qui est crucial, ce n’est pas que les données soient réelles, mais qu’elles soient naturalistes, c’est-à-dire qu’elles doivent capturer certaines propriétés structurelles des données réelles.’

‘Beaucoup de ces propriétés peuvent être capturées dans des modèles de bruit simples.’

Visualisations de fonctionnalités résultant d’un encodeur dérivé d’AlexNet sur certaines des différentes « ensembles de données d’images aléatoires » utilisés par les auteurs, couvrant la 3e et la 5e (dernière) couche de convolution. La méthodologie utilisée ici suit celle établie dans la recherche de Google AI en 2017.

L’article, présenté à la 35e Conférence sur le traitement de l’information neuronale (NeurIPS 2021) à Sydney, s’intitule Apprendre à voir en regardant le bruit, et provient de six chercheurs de CSAIL, avec une contribution égale.

Le travail a été recommandé par consensus pour une sélection de projecteur à NeurIPS 2021, avec des commentaires de pairs caractérisant l’article comme « une avancée scientifique » qui ouvre un « grand domaine d’étude », même s’il pose autant de questions qu’il n’en répond.

Dans l’article, les auteurs concluent:

‘Nous avons montré que, lorsqu’ils sont conçus à l’aide de résultats de recherches antérieures sur les statistiques d’images naturelles, ces ensembles de données peuvent former avec succès des représentations visuelles. Nous espérons que cet article motivará l’étude de nouveaux modèles génératifs capables de produire du bruit structuré atteignant une performance encore plus élevée lorsqu’il est utilisé dans un ensemble diversifié de tâches visuelles.’

‘Serait-il possible de correspondre à la performance obtenue avec la pré-formation d’ImageNet? Peut-être que, en l’absence d’un grand ensemble de données d’entraînement spécifique à une tâche particulière, la meilleure pré-formation ne consisterait pas à utiliser un ensemble de données réel standard tel qu’ImageNet.’