Les chercheurs de Google découvrent le problème d’underspecification qui freine de nombreux modèles d’IA

Récemment, une équipe de chercheurs de Google (GOOGL ) a identifié une cause commune des échecs des modèles d’IA, pointant l’underspecification comme l’une des principales raisons pour lesquelles les modèles d’apprentissage automatique fonctionnent souvent très différemment dans le monde réel que lors des tests et du développement.

Les modèles d’apprentissage automatique échouent souvent lorsqu’ils sont confrontés à des tâches dans un environnement réel, même si les modèles fonctionnent de manière optimale en laboratoire. Il existe de nombreuses raisons pour lesquelles le décalage entre la formation/développement et les performances réelles se produit. L’une des raisons les plus courantes pour lesquelles les modèles d’IA échouent lors de tâches réelles est un concept appelé décalage de données. Le décalage de données fait référence à une différence fondamentale entre le type de données utilisé pour développer un modèle d’apprentissage automatique et les données alimentées dans le modèle lors de son application. Par exemple, les modèles de vision par ordinateur formés sur des données d’images de haute qualité auront du mal à fonctionner lorsqu’ils seront alimentés par des données capturées par des caméras de mauvaise qualité trouvées dans l’environnement quotidien du modèle.

Selon MIT Technology Review, une équipe de 40 chercheurs différents de Google a identifié une autre raison pour laquelle les performances d’un modèle d’apprentissage automatique peuvent varier considérablement. Le problème est l’« underspecification », un concept statistique qui décrit les problèmes où les phénomènes observés ont de multiples causes possibles, dont certaines ne sont pas prises en compte par le modèle. Selon le chef de l’étude, Alex D’Amour, le problème se produit dans de nombreux modèles d’apprentissage automatique, disant que le phénomène « se produit partout ».

La méthode typique de formation d’un modèle d’apprentissage automatique consiste à alimenter le modèle avec une grande quantité de données qu’il peut analyser et extraire des modèles pertinents. Ensuite, le modèle est alimenté avec des exemples qu’il n’a pas vus et on lui demande de prédire la nature de ces exemples en fonction des caractéristiques qu’il a apprises. Une fois que le modèle a atteint un certain niveau de précision, la formation est généralement considérée comme terminée.

Selon l’équipe de recherche de Google, il faut faire plus pour s’assurer que les modèles peuvent vraiment généraliser aux données non formées. La méthode classique de formation des modèles d’apprentissage automatique produira divers modèles qui peuvent tous passer leurs tests, mais ces modèles différeront de petites manières qui semblent insignifiantes mais ne le sont pas. Les différents nœuds dans les modèles auront des valeurs aléatoires différentes attribuées, ou les données de formation pourraient être sélectionnées ou représentées de différentes manières. Ces variations sont petites et souvent arbitraires, et si elles n’ont pas un impact important sur la façon dont les modèles fonctionnent lors de la formation, elles sont faciles à négliger. Cependant, lorsque l’impact de toutes ces petites modifications s’accumule, ils peuvent conduire à des variations importantes dans les performances réelles.

Cette underspecification est problématique car elle signifie que, même si le processus de formation est capable de produire de bons modèles, il peut également produire un mauvais modèle et la différence ne serait pas découverte jusqu’à ce que le modèle soit sorti de la production et entré en utilisation.

Afin d’évaluer l’impact de l’underspecification, l’équipe de recherche a examiné un certain nombre de modèles différents. Chaque modèle a été formé en utilisant le même processus de formation, puis les modèles ont été soumis à une série de tests pour mettre en évidence les différences de performance. Dans un cas, 50 versions différentes d’un système de reconnaissance d’images ont été formées sur le jeu de données ImageNet. Les modèles étaient tous les mêmes, à l’exception des valeurs de réseau de neurones qui leur ont été attribuées de manière aléatoire au début de la formation. Les tests de stress utilisés pour déterminer les différences entre les modèles ont été effectués en utilisant ImageNet-C, une variation du jeu de données d’origine consistant en des images modifiées par contraste ou ajustement de luminosité. Les modèles ont également été testés sur ObjectNet, une série d’images présentant des objets du quotidien dans des orientations et des contextes inhabituels. Même si tous les 50 modèles avaient des performances approximativement identiques sur le jeu de données de formation, les performances fluctuaient largement lorsqu’ils étaient soumis aux tests de stress.

L’équipe de recherche a obtenu des résultats similaires lorsqu’elle a formé et testé deux systèmes de traitement du langage naturel différents, ainsi que lorsqu’elle a testé divers autres modèles de vision par ordinateur. Dans chaque cas, les modèles ont divergé considérablement les uns des autres, même si le processus de formation pour tous les modèles était le même.

Selon D’Amour, les chercheurs et les ingénieurs en apprentissage automatique doivent effectuer beaucoup plus de tests de stress avant de libérer les modèles dans la nature. Cela peut être difficile à faire, étant donné que les tests de stress doivent être adaptés à des tâches spécifiques en utilisant des données du monde réel, qui peuvent être difficiles à obtenir pour certaines tâches et contextes. Une solution potentielle au problème d’underspecification consiste à produire de nombreux modèles en même temps, puis à tester les modèles sur une série de tâches réelles, en sélectionnant le modèle qui montre régulièrement les meilleurs résultats. Développer des modèles de cette manière prend beaucoup de temps et de ressources, mais le compromis pourrait en valoir la peine, en particulier pour les modèles d’IA utilisés dans des contextes médicaux ou d’autres domaines où la sécurité est une préoccupation majeure. Comme l’a expliqué D’Amour via MIT Technology Review:

« Nous devons mieux spécifier exactement quels sont nos besoins pour nos modèles. Parce que souvent, ce qui se passe finalement, c’est que nous découvrons ces besoins seulement après que le modèle a échoué dans le monde. »