Recherche Google identifie un goulet d’étranglement dans les approches hyperscale de l’IA

Un nouvel article de recherche de Google indique que la tendance actuelle vers la création de jeux de données très volumineux peut être contre-productive pour le développement de systèmes d’intelligence artificielle efficaces. En fait, la recherche indique que de meilleurs produits d’apprentissage automatique peuvent émerger en étant formés sur des jeux de données moins précis (c’est-à-dire techniquement « moins bons »).

Si les principes obtenus par les chercheurs sont valables, cela signifie que les jeux de données « hyperscale » tels que le récemment publié LAION-400M (qui contient 400 millions de paires texte/image), et les données derrière le moteur de langage neuronal GPT-3 (contenant 175 milliards de paramètres), sont potentiellement soumis à une sorte de « limite thermique » dans les architectures et les méthodologies d’apprentissage automatique traditionnelles et populaires, où le volume énorme de données « sature » les applications en aval et les empêche de généraliser de manière utile.

Les chercheurs proposent également des méthodes alternatives pour repenser l’architecture des jeux de données hyperscale, afin de rétablir l’équilibre.

L’article indique:

‘En creusant plus profondément pour comprendre les raisons qui donnent naissance à ces phénomènes, nous montrons que le comportement de saturation que nous observons est étroitement lié à la façon dont les représentations évoluent à travers les couches des modèles. Nous présentons un scénario encore plus extrême où les performances en amont et en aval sont en désaccord les unes avec les autres. C’est-à-dire qu’avoir de meilleures performances en aval nécessite de nuire à la précision en amont.’

L’étude est intitulée Exploration des limites de la pré-formation à grande échelle, et provient de quatre auteurs de Google Research.

Étude de la « saturation »

Les auteurs remettent en question les hypothèses prévalentes sur les relations entre l’apprentissage automatique et les données dans l’ère des données hyperscale: que la mise à l’échelle des modèles et de la taille des données améliore notablement les performances (une croyance qui a été renforcée par l’hype autour du GPT-3 depuis son lancement); et que ces meilleures performances « passent » aux tâches en aval de manière linéaire (c’est-à-dire désirable), de sorte que les algorithmes sur appareil qui sont finalement lancés sur le marché, dérivés des jeux de données et des modèles formés Otherwise ungovernables, bénéficient complètement des connaissances des architectures amont complètes.

‘Ces vues,’ notent les chercheurs ‘suggèrent que dépenser des ressources de calcul et d’effort de recherche pour améliorer les performances sur un corpus massif paierait parce que cela nous permettrait de résoudre de nombreuses tâches en aval presque gratuitement.’

Mais l’article soutient qu’un manque de ressources de calcul et les méthodes « économiques » d’évaluation des modèles sont à l’origine d’une fausse impression de la dynamique des relations entre le volume de données et les systèmes d’IA utiles. Les auteurs identifient cette habitude comme « un défaut majeur », puisque la communauté de recherche suppose généralement que les résultats locaux (positifs) se traduiront par des mises en œuvre utiles ultérieures:

‘[En raison] de limitations de calcul, les performances pour différents choix de valeurs de hyper-paramètres ne sont pas signalées. Les graphiques de mise à l’échelle semblent plus favorables si l’hyper-paramètre choisi pour chaque échelle est fixe ou déterminé par une fonction de mise à l’échelle simple.’

Les chercheurs déclarent en outre que de nombreuses études de mise à l’échelle sont mesurées non par rapport à des échelles absolues, mais comme des améliorations incrémentielles par rapport à l’état de l’art (SotA), observant qu’il n’y a « aucune raison, a priori, pour que la mise à l’échelle tienne en dehors de la plage étudiée ».

Pré-formation

L’article aborde la pratique de la « pré-formation », une mesure conçue pour économiser des ressources de calcul et réduire les délais souvent horribles nécessaires pour former un modèle sur des données à grande échelle à partir de zéro. Les instantanés de pré-formation gèrent les « ABC » de la façon dont les données au sein d’un domaine seront généralisées pendant la formation, et sont couramment utilisés dans divers secteurs et spécialités d’apprentissage automatique, de la traitement automatique des langues (TAL) aux deepfakes.

Des recherches universitaires antérieures ont constaté que la pré-formation peut améliorer de manière significative la robustesse et la précision du modèle, mais le nouvel article suggère que la complexité des fonctionnalités, même dans des modèles de pré-formation relativement courts, pourrait être plus bénéfique si elle était déplacée vers les processus ultérieurs de la chaîne de traitement.

Cependant, cela ne peut pas se produire si les chercheurs continuent à dépendre de modèles pré-formés qui utilisent les meilleures pratiques actuelles en matière de taux d’apprentissage, qui, selon la recherche, peuvent affecter de manière significative la précision finale des applications finales du travail. À cet égard, les auteurs notent que « l’on ne peut pas espérer trouver un point de pré-formation unique qui se comporte bien sur toutes les tâches en aval possibles ».

L’étude

Pour établir l’effet de saturation, les auteurs ont mené 4800 expériences sur des transformateurs de vision, des réseaux ResNets et des mélanges MLP, chacun avec un nombre variable de paramètres, allant de 10 millions à 10 milliards, tous formés sur les jeux de données les plus volumineux disponibles dans les secteurs respectifs, y compris ImageNet21K et le JFT-300M de Google.

Les résultats, affirme l’article, montrent que la diversité des données devrait être considérée comme un axe supplémentaire lors de la tentative de « mettre à l’échelle » des données, des paramètres de modèle et du temps de calcul. Comme cela se présente, la concentration lourde des ressources de formation (et de l’attention des chercheurs) sur la section amont d’une chaîne de traitement d’IA est effectivement en train de submerger les applications en aval avec une avalanche de paramètres jusqu’à un point de « saturation », réduisant la capacité des algorithmes déployés à naviguer à travers les fonctionnalités et à effectuer des inférences ou des transformations.

L’article conclut:

‘À travers une étude approfondie, nous établissons que lorsque nous améliorons les performances de la tâche en amont soit en augmentant l’échelle ou en faisant des choix d’hyper-paramètres et d’architecture, les performances des tâches en aval montrent un comportement de saturation. En outre, nous fournissons des preuves empiriques solides que, contrairement au récit courant, la mise à l’échelle ne conduit pas à une solution « un modèle pour tous ».’