Les modèles de monde AI peuvent-ils vraiment comprendre les lois physiques ?

L’espoir pour les modèles d’intelligence artificielle vision-langage est qu’ils deviendront un jour capables d’une plus grande autonomie et polyvalence, en incorporant les principes des lois physiques de la même manière que nous développons une compréhension innée de ces principes à travers l’expérience précoce.

Par exemple, les jeux de ballon des enfants tendent à développer une compréhension de la cinétique du mouvement, et de l’effet du poids et de la texture de la surface sur la trajectoire. De même, les interactions avec des scénarios courants tels que les bains, les boissons renversées, l’océan, les piscines et d’autres corps liquides divers instaureront en nous une compréhension versatile et évolutives des façons dont les liquides se comportent sous la gravité.

Même les postulats de phénomènes moins courants – tels que la combustion, les explosions et la répartition du poids architectural sous pression – sont inconsciemment absorbés par l’exposition aux programmes de télévision et aux films, ou aux vidéos sur les médias sociaux.

Lorsque nous étudions les principes derrière ces systèmes, à un niveau académique, nous ne faisons que « rétroéquiper » nos modèles mentaux intuitifs (mais non informés) de ceux-ci.

Maîtres de l’un

Actuellement, la plupart des modèles d’intelligence artificielle sont, en revanche, plus « spécialisés », et beaucoup d’entre eux sont soit affinés ou formés à partir de zéro sur des ensembles de données d’images ou de vidéos qui sont très spécifiques à certains cas d’utilisation, plutôt que conçus pour développer une compréhension générale des lois qui régissent.

D’autres peuvent présenter l’apparence d’une compréhension des lois physiques; mais ils peuvent en réalité reproduire des échantillons de leurs données de formation, plutôt que de vraiment comprendre les principes de base de domaines tels que la physique du mouvement de manière à produire des dépeints vraiment novateurs (et scientifiquement plausibles) à partir des invites des utilisateurs.

À ce moment délicat de la commercialisation et de la commercialisation des systèmes d’intelligence artificielle générative, il nous appartient, ainsi qu’à l’examen des investisseurs, de distinguer le marketing habile de nouveaux modèles d’intelligence artificielle de la réalité de leurs limites.

L’un des articles les plus intéressants de novembre, mené par Bytedance Research, a abordé ce problème, en explorant le fossé entre les capacités apparentes et réelles de modèles génératifs « tout usage » tels que Sora.

Le travail a conclu que, à l’état actuel de l’art, la sortie générée de modèles de ce type est plus susceptible de imiter des exemples de leurs données de formation que de vraiment démontrer une compréhension complète des contraintes physiques sous-jacentes qui opèrent dans le monde réel.

L’article indique*:

‘Ces modèles peuvent être facilement biaisés par des exemples “trompeurs” de l’ensemble de formation, les amenant à généraliser de manière “cas par cas” dans certaines conditions. Ce phénomène, également observé dans les grands modèles de langage, décrit la tendance d’un modèle à référencer des cas de formation similaires lors de la résolution de nouvelles tâches.

‘Par exemple, considérons un modèle de vidéo formé sur des données d’une balle en mouvement à grande vitesse en mouvement linéaire uniforme. Si une augmentation de données est effectuée en inversant horizontalement les vidéos, en introduisant ainsi un mouvement dans le sens inverse, le modèle peut générer un scénario dans lequel une balle à faible vitesse inverse sa direction après les premiers cadres, même si ce comportement n’est pas physiquement correct.’

Nous allons examiner de plus près l’article – intitulé Évaluation des modèles de monde avec LLM pour la prise de décision – plus tard. Mais d’abord, regardons les antécédents de ces limitations apparentes.

Mémoire des choses passées

Sans généralisation, un modèle d’intelligence artificielle formé est peu plus qu’un coûteux tableur de références à des sections de ses données de formation: trouvez le terme de recherche approprié, et vous pouvez invoquer une instance de ces données.

Dans ce scénario, le modèle agit effectivement comme un « moteur de recherche neuronal », puisqu’il ne peut produire des interprétations abstraites ou « créatives » de la sortie souhaitée, mais reproduit plutôt une variante mineure des données qu’il a vues lors du processus de formation.

Ceci est connu sous le nom de mémorisation – un problème controversé qui surgit parce que les modèles d’intelligence artificielle vraiment ductiles et interprétables ont tendance à manquer de détails, tandis que les modèles vraiment détaillés ont tendance à manquer d’originalité et de flexibilité.

La capacité des modèles affectés par la mémorisation à reproduire les données de formation est un obstacle juridique potentiel, dans les cas où les créateurs du modèle n’avaient pas les droits non grevés pour utiliser ces données; et où les avantages de ces données peuvent être démontrés à travers un nombre croissant de méthodes d’extraction.

En raison de la mémorisation, des traces de données non autorisées peuvent persister, enchaînées, à travers plusieurs systèmes de formation, comme une empreinte indélébile et non intentionnelle – même dans les projets où le praticien de l’apprentissage automatique a pris soin de s’assurer que des données « sûres » sont utilisées.

Modèles de monde

Cependant, le problème d’utilisation central de la mémorisation est qu’il tend à transmettre l’illusion d’intelligence, ou suggérer que le modèle d’intelligence artificielle a généralisé des lois ou des domaines fondamentaux, alors qu’en fait c’est le grand volume de données mémorisées qui fournit cette illusion (c’est-à-dire que le modèle a tant d’exemples de données potentiels à choisir qu’il est difficile pour un humain de déterminer s’il est en train de régurgiter du contenu appris ou s’il a une compréhension vraiment abstraite des concepts impliqués dans la génération).

Ceci a des ramifications pour l’intérêt croissant pour les modèles de monde – la perspective de systèmes d’intelligence artificielle hautement diversifiés et coûteusement formés qui intègrent de multiples lois connues, et sont riches en explorations possibles.

Les modèles de monde sont particulièrement intéressants dans l’espace de l’image et de la vidéo génératives. En 2023, RunwayML a lancé une initiative de recherche sur le développement et la faisabilité de tels modèles; DeepMind a récemment embauché l’un des créateurs de la célèbre vidéo générative Sora pour travailler sur un modèle de ce type; et des startups telles que Higgsfield investissent considérablement dans les modèles de monde pour la synthèse d’images et de vidéos.

Combinaisons difficiles

L’une des promesses des nouveaux développements dans les systèmes d’intelligence artificielle générative de vidéos est la perspective qu’ils peuvent apprendre les lois physiques fondamentales, telles que le mouvement, la cinématique humaine (telle que les caractéristiques de la démarche), la dynamique des fluides, et d’autres phénomènes physiques connus qui sont, à tout le moins, visuellement familiers aux humains.

Si l’intelligence artificielle générative pouvait atteindre ce jalon, elle pourrait devenir capable de produire des effets visuels hyper-réalistes qui dépeignent des explosions, des inondations et des événements de collision plausibles à travers plusieurs types d’objets.

Si, d’un autre côté, le système d’intelligence artificielle n’a été formé qu’à partir de milliers (ou de centaines de milliers) de vidéos dépeignant de tels événements, il pourrait être capable de reproduire les données de formation de manière convaincante lorsqu’il a été formé sur un point de données similaire à la requête cible de l’utilisateur; mais échouer si la requête combine trop de concepts qui, dans une telle combinaison, ne sont pas représentés dans les données.

De plus, ces limitations ne seraient pas immédiatement apparentes, jusqu’à ce que l’on pousse le système avec des combinaisons de défis de ce type.

Ceci signifie qu’un nouveau système génératif peut être capable de générer du contenu vidéo viral qui, bien que impressionnant, peut créer une fausse impression des capacités et de la profondeur de compréhension du système, car la tâche qu’il représente n’est pas un véritable défi pour le système.

Par exemple, un événement relativement courant et bien diffusé, tel que ‘un bâtiment est détruit’, pourrait être présent dans plusieurs vidéos dans un ensemble de données utilisé pour former un modèle qui est censé avoir une certaine compréhension de la physique. Par conséquent, le modèle pourrait présumément généraliser ce concept bien, et même produire une sortie vraiment novatrice dans les paramètres appris à partir de vidéos abondantes.

Ceci est un exemple intra-distribution, où l’ensemble de données contient de nombreux exemples utiles pour que le système d’intelligence artificielle apprenne.

Cependant, si l’on demandait un exemple plus bizarre ou spéculatif, tel que ‘La tour Eiffel est détruite par des envahisseurs extraterrestres’, le modèle devrait combiner des domaines divers tels que ‘propriétés métallurgiques’, ‘caractéristiques des explosions’, ‘gravité’, ‘résistance au vent’ – et ‘vaisseaux spatiaux extraterrestres’.

Ceci est un exemple hors-distribution (OOD), qui combine autant de concepts entrelacés que le système sera probablement soit en échec pour générer un exemple convaincant, soit en défaut pour se référer à l’exemple sémantique le plus proche sur lequel il a été formé – même si cet exemple n’adhère pas à la requête de l’utilisateur.

À l’exception que l’ensemble de données source du modèle contenait des effets visuels de type cinéma (CGI) dépeignant le même ou un événement similaire, une telle représentation exigerait absolument que le modèle atteigne une compréhension bien généralisée et ductile des lois physiques.

Contraintes physiques

Le nouvel article – une collaboration entre Bytedance, l’Université Tsinghua et le Technion – suggère non seulement que les modèles tels que Sora ne réellement internalisent pas les lois physiques déterministes de cette manière, mais que l’augmentation des données (une approche courante au cours des 18 derniers mois) semble, dans la plupart des cas, ne produire aucune amélioration réelle à cet égard.

L’article explore non seulement les limites de l’extrapolation de lois physiques spécifiques – telles que le comportement des objets en mouvement lorsqu’ils entrent en collision, ou lorsqu’ils sont bloqués – mais également la capacité d’un modèle à généralisation combinatoire – des instances où les représentations de deux principes physiques différents sont fusionnées en une seule sortie générative.

Un résumé vidéo de la nouvelle étude. Source: https://x.com/bingyikang/status/1853635009611219019

Les trois lois physiques sélectionnées pour l’étude par les chercheurs étaient le mouvement parabolique; le mouvement linéaire uniforme; et la collision parfaitement élastique.

Comme on peut le voir dans la vidéo ci-dessus, les résultats indiquent que les modèles tels que Sora ne réellement internalisent pas les lois physiques, mais ont tendance à reproduire les données de formation.

De plus, les auteurs ont constaté que des aspects tels que la couleur et la forme deviennent si entrelacés au moment de l’inférence qu’une balle générée pourrait probablement se transformer en carré, apparemment parce qu’un mouvement similaire dans un exemple de données présentait un carré et non une balle (voir exemple dans la vidéo intégrée ci-dessus).

L’article, qui a notablement engagé le secteur de la recherche sur les médias sociaux, conclut:

‘Notre étude suggère que la mise à l’échelle seule est insuffisante pour que les modèles de génération de vidéos découvrent les lois physiques fondamentales, malgré son rôle dans le succès plus large de Sora…

‘…[Les résultats] indiquent que la mise à l’échelle seule ne peut pas résoudre le problème de distribution hors-distribution (OOD), bien qu’elle améliore les performances dans d’autres scénarios.

‘Notre analyse approfondie suggère que la généralisation du modèle de vidéo repose davantage sur le référencement d’exemples de formation similaires plutôt que sur l’apprentissage de règles universelles. Nous avons observé un ordre de priorité de couleur > taille > vitesse > forme dans ce comportement « cas par cas ».

‘[Notre] étude suggère que la mise à l’échelle naïve est insuffisante pour que les modèles de génération de vidéos découvrent les lois physiques fondamentales.’

Lorsqu’on a demandé à l’un des auteurs de l’article s’il avait trouvé une solution à ce problème, il a commenté:

‘Malheureusement, nous n’avons pas. En fait, c’est probablement la mission de toute la communauté de l’IA.’

Méthode et données

Les chercheurs ont utilisé un Variational Autoencoder (VAE) et des architectures DiT pour générer des échantillons de vidéos. Dans cette configuration, les représentations latentes compressées produites par le VAE travaillent en tandem avec la modélisation de DiT du processus de débruitage.

Les vidéos ont été formées sur la diffusion stable V1.5-VAE. Le schéma a été laissé fondamentalement inchangé, avec seulement des améliorations architecturales de fin de processus:

‘[Nous conservons] la majorité de la convolution 2D originale, de la normalisation de groupe et des mécanismes d’attention sur les dimensions spatiales.

‘Pour gonfler cette structure en un auto-encodeur spatial-temporel, nous convertissons les derniers blocs de downsampling 2D de l’encodeur et les premiers blocs de upsampling 2D du décodeur en 3D, et employons plusieurs couches 1D supplémentaires pour améliorer la modélisation temporelle.’

Afin de permettre la modélisation de vidéos, le VAE modifié a été formé conjointement avec des données d’images HQ et de vidéos, avec la composante GAN 2D native à l’architecture SD1.5 augmentée pour 3D.

Le jeu de données d’images utilisé était la source originale de la diffusion stable, LAION-Aesthetics, avec un filtrage, en plus de DataComp. Pour les données de vidéos, un sous-ensemble a été curé à partir de Vimeo-90K, Panda-70m et HDVG datasets.

Les données ont été formées pendant un million d’étapes, avec une réduction aléatoire de taille et une inversion horizontale aléatoire appliquées en tant que processus d’augmentation de données.

Retournement

Comme mentionné ci-dessus, le processus d’augmentation de données d’inversion horizontale aléatoire peut être un inconvénient lors de la formation d’un système conçu pour produire un mouvement authentique. C’est parce que la sortie du modèle formé peut considérer les deux directions d’un objet, et causer des inversions aléatoires lorsqu’il tente de négocier ces données contradictoires (voir la vidéo intégrée ci-dessus).

D’un autre côté, si l’on désactive l’inversion horizontale, le modèle est alors plus susceptible de produire une sortie qui se conforme à une seule direction apprise à partir des données de formation.

Il n’y a donc pas de solution facile à ce problème, sauf que le système réellement assimile la totalité des possibilités de mouvement à partir des versions natives et inversées – une facilité que les enfants développent facilement, mais qui est plus difficile, apparemment, pour les modèles d’intelligence artificielle.

Tests

Pour la première série d’expériences, les chercheurs ont formulé un simulateur 2D pour produire des vidéos de mouvement d’objets et de collisions qui sont conformes aux lois de la mécanique classique, qui ont fourni un grand volume et un ensemble de données contrôlées qui excluent les ambiguïtés des vidéos du monde réel, pour l’évaluation des modèles. Le moteur de jeu de physique Box2D a été utilisé pour créer ces vidéos.

Les trois scénarios fondamentaux mentionnés ci-dessus ont été l’objet des tests: le mouvement linéaire uniforme, les collisions parfaitement élastiques et le mouvement parabolique.

Des ensembles de données de tailles croissantes (allant de 30 000 à trois millions de vidéos) ont été utilisés pour former des modèles de tailles et de complexité différentes (DiT-S à DiT-L), avec les trois premiers cadres de chaque vidéo utilisés pour la condition.

Détails des modèles variés formés dans la première série d’expériences. Source: https://arxiv.org/pdf/2411.02385

Les chercheurs ont constaté que les résultats intra-distribution (ID) ont bien évolué avec l’augmentation des données, tandis que les générations OOD n’ont pas amélioré, indiquant des lacunes dans la généralisation.

Résultats de la première série de tests.

Les auteurs notent:

‘Ces résultats suggèrent l’incapacité de la mise à l’échelle à effectuer un raisonnement dans les scénarios OOD.’

Ensuite, les chercheurs ont testé et formé des systèmes conçus pour exhiber une compétence pour la généralisation combinatoire – des instances où les représentations de deux principes physiques différents sont combinées pour (espérons-le) produire un mouvement cohérent qui est fidèle à la loi physique derrière chacun des mouvements séparés.

Pour cette phase des tests, les auteurs ont utilisé le simulateur PHYRE, créant un environnement 2D qui dépeint plusieurs objets de formes diverses en chute libre, entrant en collision les uns avec les autres dans une variété d’interactions complexes.

Les métriques d’évaluation pour ce deuxième test étaient Fréchet Video Distance (FVD); Structural Similarity Index (SSIM); Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); et une étude humaine (dénommée « anormale » dans les résultats).

Trois échelles de jeux de données de formation ont été créés, à 100 000 vidéos, 0,6 million de vidéos et 3-6 millions de vidéos. Les modèles DiT-B et DiT-XL ont été utilisés, en raison de la complexité accrue des vidéos, avec le premier cadre utilisé pour la condition.

Les modèles ont été formés pendant un million d’étapes à une résolution de 256×256, avec 32 cadres par vidéo.

Résultats de la deuxième série de tests.

Le résultat de ce test suggère que l’augmentation simple du volume de données est une approche inadéquate:

L’article indique:

‘Ces résultats suggèrent que la capacité du modèle et la couverture de l’espace de combinaison sont cruciales pour la généralisation combinatoire. Cette compréhension implique que les lois de mise à l’échelle pour la génération de vidéos devraient se concentrer sur l’augmentation de la diversité des combinaisons, plutôt que simplement sur l’augmentation du volume de données.’

Enfin, les chercheurs ont mené d’autres tests pour tenter de déterminer si un modèle de génération de vidéos peut vraiment assimiler les lois physiques, ou s’il se contente de mémoriser et de reproduire les données de formation au moment de l’inférence.

Ici, ils ont examiné le concept de « généralisation cas par cas », où les modèles ont tendance à imiter des exemples de formation spécifiques lorsqu’ils sont confrontés à de nouvelles situations, ainsi que des exemples de mouvement uniforme – en particulier, la manière dont la direction du mouvement dans les données de formation influence les prédictions du modèle formé.

Deux ensembles de données de formation, pour mouvement uniforme et collision, ont été curés, chacun consistant en des vidéos de mouvement uniforme dépeignant des vitesses comprises entre 2,5 et 4 unités, avec les trois premiers cadres utilisés comme condition. Les valeurs latentes telles que vitesse ont été omises, et, après la formation, les tests ont été effectués sur des scénarios vus et non vus.

Ci-dessous, nous voyons les résultats pour le test de génération de mouvement uniforme:

Résultats pour les tests de génération de mouvement uniforme, où la variable ‘vitesse’ est omise pendant la formation.

Les auteurs indiquent:

‘[Avec] un grand écart dans l’ensemble de formation, le modèle a tendance à générer des vidéos où la vitesse est soit élevée, soit faible pour ressembler aux données de formation lorsque les premiers cadres montrent des vitesses de milieu de gamme.’

Pour les tests de collision, bien plus de variables sont impliquées, et le modèle doit apprendre une fonction non linéaire à deux dimensions.

Collision: résultats pour la troisième et dernière série de tests.

Les auteurs observent que la présence d’exemples « trompeurs », tels que le mouvement inversé (c’est-à-dire une balle qui rebondit sur une surface et inverse sa trajectoire), peut induire le modèle en erreur et le faire générer des prédictions physiquement incorrectes.

Conclusion

Si un algorithme non-IA (c’est-à-dire une méthode « cuite », procédurale) contient des règles mathématiques pour le comportement de phénomènes physiques tels que les fluides, les objets sous la gravité ou sous pression, il existe un ensemble de constantes inchangeables disponibles pour un rendu précis.

Cependant, les résultats de la nouvelle étude indiquent que aucune relation équivalente ou compréhension intrinsèque des lois physiques classiques n’est développée lors de la formation des modèles génératifs, et que l’augmentation des quantités de données ne résout pas le problème, mais le rend plutôt plus obscur – parce qu’un plus grand nombre de vidéos de formation sont disponibles pour que le système les imite au moment de l’inférence.

* Ma conversion des citations en ligne des auteurs en hyperliens.

Publié pour la première fois mardi 26 novembre 2024