Une prise personnelle sur les tendances de la littérature en vision par ordinateur en 2024

J’ai suivi en continu la scène de recherche en vision par ordinateur (CV) et en synthèse d’images sur Arxiv et ailleurs pendant environ cinq ans, donc les tendances deviennent évidentes au fil du temps et changent de direction chaque année.

Par conséquent, à mesure que 2024 se termine, j’ai pensé qu’il était approprié de jeter un coup d’œil sur certaines caractéristiques nouvelles ou en évolution dans les soumissions Arxiv dans la section Vision par ordinateur et reconnaissance de formes section. Ces observations, bien que informées par des centaines d’heures d’étude de la scène, sont strictement anecdotiques.

L’essor continu de l’Asie de l’Est

À la fin de 2023, j’avais remarqué que la majorité de la littérature dans la catégorie de la synthèse vocale provenait de Chine et d’autres régions d’Asie de l’Est. À la fin de 2024, je dois observer (de manière anecdotique) que cela s’applique maintenant également à la scène de la recherche en synthèse d’images et de vidéos.

Cela ne signifie pas que la Chine et les pays adjacents produisent nécessairement toujours les meilleurs travaux (en effet, il existe certaines preuves du contraire); ni cela ne tient compte de la forte probabilité en Chine (comme en Occident) que certaines des systèmes les plus intéressants et les plus puissants en développement soient propriétaires et exclus de la littérature de recherche.

Mais cela suggère que l’Asie de l’Est bat l’Occident en termes de volume, à cet égard. Ce que cela vaut dépend de l’étendue à laquelle vous croyez en la viabilité de la persévérance à la manière d’Edison, qui s’avère généralement inefficace face à des obstacles inextricables.

Il existe de nombreux obstacles de ce type dans l’IA générative, et il n’est pas facile de savoir lesquels peuvent être résolus en abordant les architectures existantes, et lesquels devront être réexaminés à partir de zéro.

Les chercheurs d’Asie de l’Est semblent produire un plus grand nombre de documents de recherche en vision par ordinateur, j’ai remarqué une augmentation de la fréquence de projets de type “Frankenstein” – des initiatives qui constituent un mélange de travaux antérieurs, tout en ajoutant une nouveauté architecturale limitée (ou peut-être juste un type différent de données).

Cette année, un plus grand nombre d’entrées asiatiques de l’Est (principalement chinoises ou collaborations impliquant la Chine) semblaient être motivées par des quotas plutôt que par le mérite, augmentant considérablement le rapport signal/bruit dans un domaine déjà surabondant.

En même temps, un plus grand nombre de documents asiatiques de l’Est ont également retenu mon attention et mon admiration en 2024. Donc, si c’est tout un jeu de nombres, ce n’est pas un échec – mais ce n’est pas non plus gratuit.

Augmentation du volume des soumissions

Le volume de documents, provenant de tous les pays d’origine, a clairement augmenté en 2024.

Le jour de publication le plus populaire change tout au long de l’année; actuellement, c’est le mardi, lorsque le nombre de soumissions à la section Vision par ordinateur et reconnaissance de formes est souvent d’environ 300-350 en une seule journée, dans les périodes de pointe (mai-août et octobre-décembre, c’est-à-dire la saison des conférences et la saison de la “date limite des quotas annuels”, respectivement).

Au-delà de mon expérience personnelle, Arxiv lui-même signale un nombre record de soumissions en octobre 2024, avec 6000 nouvelles soumissions au total, et la section Vision par ordinateur la deuxième la plus soumise après l’apprentissage automatique.

Cependant, dans la mesure où la section Apprentissage automatique sur Arxiv est souvent utilisée comme une super-catégorie “supplémentaire” ou agrégée, cela plaide en faveur de la Vision par ordinateur et de la reconnaissance de formes comme la catégorie la plus soumise d’Arxiv.

Les statistiques d’Arxiv montrent clairement que l’informatique est le leader en termes de soumissions:

Les sciences de l’informatique (CS) dominent les statistiques de soumission d’Arxiv au cours des cinq dernières années. Source: https://info.arxiv.org/about/reports/submission_category_by_year.html

L’indice AI 2024 de l’Université de Stanford 2024, bien qu’il ne puisse pas encore rendre compte des statistiques les plus récentes, met également l’accent sur l’augmentation notable des soumissions de documents universitaires sur l’apprentissage automatique ces dernières années:

Bien que les chiffres ne soient pas disponibles pour 2024, le rapport de Stanford montre néanmoins de manière spectaculaire l’augmentation du volume des soumissions de documents sur l’apprentissage automatique. Source: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Diffusion>Mesh Frameworks Proliferate

Une autre tendance claire qui est apparue pour moi était une forte augmentation des documents qui traitent de l’utilisation de Modèles de diffusion latente (LDM) comme générateurs de modèles de CGI mesh-based, “traditionnels”.

Les projets de ce type incluent InstantMesh3D de Tencent, 3Dtopia, Diffusion², V3D, MVEdit, et GIMDiffusion, parmi une multitude d’autres offres similaires.

Génération et raffinement de maillage via un processus basé sur la diffusion dans 3Dtopia. Source: https://arxiv.org/pdf/2403.02234

Cette branche de recherche émergente pourrait être considérée comme une concession tacite à l’intractabilité persistante des systèmes génératifs tels que les modèles de diffusion, qui il y a seulement deux ans étaient présentés comme un substitut potentiel à tous les systèmes que les modèles de diffusion>maillage cherchent maintenant à peupler; en reléguant la diffusion au rôle d’un outil dans les technologies et les flux de travail qui remontent à trente ans ou plus.

Stability.ai, l’origine du modèle open source Stable Diffusion, vient de publier Stable Zero123, qui peut, entre autres choses, utiliser une interprétation Neural Radiance Fields (NeRF) d’une image générée par IA comme un pont pour créer un modèle de CGI mesh-based explicite qui peut être utilisé dans des arènes de CGI telles que Unity, dans des jeux vidéo, la réalité augmentée et sur d’autres plateformes qui nécessitent des coordonnées 3D explicites, par opposition aux coordonnées implicites (cachées) des fonctions continues.

Cliquez pour jouer. Les images générées dans Stable Diffusion peuvent être converties en maillages de CGI rationnels. Ici, nous voyons le résultat d’un flux de travail image>CGI à l’aide de Stable Zero 123. Source: https://www.youtube.com/watch?v=RxsssDD48Xc

Sémantique 3D

L’espace de l’IA générative fait une distinction entre les systèmes de vision et de génération de 2D et 3D. Par exemple, les cadres de repérage de visage, bien qu’ils représentent des objets 3D (visages) dans tous les cas, ne calculent pas nécessairement des coordonnées 3D adressables.

Le système FANAlign populaire, FANAlign, largement utilisé dans les architectures de deepfake de 2017 (entre autres), peut accueillir les deux approches:

Au-dessus, les repères 2D sont générés sur la base de caractéristiques et de traits de visage reconnus. En dessous, ils sont rationalisés dans l’espace 3D X/Y/Z. Source: https://github.com/1adrianb/face-alignment

Donc, tout comme “deepfake” est devenu un terme ambigu et détourné, “3D” est également devenu un terme confus dans la recherche en vision par ordinateur.

Pour les consommateurs, il a généralement signifié un média stéréo (comme des films où le spectateur doit porter des lunettes spéciales); pour les praticiens des effets visuels et les modeliseurs, il fournit la distinction entre l’artwork 2D (comme des esquisses conceptuelles) et les modèles de maillage qui peuvent être manipulés dans un “programme 3D” comme Maya ou Cinema4D.

Mais en vision par ordinateur, cela signifie simplement qu’un système de coordonnées cartésiennes existe quelque part dans l’espace latent du modèle – pas qu’il puisse nécessairement être adressé ou directement manipulé par un utilisateur; du moins, pas sans des systèmes de CGI interprétatifs tiers tels que 3DMM ou FLAME.

Par conséquent, la notion de diffusion>3D est inexacte; non seulement tout type d’image (y compris une photo réelle) peut être utilisé comme entrée pour produire un modèle de CGI génératif, mais le terme moins ambigu “maillage” est plus approprié.

Cependant, pour aggraver l’ambiguïté, la diffusion est nécessaire pour interpréter la photo source en un maillage, dans la majorité des projets émergents. Un meilleure description pourrait donc être image-to-mesh, tandis que image>diffusion>mesh est une description encore plus précise.

Mais cela est difficile à vendre lors d’une réunion du conseil d’administration ou dans un communiqué de presse conçu pour engager les investisseurs.

Preuves de stalemates architecturaux

Même par rapport à 2023, la récolte de documents des 12 derniers mois montre une augmentation de la désespérance autour de la suppression des limites pratiques difficiles de la génération basée sur la diffusion.

Le principal obstacle est toujours la génération de vidéos narrativement et temporellement cohérentes, et le maintien d’un aspect cohérent des personnages et des objets – non seulement entre différents extraits vidéo, mais même au sein d’un seul extrait vidéo généré.

La dernière innovation époquale dans la synthèse basée sur la diffusion a été l’avènement de LoRA en 2022. Alors que de nouveaux systèmes comme Flux ont amélioré certains des problèmes de valeurs aberrantes, tels que l’incapacité antérieure de Stable Diffusion à reproduire le contenu textuel à l’intérieur d’une image générée, et que la qualité globale des images a été améliorée, la majorité des documents que j’ai étudiés en 2024 étaient essentiellement juste en train de déplacer la nourriture sur l’assiette.

Ces stalemates se sont produits auparavant, avec les réseaux antagonistes génératifs (GAN) et les champs de radiance neuronaux (NeRF), qui n’ont pas tenu leurs promesses initiales – et qui sont de plus en plus utilisés dans des systèmes plus conventionnels (comme l’utilisation de NeRF dans Stable Zero 123, voir ci-dessus). Cela semble également se produire avec les modèles de diffusion.

Recherche sur le splatting gaussien

Il semblait à la fin de 2023 que la méthode de rasterisation 3D Gaussian Splatting (3DGS), qui a fait ses débuts comme une technique d’imagerie médicale au début des années 1990, allait soudainement dépasser les systèmes basés sur auto-encodeurs pour les défis de synthèse d’images humaines (tels que la simulation et la reproduction faciales, ainsi que le transfert d’identité).

Le document ASH 2023 a promis des humains 3DGS complets, tandis que les Avatars gaussiens ont offert des détails massivement améliorés (par rapport aux méthodes concurrentes basées sur auto-encodeurs et autres), ainsi qu’un réenactement croisé impressionnant.

Cependant, cette année a été relativement pauvre en moments de percée pour la synthèse d’humains 3DGS; la plupart des documents qui ont abordé le problème étaient soit dérivés des travaux ci-dessus, soit n’ont pas dépassé leurs capacités.

Au lieu de cela, l’accent a été mis sur l’amélioration de la faisabilité architecturale fondamentale du 3DGS, ce qui a conduit à une multitude de documents qui offrent des environnements extérieurs 3DGS améliorés. Une attention particulière a été portée aux approches 3DGS de localisation et de cartographie simultanées (SLAM) dans des projets tels que Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, parmi de nombreux autres.

Les projets qui ont tenté de continuer ou d’étendre la synthèse d’humains basée sur les splats incluent MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM, et Topo4D. Bien qu’il y en ait d’autres, aucun de ces documents n’a eu l’impact initial des documents qui ont émergé à la fin de 2023.

L’ère Weinstein des échantillons de test est en déclin (lent)

Les recherches menées en Asie du Sud-Est en général (et en Chine en particulier) présentent souvent des exemples de test qui sont problématiques à republier dans un article de revue, car ils contiennent du matériel qui est un peu “pimenté”.

Que les scientifiques de recherche en Asie du Sud-Est cherchent à attirer l’attention sur leurs sorties est sujet à débat; mais pendant les 18 derniers mois, un nombre croissant de documents sur l’IA générative (image et/ou vidéo) ont utilisé par défaut de jeunes femmes et des filles en tenue légère comme exemples de projet. Des exemples limite de ce type incluent UniAnimate, ControlNext, et même des documents très “séches” tels que Évaluation de la cohérence du mouvement par la distance de mouvement de vidéo de Fréchet (FVMD).

Ceci suit les tendances générales des sous-reddits et d’autres communautés qui se sont rassemblées autour des modèles de diffusion latente (LDM), où la règle 34 est toujours très présente.

Confrontation de célébrités

Ce type d’exemple inapproprié se chevauche avec la reconnaissance croissante du fait que les processus d’IA ne devraient pas exploiter arbitrairement les ressemblances de célébrités – en particulier dans les études qui utilisent de manière non critique des exemples mettant en vedette des célébrités attirantes, souvent féminines, et les placent dans des contextes discutables.

Un exemple est AnyDressing, qui, outre le fait de mettre en vedette de très jeunes personnages féminins de style anime, utilise également de manière libérale les identités de célébrités classiques telles que Marilyn Monroe, et des célébrités actuelles telles qu’Anne Hathaway (qui a condamné ce type d’utilisation de manière très vocale).

L’utilisation arbitraire de célébrités actuelles et ‘classiques’ est encore relativement courante dans les documents d’Asie du Sud-Est, bien que cette pratique soit légèrement en déclin. Source: https://crayon-shinchan.github.io/AnyDressing/

Dans les documents occidentaux, cette pratique particulière est en déclin tout au long de 2024, menée par les sorties plus importantes des grands corps de recherche tels que FAANG et d’autres organismes de recherche de haut niveau tels qu’OpenAI. Conscients du potentiel de litiges futurs, ces grands acteurs corporatifs semblent de plus en plus réticents à représenter même des personnes photoréalistes fictionnelles.

Cependant, les systèmes qu’ils créent (tels que Imagen et Veo2) sont clairement capables d’une telle sortie; les exemples de projets de l’IA générative occidentale tendent désormais vers des images et des vidéos “mignonnes”, Disneyfiées et extrêmement “sûres”.

Malgré la capacité d’Imagen à créer des sorties photoréalistes, les échantillons promus par Google Research sont généralement des contenus fantastiques et familiaux – les humains photoréalistes sont soigneusement évités ou des exemples minimaux sont fournis. Source: https://imagen.research.google/

Lavage de visage

Dans la littérature occidentale sur la vision par ordinateur, cette approche démagogique est particulièrement évidente pour les systèmes de personnalisation – des méthodes qui sont capables de créer des ressemblances cohérentes d’une personne particulière à travers plusieurs exemples (c’est-à-dire comme LoRA et l’ancien DreamBooth).

Les exemples incluent l’intégration visuelle orthogonale, LoRA-Composer, le InstructBooth de Google, et bien d’autres encore.

Google’s InstructBooth met le facteur de mignonnerie à 11, même si l’histoire suggère que les utilisateurs sont plus intéressés à créer des humains photoréalistes que des personnages mignons ou poilus. Source: https://sites.google.com/view/instructbooth

Cependant, la montée en puissance de l’exemple “mignon” est visible dans d’autres branches de recherche en vision par ordinateur et en synthèse, dans des projets tels que Comp4D, V3D, DesignEdit, UniEdit, FaceChain (qui concède à des attentes d’utilisateurs plus réalistes sur sa page GitHub), et DPG-T2I, parmi de nombreux autres.

La facilité avec laquelle de tels systèmes (tels que LoRAs) peuvent être créés par des utilisateurs à domicile avec un matériel relativement modeste a conduit à une explosion de modèles de célébrités téléchargeables gratuitement sur le domaine civit.ai et la communauté. Un tel usage illicite reste possible grâce à l’ouverture des architectures telles que Stable Diffusion et Flux.

Bien qu’il soit souvent possible de contourner les fonctionnalités de sécurité des systèmes de texte-à-image (T2I) et de texte-à-vidéo (T2V) pour produire du contenu interdit par les conditions d’utilisation d’une plateforme, l’écart entre les capacités restreintes des meilleurs systèmes (tels que RunwayML et Sora) et les capacités illimitées des systèmes performants (tels que Stable Video Diffusion, CogVideo et les déploiements locaux de Hunyuan), n’est pas vraiment en train de se refermer, comme beaucoup le pensent.

Plutôt, ces systèmes propriétaires et open source, respectivement, menacent de devenir également inutiles: les systèmes T2V hyperscale et coûteux peuvent devenir excessivement handicapés en raison de la peur des litiges, tandis que le manque d’infrastructure de licence et de surveillance des ensembles de données dans les systèmes open source pourrait les verrouiller entièrement hors du marché à mesure que des réglementations plus strictes sont mises en œuvre.

Publié pour la première fois le mardi 24 décembre 2024