Les Avantages de l’Augmentation de la Graisse par l’IA

Un nouveau système d’IA peut réalistiquement remodeler les corps des personnes sur des photos, les rendant plus gras, plus minces ou plus musclés, sans changer leur visage, leurs vêtements ou leur environnement. Le système est formé sur un ensemble de données entièrement synthétiques qui montre chaque identité à travers plusieurs types de corps.

En plus de l’utilisation de plus en plus courante de l’IA comme méthode de raffinement de la forme du corps sur les réseaux sociaux, ou (potentiellement) pour modifier les types de corps à des fins de VFX, l’utilisation de l’apprentissage automatique pour modifier l’apparence des individus peut servir une fonction plus importante: aider les personnes atteintes de troubles alimentaires à comprendre leur propre interprétation dysmorphique de leur apparence, ainsi que proposer un outil de motivation potentiel pour des objectifs sportifs et de fitness plus généraux:

À partir de l’article ‘Estimation de la taille du corps chez les femmes atteintes d’anorexie nerveuse et les témoins sains à l’aide d’avatars 3D’, une interface pour visualiser les changements de forme du corps. Source: https://www.nature.com/articles/s41598-017-15339-z.pdf

En outre, la sous-branche de l’essayage de mode dans la recherche en vision par ordinateur présente également un intérêt pour fournir des visualisations précises sur une gamme de formes de corps. Pendant ce temps, des cadres tels que l’offre DiffBody de 2024 de l’Université de Tsukuba au Japon, ont créé certaines fonctionnalités impressionnantes dans ce domaine:

Certaines des transformations possibles à l’aide de la technique DiffBody antérieure. Source: https://arxiv.org/pdf/2401.02804

Puisque les modèles de base d’IA sont optimisés pour des formes de corps conventionnellement attractives ou autres formes de corps communes, des tailles inhabituelles telles que « obèse » sont soit minimalement disponibles dans les modèles standard, soit accompagnées de certains préjugés punitifs.

Nécessités de Paire

L’un des plus grands défis pour créer des systèmes d’IA qui peuvent réalistiquement ajouter ou soustraire de la graisse et des muscles aux photos de personnes – sans changer leur identité, leur environnement ou leurs vêtements – est que cela implique une formation appariée, où le système d’IA apprend effectivement des images « avant » et « après » qui définissent la transformation que le modèle est censé effectuer.

Ce type de formation est revenu à la lumière au cours de l’été en raison du succès de la série de modèles d’édition d’images Kontext de Black Forest Labs, où ce type de données appariées a été utilisé pour enseigner une gamme de transformations aux modèles:

À partir du site Flux Kontext, un exemple de transformation qui reflète le type de données source nécessaires pour former un modèle capable de conserver l’intégrité de l’image lors de l’imposition de changements importants. Source: https://bfl.ai/models/flux-kontext

Évidemment, dans le cas du développement d’un modèle qui peut considérablement modifier l’apparence d’une personne (sans réimaginer l’ensemble de l’image), il faut quelque chose qui est complètement impossible dans le monde réel: des images « avant » et « après » radicales prises à seulement quelques secondes d’intervalle.

La seule solution est les données synthétiques. Certains projets de ce type ont utilisé des paires de contraste individuelles créées manuellement dans Photoshop; cependant, cela est irréaliste à grande échelle, et un processus automatisé ou semi-automatisé, impulsé par l’IA, pour générer les paires est maintenant de plus en plus considéré comme préférable.

Le problème avec les approches basées sur GAN et la plupart des approches SMPL/X (où une figure virtuelle CGI est utilisée comme une sorte de mécanisme d’échange entre des images réelles et les transformations souhaitées), et avec les approches qui utilisent le déformation d’image, est que l’arrière-plan et l’identité ont tendance à souffrir au cours du processus.

Des modèles CGI paramétriques et vectoriels tels que SMPL et SMPL-X (entre autres), fournissent des coordonnées physiques 3D conventionnelles définies qui peuvent être interprétées et intégrées dans des cadres de vision par ordinateur. Source: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Puisque il est important que l’IA apprenne à modifier uniquement les aspects souhaités, au lieu d’apprendre à déformer les arrière-plans et à répliquer d’autres erreurs indésirables, aucun système de modification de corps n’a encore atteint une solution parfaite.

Cependant, un article récent de l’Inde propose une avancée notable sur l’état de l’art grâce à l’utilisation du cadre de modèle de diffusion plus ancien Flux, augmenté d’un certain nombre d’approches secondaires qui permettent un ensemble de données appariées supérieur et plus cohérent:

Exemples de données du nouveau projet. Source: https://arxiv.org/pdf/2508.13065

Le projet comprend un nouvel ensemble de données appariées étendu; Odo, un modèle de diffusion génératif formé sur ces données; et un nouveau benchmark conçu pour évaluer quantitativement les performances d’édition de forme humaine. Dans les tests, les auteurs affirment une avancée notable sur les normes atteintes par des modèles comparables.

L’article nouveau s’intitule Odo: Diffusion guidée par la profondeur pour la modification de forme de corps préservant l’identité, et provient de trois chercheurs de Fast Code AI Pvt. Ltd à Bangalore.

Données et Méthode

L’ensemble de données créé par les chercheurs comporte 7 615 images haute résolution (960x1280px) pour chaque type de corps cible (gras, mince et musclé).

Initialement, 1 523 visages humains ont été générés à l’aide du modèle de diffusion à 12 milliards de paramètres FLUX.1-dev, en exploitant un nombre non spécifié de visages de référence libres de droits provenant de Pexels et Unsplash, afin d’augmenter la diversité.

Pour générer des images de corps entier incorporant ces visages, les chercheurs ont utilisé l’offre 2024 de ByteDance PuLID, un point de contrôle affiné sur la base de Flux, et présentant une perte de contraste conçue pour conserver l’identité faciale pendant les processus de transformation:

Exemples du projet PuLID. Source: https://arxiv.org/pdf/2404.16022

Le modèle a reçu une image faciale et une invite standardisée demandant le genre, les vêtements, la pose, la scène, ainsi que le type de corps de mince, gras ou musclé.

Les trois images de type de corps pour chaque identité ont parfois présenté des décalages mineurs dans l’alignement de l’arrière-plan et la taille perçue du sujet, résultant du comportement stochastique des modèles de diffusion, où chaque génération commence à partir d’un nouveau bruit graine. Même de légères modifications de l’invite, telles que la modification de la description du type de corps, peuvent influencer la trajectoire du modèle dans l’espace latent, et provoquer un dérive visuelle.

Pour corriger cette variation, un pipeline de post-traitement automatique en quatre étapes a été appliqué, avec l’image mince de chaque triplet sélectionnée comme référence, puisque sa silhouette plus petite exposait plus d’arrière-plan.

La détection de personne a été effectuée à l’aide de RT-DETRv2, suivie d’une segmentation à l’aide de SAM 2.1 pour extraire les masques de sujet pour les trois types de corps. L’image de référence mince a ensuite été passée à FLUX.1 Kontext Pro (le système d’édition d’images plus récent) pour le recoloriage de l’arrière-plan, produisant une version propre de la scène, avec le sujet supprimé.

Les variantes gras et musclé ont été redimensionnées à l’aide d’un redimensionnement uniforme pour correspondre à la hauteur du masque de référence mince, et composées sur l’arrière-plan propre au même alignement de bas, garantissant un cadrage cohérent sur toutes les images.

Les auteurs déclarent:

‘Les triplets de transformation résultants (mince, gras et muscle) ont un arrière-plan identique et une échelle de sujet uniforme. Cela supprime les variations non pertinentes qui pourraient affecter négativement la formation ou l’évaluation ultérieures.’

Chaque triplet d’images minces, grasses et musclées a permis six paires de transformation possibles, aboutissant à 45 690 combinaisons théoriques sur 7 615 identités.

Après avoir filtré les exemples avec des vêtements non correspondants, des poses non naturelles, des membres déformés, une dérive d’identité ou un changement de forme minimal, 18 573 paires de haute qualité ont été conservées. Bien que certaines différences de pose mineures soient restées, le modèle s’est avéré robuste à ces variations.

Formation et Tests

Les images résultantes ont été utilisées pour former le modèle Odo – une approche basée sur la diffusion pour remodeler les humains, en utilisant les cartes du modèle linéaire multi-personnes à peau (SMPL, c’est-à-dire un modèle CGI intermédiaire).

Éclairé par les méthodes du Localisateur neuronal de 2024, les données ont été conformées au modèle SMPL pour chaque individu, les paramètres optimisés résultants étant capables de produire cartes de profondeur à partir desquelles les images modifiées seraient dérivées:

Schéma du pipeline de formation. Le côté gauche montre la configuration de formation, où les cartes de profondeur SMPL de l’image cible guident ReshapeNet via ControlNet pour effectuer la transformation de corps.

Le modèle (voir schéma ci-dessus) se compose du module ReshapeNet, pris en charge par trois modules auxiliaires: ReferenceNet; un module IP-Adapter; et un module ControlNet basé sur la profondeur.

ReferenceNet extrait des fonctionnalités détaillées telles que l’arrière-plan, les vêtements et l’identité de l’image d’entrée, et les transmet à ReshapeNet. IP-Adapter contribue à la guidance de fonctionnalités de niveau élevé, tandis que le ControlNet basé sur la profondeur applique une condition SMPL pour guider la transformation de corps. Conformément aux travaux précédents, un SDXL basé sur un frozen UNet a été utilisé pour extraire des fonctionnalités intermédiaires.

En ce qui concerne le module IP-Adapter, celui-ci encode l’image d’entrée via CLIP, les incrustations résultantes étant intégrées à nouveau dans ReshapeNet via l’auto-attention croisée.

En ce qui concerne le module ControlNet basé sur la profondeur, celui-ci guide les couches moyennes et de décodage de ReshapeNet en utilisant des connexions résiduelles. Par la suite, il prend une carte de profondeur rendue à partir des paramètres SMPL cibles et l’aligne sur l’image cible.

ReshapeNet, basé sur le UNet SDXL, est le réseau principal d’Odo. Lors de la formation, les images cibles sont encodées dans l’espace latent avec un auto-encodeur variationnel, bruyées au fil du temps et débruyées par ReshapeNet en utilisant des fonctionnalités de ControlNet et ReferenceNet.

Des invites de texte spécifiques à la catégorie, telles que « Rendre la personne plus grasse », « Rendre la personne plus mince » ou « Rendre la personne plus musclée », ont été ajoutées pour guider les transformations. Bien que les cartes de profondeur aient capturé les formes de corps grossières, les invites ont fourni les détails sémantiques nécessaires pour des changements tels que la définition musculaire, permettant au modèle de produire des modifications plus précises et plus réalistes.

Mise en œuvre de la formation

Odo a été formé sur l’ensemble de données synthétiques du projet, combiné avec un sous-ensemble de l’ensemble de données DeepFashion-MultiModal, ce qui a donné un total de 20 000 paires d’images.

Les données DeepFashion-MultiModal ont fourni de la variété dans les vêtements et les fonctionnalités faciales, avec des images appariées contre elles-mêmes pendant la formation. Avec toutes les cartes de profondeur SMPL précalculées pour l’efficacité, la formation a duré 60 époques sur une seule carte graphique NVIDIA A100 avec 80 Go de VRAM.

Avec les images d’entrée redimensionnées à 768×1024, l’optimiseur Adam a été utilisé, à un taux d’apprentissage de 1×10⁻⁵. ReshapeNet a été initialisé avec des poids UNet SDXL et affiné conjointement avec l’IP-Adapter à partir de son point de contrôle.

ReferenceNet a été initialisé avec des poids SDXL et est resté gelé, tandis que le ControlNet basé sur la profondeur a utilisé des poids pré-formés et est également resté gelé.

Le modèle final nécessitait environ 23 Go de mémoire GPU, nécessitant 18 secondes pour l’inférence d’une seule image.

Une Nouvelle Métrique

Le manque de jeux de données de ce type pour ce projet a signifié qu’aucune métrique existante ne répondait vraiment au défi. Par conséquent, les auteurs ont conçu un nouveau benchmark, composé de 3 600 paires d’images, présentant des images de visages réelles et des descriptions d’arrière-plan, ainsi que des variations de forme de corps diverses.

D’autres métriques utilisées étaient l’indice de similarité structurelle (SSIM); le rapport signal/bruit (PSNR); la similarité d’image perçue apprise (LPIPS); et l’erreur euclidienne par vertex corrigée à l’échelle dans la pose neutre (T-) (PVE-T-SC).

Tout d’abord, les auteurs ont testé leur méthode de manière qualitative sur des images in situ (images non vues par le modèle pendant la formation):

Tests qualitatifs. Les exemples montrent des conversions de l’image d’origine en types de corps plus minces, plus gras et plus musclés à travers différentes poses, y compris l’assise et la station debout.

De ces résultats, l’article déclare:

‘Notre méthode gère efficacement des poses, des arrière-plans et des vêtements divers tout en préservant l’identité de la personne.

‘En plus des formes cibles SMPL, nous fournissons des invites textuelles – « Rendre la personne plus grasse », « Rendre la personne plus mince » ou « Rendre la personne plus musclée » – pour guider explicitement les transformations souhaitées…

…« L’image ci-dessous » démontre encore la capacité de notre modèle à effectuer des transformations de forme diverses. Le modèle suit avec précision les cartes de profondeur SMPL pour générer de multiples variations de versions plus minces et plus grasses à partir de l’image de référence.’

Tests qualitatifs supplémentaires couvrant la gamme de types de corps cibles.

Les auteurs commentent en outre:

‘Nos résultats démontrent des transformations plus réalistes selon le poids cible, car notre modèle ajuste simultanément la forme de corps globale, les proportions des membres et les vêtements, aboutissant à des modifications anatomiquement cohérentes et visuellement convaincantes.’

Pour les tests quantitatifs, les auteurs ont comparé leur système au modèle de développement ouvert Flux Kontext [dev], FLUX.1, et à l’offre de 2022 Structure-Aware Flow Generation for Human Body Reshaping.

Pour FLUX.1 Kontext [dev], des invites ont été conçues pour demander « Rendre la personne plus grasse », « Rendre la personne plus mince » ou « Rendre la personne plus musclée », avec des poids cibles spécifiés – bien que le manque de contrôles fins ait limité les performances:

Comparaison d’Odo avec Structure-Aware Flow Generation for Human Body Reshaping et FLUX.1 Kontext [dev] sur l’ensemble de test, ainsi que des résultats d’ablation pour les modèles formés sans conditionnement d’invite dans ReshapeNet, sans ReferenceNet (en utilisant uniquement IP-Adapter) et avec une formation limitée à l’ensemble de données BR-5K.

Conclusion

L’avènement de Flux Kontext cette année, et plus récemment la publication des poids non quantifiés pour Qwen Image Edit, ont ramené les données d’images appariées au premier plan des communautés de loisirs et professionnelles. Dans le climat de critique et d’impatience croissantes à l’égard de l’imprécision de l’IA générative, des modèles de ce type sont conçus pour une fidélité bien plus élevée aux images sources d’entrée (bien que les modèles à plus petite échelle soient parfois handicapés par leurs objectifs de formation très spécifiques).

Dans ce cas, l’utilité d’un système de modification de forme de corps semblerait résider dans les domaines psychologiques, médicaux et basés sur la mode. Néanmoins, il est possible que des systèmes de ce type atteignent un niveau de prééminence plus élevé, et peut-être un ensemble d’utilisations plus décontractées et même potentiellement préoccupantes.

Publié pour la première fois lundi 25 août 2025