Le succès remarquable de la pré-formation à grande échelle suivie d’une fine-tuning spécifique à la tâche pour la modélisation du langage a établi cette approche comme une pratique standard. De même, les méthodes de vision par ordinateur adoptent progressivement des échelles de données étendues pour la pré-formation. L’émergence de grands ensembles de données, tels que LAION5B, Instagram-3.5B, JFT-300M, LVD142M, Visual Genome et YFCC100M, a permis l’exploration d’un corpus de données bien au-delà de la portée des benchmarks traditionnels. Des travaux notables dans ce domaine incluent DINOv2, MAWS et AIM. DINOv2 atteint des performances de pointe dans la génération de fonctionnalités auto-supervisées en mettant à l’échelle la méthode de contraste iBot sur l’ensemble de données LDV-142M. MAWS étudie la mise à l’échelle des masked-autoencoders (MAE) sur des milliards d’images. AIM explore la scalabilité de la pré-formation visuelle autoregressive similaire à BERT pour les transformateurs de vision. Contrairement à ces méthodes, qui se concentrent principalement sur la pré-formation d’images générales ou la classification d’images sans étiquette, Sapiens adopte une approche distinctement centrée sur l’humain : les modèles de Sapiens exploitent une vaste collection d’images humaines pour la pré-formation, puis une fine-tuning pour une gamme de tâches liées à l’humain.

Des progrès importants ont été réalisés dans des environnements contrôlés ou de studio, mais des défis persistent pour étendre ces méthodes à des environnements non contraints. Pour relever ces défis, il est crucial de développer des modèles polyvalents capables de multiples tâches fondamentales, telles que l’estimation des points clés, la segmentation des parties du corps, l’estimation de la profondeur et la prédiction des normales de surface à partir d’images dans des contextes naturels. Dans ce travail, Sapiens vise à développer des modèles pour ces tâches essentielles de vision humaine qui se généralisent à des contextes in-the-wild. Actuellement, les plus grands modèles de langage accessibles au public contiennent jusqu’à 100 milliards de paramètres, tandis que les modèles de langage plus couramment utilisés contiennent environ 7 milliards de paramètres. En revanche, les transformateurs de vision (ViT), malgré une architecture similaire, n’ont pas été mis à l’échelle à cette étendue avec succès. Bien qu’il y ait des efforts notables dans cette direction, notamment le développement d’un ViT-4B dense formé sur du texte et des images, et la formulation de techniques pour la formation stable d’un ViT-22B, les modèles de vision les plus couramment utilisés ont entre 300 millions et 600 millions de paramètres et sont principalement pré-formés à une résolution d’image d’environ 224 pixels. De même, les modèles de génération d’images basés sur les transformateurs, tels que DiT, utilisent moins de 700 millions de paramètres et opèrent sur un espace latent fortement compressé. Pour combler cette lacune, Sapiens introduit une collection de grands modèles ViT à haute résolution qui sont pré-formés de manière native à une résolution d’image de 1024 pixels sur des millions d’images humaines.

Sapiens présente une famille de modèles pour quatre tâches fondamentales de vision centrée sur l’humain : l’estimation de la pose 2D, la segmentation des parties du corps, l’estimation de la profondeur et la prédiction des normales de surface. Les modèles de Sapiens prennent en charge de manière native l’inférence à haute résolution 1K et sont extrêmement faciles à adapter pour des tâches individuelles en fine-tuning simplement les modèles pré-formés sur plus de 300 millions d’images humaines in-the-wild. Sapiens observe que, étant donné le même budget computationnel, la pré-formation auto-supervisée sur un ensemble de données soigneusement sélectionné d’images humaines améliore considérablement les performances pour un large éventail de tâches centrées sur l’humain. Les modèles résultants présentent une généralisation remarquable aux données in-the-wild, même lorsque les données étiquetées sont rares ou entièrement synthétiques. La conception simple du modèle apporte également de la scalabilité – les performances du modèle sur les tâches s’améliorent à mesure que le nombre de paramètres passe de 0,3 à 2 milliards. Sapiens dépasse régulièrement les lignes de base existantes sur divers benchmarks centrés sur l’humain, réalisant des améliorations significatives par rapport aux résultats de l’état de l’art antérieur : 7,6 mAP sur Humans-5K (pose), 17,1 mIoU sur Humans-2K (part-seg), 22,4% d’erreur relative RMSE sur Hi4D (profondeur) et 53,5% d’erreur angulaire relative sur THuman2 (normale).

Sapiens : Avancée dans les modèles de vision humaine

Ces dernières années ont vu des progrès remarquables vers la génération de humains photoréalistes en 2D et 3D. Le succès de ces méthodes est en grande partie attribué à l’estimation robuste de divers actifs tels que les points clés 2D, la segmentation fine des parties du corps, la profondeur et les normales de surface. Cependant, l’estimation robuste et précise de ces actifs reste un domaine de recherche actif, et des systèmes compliqués pour améliorer les performances pour des tâches individuelles peuvent souvent entraver une adoption plus large. De plus, obtenir des annotations de référence précises in-the-wild est notoirement difficile à mettre à l’échelle. L’objectif de Sapiens est de fournir un cadre unifié et des modèles pour inférer ces actifs in-the-wild, débloquant un large éventail d’applications centrées sur l’humain pour tous.

Sapiens soutient que de tels modèles centrés sur l’humain devraient satisfaire trois critères : la généralisation, l’applicabilité large et la haute fidélité. La généralisation assure la robustesse face à des conditions inconnues, permettant au modèle de performer de manière cohérente dans divers environnements. L’applicabilité large indique la polyvalence du modèle, le rendant adapté à un large éventail de tâches avec des modifications minimales. La haute fidélité dénote la capacité du modèle à produire des sorties précises et à haute résolution, essentielles pour les tâches de génération humaine fidèle. Cet article détaille le développement de modèles qui incarnent ces attributs, collectivement appelés Sapiens.

Suite à ces insights, Sapiens exploite de grands ensembles de données et des architectures de modèles scalables, clés pour la généralisation. Pour une applicabilité plus large, Sapiens adopte l’approche de pré-formation puis de fine-tuning, permettant une adaptation post-pré-formation à des tâches spécifiques avec des ajustements minimaux. Cette approche soulève une question critique : Quel type de données est le plus efficace pour la pré-formation ? Étant donné les limites computationnelles, devrait-on se concentrer sur la collecte du plus grand nombre possible d’images humaines, ou est-il préférable de se pré-former sur un ensemble moins soigneusement sélectionné pour mieux refléter la variabilité du monde réel ? Les méthodes existantes passent souvent sous silence la distribution des données de pré-formation dans le contexte des tâches en aval. Pour étudier l’influence de la distribution des données de pré-formation sur les tâches spécifiques à l’humain, Sapiens collecte l’ensemble de données Humans-300M, présentant 300 millions d’images humaines diverses. Ces images non étiquetées sont utilisées pour pré-former une famille de transformateurs de vision de scratch, avec des comptes de paramètres allant de 300 millions à 2 milliards.

Parmi les diverses méthodes d’auto-supervision pour l’apprentissage de fonctionnalités visuelles générales à partir de grands ensembles de données, Sapiens choisit l’approche de l’auto-encodeur masqué (MAE) pour sa simplicité et son efficacité dans la pré-formation. L’auto-encodeur MAE, ayant un modèle d’inférence à un seul passage par rapport aux stratégies de contraste ou à plusieurs inférences, permet de traiter un plus grand volume d’images avec les mêmes ressources computationnelles. Pour une fidélité plus élevée, contrairement aux méthodes précédentes, Sapiens augmente la résolution native d’entrée de sa pré-formation à 1024 pixels, ce qui entraîne une augmentation d’environ 4 fois des FLOPs par rapport au plus grand modèle de vision existant. Chaque modèle est pré-formé sur 1,2 billion de jetons. Pour la fine-tuning sur les tâches centrées sur l’humain, Sapiens utilise une architecture d’encodeur-décodeur cohérente. L’encodeur est initialisé avec des poids provenant de la pré-formation, tandis que le décodeur, une tête légère et spécifique à la tâche, est initialisé aléatoirement. Les deux composants sont ensuite fine-tunés de bout en bout. Sapiens se concentre sur quatre tâches clés : l’estimation de la pose 2D, la segmentation des parties du corps, la profondeur et l’estimation des normales, comme le montre la figure suivante.

Conformément aux études précédentes, Sapiens confirme l’impact critique de la qualité des étiquettes sur les performances du modèle in-the-wild. Les benchmarks publics contiennent souvent des étiquettes bruyantes, fournissant des signaux de supervision incohérents pendant la fine-tuning du modèle. Dans le même temps, il est important d’utiliser des annotations précises et détaillées pour s’aligner étroitement sur l’objectif principal de Sapiens de numérisation humaine 3D. À cette fin, Sapiens propose un ensemble d’étiquettes de points clés 2D pour l’estimation de la pose et un vocabulaire de classes détaillé pour la segmentation des parties du corps, dépassant la portée des ensembles de données précédents. Plus précisément, Sapiens introduit une collection complète de 308 points clés englobant le corps, les mains, les pieds, la surface et le visage. De plus, Sapiens élargit le vocabulaire de classes de segmentation à 28 classes, couvrant des parties du corps telles que les cheveux, la langue, les dents, les lèvres supérieures et inférieures, et le torse. Pour garantir la qualité et la cohérence des annotations et un haut degré d’automatisation, Sapiens utilise un dispositif de capture multi-vue pour collecter les annotations de pose et de segmentation. Sapiens utilise également des données synthétiques centrées sur l’humain pour l’estimation de la profondeur et des normales, en exploitant 600 scans détaillés de RenderPeople pour générer des cartes de profondeur et des normales de surface à haute résolution. Sapiens démontre que la combinaison de la pré-formation à grande échelle avec des annotations de haute qualité conduit à une généralisation robuste in-the-wild.

Sapiens : Méthode et Architecture

Sapiens suit l’approche de l’auto-encodeur masqué (MAE) pour la pré-formation. Le modèle est formé pour reconstruire l’image humaine originale à partir de son observation partielle. Comme tous les auto-encodeurs, le modèle de Sapiens a un encodeur qui mappe l’image visible à une représentation latente et un décodeur qui reconstruit l’image originale à partir de cette représentation latente. L’ensemble de données de pré-formation se compose d’images à un seul humain et à plusieurs humains, avec chaque image redimensionnée à une taille fixe avec un rapport d’aspect carré. Similaire à ViT, l’image est divisée en patches réguliers non chevauchants avec une taille de patch fixe. Un sous-ensemble de ces patches est sélectionné aléatoirement et masqué, laissant le reste visible. La proportion de patches masqués par rapport aux patches visibles, connue sous le nom de ratio de masquage, reste fixe tout au long de la formation.

Les modèles de Sapiens présentent une généralisation sur une variété de caractéristiques d’images, y compris les échelles, les coupes, l’âge et l’ethnicité des sujets, et le nombre de sujets. Chaque jeton de patch dans le modèle représente 0,02% de la surface de l’image par rapport à 0,4% dans les ViT standard, une réduction de 16 fois – fournissant une raison fine entre les jetons pour les modèles. Même avec un ratio de masquage accru de 95%, le modèle de Sapiens atteint une reconstruction plausible de l’anatomie humaine sur les échantillons retenus. La reconstruction du modèle pré-formé de Sapiens sur des images humaines non vues est démontrée dans l’image suivante.

De plus, Sapiens utilise un grand ensemble de données propriétaire pour la pré-formation, composé d’environ 1 milliard d’images in-the-wild, se concentrant exclusivement sur les images humaines. Le prétraitement implique la suppression des images avec des filigranes, du texte, des représentations artistiques ou des éléments non naturels. Sapiens utilise ensuite un détecteur de boîtes de délimitation de personne hors de la boîte pour filtrer les images, en conservant celles avec un score de détection supérieur à 0,9 et des dimensions de boîte de délimitation supérieures à 300 pixels. Plus de 248 millions d’images dans l’ensemble de données contiennent plusieurs sujets.

Estimation de la pose 2D

Le cadre de Sapien affine l’encodeur et le décodeur dans P sur plusieurs squelettes, y compris K = 17 [67], K = 133 [55] et un nouveau squelette très détaillé, avec K = 308, comme le montre la figure suivante.

Par rapport aux formats existants avec au plus 68 points clés faciaux, les annotations de Sapien se composent de 243 points clés faciaux, y compris des points représentatifs autour des yeux, des lèvres, du nez et des oreilles. Cette conception est conçue pour capturer avec soin les nuances des expressions faciales dans le monde réel. Avec ces points clés, le cadre de Sapien a annoté manuellement 1 million d’images à une résolution de 4K à partir d’un dispositif de capture en intérieur. De même que pour les tâches précédentes, nous définissons les canaux de sortie du décodeur de l’estimateur de normale N à 3, correspondant aux composants xyz du vecteur normal à chaque pixel. Les données synthétiques générées sont également utilisées comme supervision pour l’estimation des normales de surface.

Sapien : Expérimentation et Résultats

Sapiens-2B est pré-formé en utilisant 1024 GPU A100 pendant 18 jours avec PyTorch. Sapiens utilise l’optimiseur AdamW pour toutes les expériences. Le calendrier d’apprentissage comprend un court réchauffement linéaire, suivi d’une annealing cosinus pour la pré-formation et d’une décroissance linéaire pour la fine-tuning. Tous les modèles sont pré-formés de scratch à une résolution de 1024 × 1024 avec une taille de patch de 16. Pour la fine-tuning, l’image d’entrée est redimensionnée à un rapport de 4:3, c’est-à-dire 1024 × 768. Sapiens applique des augmentations standard telles que la coupe, la mise à l’échelle, le retournement et les distorsions photométriques. Un arrière-plan aléatoire provenant d’images non humaines de COCO est ajouté pour les tâches de segmentation, de profondeur et de prédiction des normales. Importamment, Sapiens utilise des taux d’apprentissage différentiels pour préserver la généralisation, avec des taux d’apprentissage plus faibles pour les couches initiales et des taux progressivement plus élevés pour les couches suivantes. La décroissance du taux d’apprentissage par couche est fixée à 0,85 avec une décroissance de poids de 0,1 pour l’encodeur.

Les spécifications de conception de Sapiens sont détaillées dans le tableau suivant. En suivant une approche spécifique, Sapiens donne la priorité à la mise à l’échelle des modèles en largeur plutôt qu’en profondeur. Notamment, le modèle Sapiens-0,3B, bien qu’architecturalement similaire au ViT-Large traditionnel, se compose de vingt fois plus de FLOPs en raison de sa résolution plus élevée.

Sapiens est fine-tuné pour l’estimation de la pose du visage, du corps, des pieds et des mains (K = 308) en utilisant des annotations de haute fidélité. Pour la formation, Sapiens utilise l’ensemble d’entraînement avec 1 million d’images, et pour l’évaluation, il utilise l’ensemble de test, nommé Humans5K, avec 5 000 images. L’évaluation suit une approche descendante, où Sapiens utilise un détecteur de boîtes de délimitation hors de la boîte pour les boîtes de délimitation et effectue une inférence de pose humaine unique. Le tableau 3 montre une comparaison des modèles de Sapiens avec les méthodes existantes pour l’estimation de la pose du corps entier. Toutes les méthodes sont évaluées sur 114 points clés communs entre le vocabulaire de 308 points clés de Sapiens et le vocabulaire de 133 points clés de COCO-WholeBody. Sapiens-0,6B dépasse l’état de l’art actuel, DWPose-l, de +2,8 AP. Contrairement à DWPose, qui utilise un cadre complexe d’élève-enseignant avec une distillation de fonctionnalités adaptée à la tâche, Sapiens adopte une architecture d’encodeur-décodeur générale avec une pré-formation humaine centrée à grande échelle.

Intéressamment, même avec le même nombre de paramètres, les modèles de Sapiens présentent des performances supérieures par rapport à leurs homologues. Par exemple, Sapiens-0,3B dépasse VitPose+-L de +5,6 AP, et Sapiens-0,6B surpasse VitPose+-H de +7,9 AP. Au sein de la famille de Sapiens, les résultats indiquent une corrélation directe entre la taille du modèle et les performances. Sapiens-2B établit un nouveau point de référence avec 61,1 AP, une amélioration significative de +7,6 AP par rapport à l’art antérieur. Malgré la fine-tuning avec des annotations provenant d’un studio de capture en intérieur, Sapiens démontre une généralisation robuste aux scénarios du monde réel, comme le montre la figure suivante.

Sapiens est fine-tuné et évalué en utilisant un vocabulaire de segmentation de 28 classes. L’ensemble d’entraînement se compose de 100 000 images, tandis que l’ensemble de test, Humans-2K, se compose de 2 000 images. Sapiens est comparé aux méthodes de segmentation de parties du corps existantes, fine-tunées sur le même ensemble d’entraînement, en utilisant les points de départ pré-formés suggérés par chaque méthode comme initialisation. De même que pour l’estimation de la pose, Sapiens montre une généralisation dans la segmentation, comme le démontre le tableau suivant.

Intéressamment, le plus petit modèle, Sapiens-0,3B, surpasse les méthodes de segmentation de l’état de l’art existantes, telles que Mask2Former et DeepLabV3+, de 12,6 mIoU en raison de sa résolution plus élevée et de sa pré-formation humaine centrée à grande échelle. De plus, l’augmentation de la taille du modèle améliore encore les performances de segmentation. Sapiens-2B atteint les meilleures performances, avec 81,2 mIoU et 89,4 mAcc sur l’ensemble de test, comme le montre la figure suivante.

Conclusion

Sapiens représente un pas significatif vers l’avancement des modèles de vision centrés sur l’humain dans le domaine des modèles de base. Les modèles de Sapiens présentent des capacités de généralisation solides sur une variété de tâches centrées sur l’humain. Les performances de pointe sont attribuées à : (i) une pré-formation à grande échelle sur un ensemble de données soigneusement sélectionné spécifiquement conçu pour comprendre les humains, (ii) des transformateurs de vision à haute résolution et à haute capacité mis à l’échelle, et (iii) des annotations de haute qualité sur des données de studio augmentées et synthétiques. Les modèles de Sapiens ont le potentiel de devenir un bloc de construction clé pour une multitude de tâches en aval et de fournir l’accès à des modèles de vision de haute qualité à une partie significativement plus large de la communauté.