Het opmerkelijke succes van grote-schaal voorafgaande training gevolgd door taak-specifieke fijne afstelling voor taalmodellering heeft deze aanpak gevestigd als een standaardpraktijk. Vergelijkbaar, computer visie methoden zijn progressief omarmen uitgebreide gegevensschalen voor voorafgaande training. De opkomst van grote datasets, zoals LAION5B, Instagram-3.5B, JFT-300M, LVD142M, Visual Genome, en YFCC100M, heeft het mogelijk gemaakt om een gegevenscorpus te exploreren die verder gaat dan het bereik van traditionele benchmarks. Opvallend werk in dit domein omvat DINOv2, MAWS, en AIM. DINOv2 bereikt state-of-the-art prestaties bij het genereren van self-supervised functies door het contrastieve iBot-methode te schalen op de LDV-142M-dataset. MAWS onderzoekt het schalen van gemaskeerde auto-encoders (MAE) op miljarden afbeeldingen. AIM onderzoekt de schaalbaarheid van autoregressieve visuele voorafgaande training vergelijkbaar met BERT voor visie-transformatoren. In tegenstelling tot deze methoden, die voornamelijk gericht zijn op algemene afbeelding voorafgaande training of zero-shot afbeelding classificatie, Sapiens neemt een duidelijk mensgerichte aanpak: Sapiens-modellen maken gebruik van een uitgebreide verzameling van menselijke afbeeldingen voor voorafgaande training, waarna ze worden fijngesteld voor een reeks mensgerelateerde taken. De vervolging van grote-schaal 3D-menselijke digitalisering blijft een cruciaal doel in computer visie.

Aanzienlijke vooruitgang is geboekt binnen gecontroleerde of studio-omgevingen, maar uitdagingen blijven bestaan bij het uitbreiden van deze methoden naar onbeperkte omgevingen. Om deze uitdagingen aan te pakken, is het ontwikkelen van veelzijdige modellen die meerdere fundamentele taken kunnen uitvoeren, zoals sleutelpunt-schatting, lichaamsdeel-segmentatie, diepteschatting en oppervlakkenormaal-schatting van afbeeldingen in natuurlijke omgevingen, cruciaal. In dit werk streeft Sapiens ernaar om modellen te ontwikkelen voor deze essentiële mensgerichte visietaken die generaliseren naar in-the-wild-omgevingen. Momenteel bevatten de grootste openbaar toegankelijke taalmodellen meer dan 100 miljard parameters, terwijl de meer gebruikelijke taalmodellen ongeveer 7 miljard parameters bevatten. In tegenstelling, Visie-Transformatoren (ViT), ondanks het delen van een vergelijkbare architectuur, zijn niet geschaald tot deze omvang met succes. Terwijl er opvallende ondernemingen zijn in deze richting, waaronder de ontwikkeling van een dichte ViT-4B getraind op zowel tekst als afbeeldingen, en de formulering van technieken voor de stabiele training van een ViT-22B, worden de meest gebruikte visie-ruggengraatmodellen nog steeds gebruikt tussen 300M en 600M parameters en zijn voornamelijk voorafgetraind op een afbeeldingsresolutie van ongeveer 224 pixels. Vergelijkbaar, bestaande transformatie-gebaseerde beeldgeneratie-modellen, zoals DiT, gebruiken minder dan 700M parameters en opereren op een sterk gecomprimeerde latent ruimte. Om deze lacune aan te pakken, introduceert Sapiens een collectie van grote, hoge-resolutie ViT-modellen die zijn voorafgetraind op een 1024-pixel afbeeldingsresolutie op miljoenen menselijke afbeeldingen.

Sapiens presenteert een familie van modellen voor vier fundamentele mensgerichte visietaken: 2D-houdingsschatting, lichaamsdeel-segmentatie, diepteschatting en oppervlakkenormaal-schatting. Sapiens-modellen ondersteunen native 1K-hoge resolutie-inferentie en zijn extreem eenvoudig aan te passen voor individuele taken door eenvoudig modellen voorafgetraind op meer dan 300 miljoen in-the-wild-menselijke afbeeldingen fijn te stellen. Sapiens stelt vast dat, gegeven hetzelfde computationele budget, self-supervised voorafgaande training op een gecureerde dataset van menselijke afbeeldingen de prestaties aanzienlijk verhoogt voor een diverse reeks mensgerichte taken. De resulterende modellen vertonen opmerkelijke generalisatie naar in-the-wild-gegevens, zelfs wanneer gelabelde gegevens schaars of geheel synthetisch zijn. Het eenvoudige modelontwerp brengt ook schaalbaarheid met zich mee – de modelprestaties over taken verbeteren naarmate het aantal parameters schaalt van 0,3 tot 2 miljard. Sapiens overschrijdt bestaande baselines over verschillende mensgerichte benchmarks, waardoor aanzienlijke verbeteringen worden behaald ten opzichte van eerder behaalde state-of-the-art-resultaten: 7,6 mAP op Humans-5K (houding), 17,1 mIoU op Humans-2K (deel-segmentatie), 22,4% relatieve RMSE op Hi4D (diepte) en 53,5% relatieve hoekfout op THuman2 (normaal).

Sapiens: Doorbraak in Menselijke Visiemodellen

Recente jaren hebben opmerkelijke stappen gezien in de richting van het genereren van fotorealistische mensen in 2D en 3D. Het succes van deze methoden is grotendeels te danken aan de robuuste schatting van verschillende assets zoals 2D-sleutelpunten, fijne lichaamsdeel-segmentatie, diepte en oppervlakkenormaal. Echter, robuuste en nauwkeurige schatting van deze assets blijft een actief onderzoeksgebied, en ingewikkelde systemen om prestaties voor individuele taken te verbeteren, hinderen vaak bredere adoptie. Bovendien is het verkrijgen van nauwkeurige grondwaarheidsannotatie in-the-wild berucht moeilijk om te schalen. Sapiens’ doel is om een geünificeerd kader en modellen te bieden om deze assets in-the-wild te schatten, waardoor een breed scala aan mensgerichte toepassingen voor iedereen wordt ontgrendeld.

Sapiens stelt dat dergelijke mensgerichte modellen drie criteria moeten vervullen: generalisatie, brede toepasbaarheid en hoge geloofwaardigheid. Generalisatie waarborgt robuustheid tegen ongeziene omstandigheden, waardoor het model consistent presteert over verschillende omgevingen. Brede toepasbaarheid geeft de veelzijdigheid van het model aan, waardoor het geschikt is voor een breed scala aan taken met minimale aanpassingen. Hoge geloofwaardigheid duidt op de mogelijkheid van het model om nauwkeurige, hoge-resolutie-uitvoer te produceren, essentieel voor getrouwe menselijke generatietaken. Dit artikel beschrijft de ontwikkeling van modellen die deze attributen belichamen, collectief aangeduid als Sapiens.

Volgend op inzichten, maakt Sapiens gebruik van grote datasets en schaalbare modelarchitecturen, cruciaal voor generalisatie. Voor bredere toepasbaarheid, past Sapiens de voorafgaande training-gevolgd door fijne afstelling-aanpak toe, waardoor post-voorafgaande training aanpassing aan specifieke taken met minimale aanpassingen mogelijk wordt gemaakt. Deze aanpak roept een kritische vraag op: Wat type gegevens is het meest effectief voor voorafgaande training? Gegeven computationele beperkingen, moet de nadruk worden gelegd op het verzamelen van zoveel mogelijk menselijke afbeeldingen, of is het beter om vooraf te trainen op een minder gecureerde set om beter reële wereldvariabiliteit weer te geven? Bestaande methoden negeren vaak de voorafgaande gegevensverdeling in de context van downstream-taken. Om de invloed van voorafgaande gegevensverdeling op mensspecifieke taken te bestuderen, verzamelt Sapiens de Humans-300M-dataset, met 300 miljoen diverse menselijke afbeeldingen. Deze ongelabelde afbeeldingen worden gebruikt om een familie van visie-transformatoren van scratch voor te trainen, met parameteraantallen variërend van 300M tot 2B.

Onder verschillende self-supervisie-methoden voor het leren van algemene doelstellingen voor visuele functies van grote datasets, kiest Sapiens de gemaskeerde auto-encoder (MAE) aanpak vanwege zijn eenvoud en efficiëntie in voorafgaande training. MAE, met een enkele doorvoer-inferentie-model in vergelijking met contrastieve of multi-inferentie-strategieën, stelt het verwerken van een grotere hoeveelheid afbeeldingen met dezelfde computationele middelen mogelijk. Voor hogere geloofwaardigheid, in tegenstelling tot eerdere methoden, verhoogt Sapiens de native invoerresolutie van zijn voorafgaande training tot 1024 pixels, resulterend in een ongeveer 4× toename in FLOPs in vergelijking met de grootste bestaande visie-ruggengraat. Elk model wordt voorafgetraind op 1,2 biljoen tokens. Voor fijne afstelling op mensgerichte taken, gebruikt Sapiens een consistente encoder-decoder-architectuur. De encoder wordt geïnitialiseerd met gewichten van voorafgaande training, terwijl de decoder, een lichtgewicht en taak-specifieke kop, willekeurig wordt geïnitialiseerd. Beide componenten worden vervolgens eind-tot-eind fijngesteld. Sapiens richt zich op vier sleuteltaken: 2D-houdingsschatting, lichaamsdeel-segmentatie, diepte en normaalschatting, zoals wordt gedemonstreerd in de volgende figuur.

In overeenstemming met eerdere studies, bevestigt Sapiens het kritische effect van labelkwaliteit op de prestaties van het model in in-the-wild-omgevingen. Openbare benchmarks bevatten vaak lawaaierige labels, waardoor inconsistente supervisiesignalen tijdens model fijne afstelling ontstaan. Tegelijkertijd is het belangrijk om fijne en precieze annotaties te gebruiken om nauwkeurig overeen te komen met Sapiens’ primaire doel van 3D-menselijke digitalisering. Daartoe stelt Sapiens een aanzienlijk dichtere verzameling van 2D-whole-body-sleutelpunten voor houdingsschatting voor en een gedetailleerde class-woordenlijst voor lichaamsdeel-segmentatie voor, waardoor de reikwijdte van eerdere datasets wordt overschreden. Specifiek introduceert Sapiens een uitgebreide collectie van 308 sleutelpunten die het lichaam, handen, voeten, oppervlak en gezicht omvatten. Bovendien breidt Sapiens de segmentatie-class-woordenlijst uit tot 28 klassen, waaronder lichaamsdelen zoals haar, tong, tanden, boven-/onderlip en torso. Om de kwaliteit en consistentie van annotaties te garanderen en een hoge mate van automatisering te waarborgen, gebruikt Sapiens een multi-view-capture-opstelling om houding- en segmentatie-annotaties te verzamelen. Sapiens gebruikt ook mensgerichte synthetische gegevens voor diepte- en normaalschatting, waardoor 600 gedetailleerde scans van RenderPeople worden gebruikt om hoge-resolutie dieptekaarten en oppervlakkenormalen te genereren. Sapiens demonstreert dat de combinatie van domeinspecifieke grote-schaal voorafgaande training met beperkte, maar hoge-kwaliteit annotaties, leidt tot robuuste in-the-wild-generalisatie. Al met al toont Sapiens’ methode een effectieve strategie voor het ontwikkelen van hoogwaardige discriminatieve modellen die in staat zijn om in real-world-scenario’s te presteren zonder de noodzaak om een dure en diverse set van annotaties te verzamelen.

Sapiens: Methode en Architectuur

Sapiens volgt de gemaskeerde auto-encoder (MAE) aanpak voor voorafgaande training. Het model wordt getraind om de oorspronkelijke menselijke afbeelding te reconstrueren gegeven zijn gedeeltelijke observatie. Net als alle auto-encoders, heeft Sapiens’ model een encoder die de zichtbare afbeelding kaart naar een latent-representatie en een decoder die de oorspronkelijke afbeelding reconstrueert vanuit deze latent-representatie. De voorafgaande trainingsdataset bestaat uit zowel enkele als meerdere menselijke afbeeldingen, waarbij elke afbeelding wordt herschaald naar een vaste grootte met een vierkante aspectverhouding. Vergelijkbaar met ViT, wordt de afbeelding verdeeld in regelmatige niet-overlappende patches met een vaste patchgrootte. Een subset van deze patches wordt willekeurig geselecteerd en gemaskeerd, waardoor de rest zichtbaar blijft. Het percentage gemaskeerde patches ten opzichte van zichtbare patches, bekend als de masking-verhouding, blijft vast tijdens de training.

Sapiens’ modellen vertonen generalisatie over een verscheidenheid aan afbeeldingskenmerken, waaronder schalen, crops, leeftijd en etniciteit van onderwerpen en het aantal onderwerpen. Elk patch-token in het model vertegenwoordigt 0,02% van het afbeeldingsoppervlak in vergelijking met 0,4% in standaard ViTs, een 16× reductie – waardoor fijne inter-token-reasoning voor de modellen mogelijk wordt. Zelfs met een verhoogde maskeringsverhouding van 95%, bereikt Sapiens’ model een plausibele reconstructie van menselijke anatomie op gehouden samples. De reconstructie van Sapien’s voorafgetraind model op ongeziene menselijke afbeeldingen wordt gedemonstreerd in de volgende afbeelding.

Bovendien maakt Sapiens gebruik van een grote propriëtaire dataset voor voorafgaande training, bestaande uit ongeveer 1 miljard in-the-wild-afbeeldingen, met exclusieve focus op menselijke afbeeldingen. De voorverwerking omvat het verwijderen van afbeeldingen met watermerken, tekst, artistieke voorstellingen of onnatuurlijke elementen. Sapiens gebruikt vervolgens een off-the-shelf persoon-bounding-box-detector om afbeeldingen te filteren, waarbij alleen afbeeldingen met een detectiescore boven 0,9 en een bounding-boxgrootte van meer dan 300 pixels worden behouden. Meer dan 248 miljoen afbeeldingen in de dataset bevatten meerdere onderwerpen.

2D Houdingsschatting

Het Sapien-kader fine-tuned de encoder en decoder in P over meerdere skeletten, waaronder K = 17 [67], K = 133 [55] en een nieuw, zeer gedetailleerd skelet, met K = 308, zoals wordt getoond in de volgende figuur.

In vergelijking met bestaande formaten met maximaal 68 faciale sleutelpunten, bestaan Sapien’s annotaties uit 243 faciale sleutelpunten, waaronder representatieve punten rond de ogen, lippen, neus en oren. Deze ontwerp is aangepast om de nuances van faciale expressies in de echte wereld zorgvuldig te capteren. Met deze sleutelpunten heeft het Sapien-kader handmatig 1 miljoen afbeeldingen op 4K-resolutie geannoteerd vanuit een indoor-capture-opstelling. Vergelijkbaar met eerdere taken, wordt de decoder-uitvoerkanaal van de normaalschatting N ingesteld op 3, overeenkomend met de xyz-componenten van de normaalvector op elk pixel. De gegenereerde synthetische gegevens worden ook gebruikt als supervisie voor oppervlakkenormaalschatting.

Sapien: Experiment en Resultaten

Sapiens-2B is voorafgetraind met 1024 A100-GPU’s gedurende 18 dagen met PyTorch. Sapiens gebruikt de AdamW-optimizer voor alle experimenten. Het leerplan omvat een korte lineaire opwarmfase, gevolgd door cosine-annealing voor voorafgaande training en lineaire afname voor fijne afstelling. Alle modellen worden van scratch voorafgetraind op een resolutie van 1024 × 1024 met een patchgrootte van 16. Voor fijne afstelling wordt de invoer-afbeelding herschaald naar een 4:3-verhouding, d.w.z. 1024 × 768. Sapiens past standaardaugmentaties toe, zoals bijsnijden, schalen, omkeren en fotometrische distorties. Een willekeurige achtergrond van niet-menselijke COCO-afbeeldingen wordt toegevoegd voor segmentatie-, diepte- en normaalschattingstaken. Belangrijk is dat Sapiens differentiële leerratio’s gebruikt om generalisatie te behouden, met lagere leerratio’s voor initiële lagen en progressief hogere ratio’s voor latere lagen. De laag-afhankelijke leerratio-afname is ingesteld op 0,85 met een gewichtsafname van 0,1 voor de encoder.

De ontwerpspecificaties van Sapiens worden gedetailleerd in de volgende tabel. Volgend op een specifieke aanpak, prioriteert Sapiens het schalen van modellen in breedte in plaats van diepte. Opmerkelijk is dat het Sapiens-0,3B-model, hoewel architectonisch vergelijkbaar met de traditionele ViT-Large, twintig keer meer FLOPs bevat vanwege zijn hogere resolutie.

Sapiens wordt fijngesteld voor gezichts-, lichaams-, voeten- en handhoudingsschatting (K = 308) met hoge-fideliteitsannotaties. Voor training wordt de trainset met 1 miljoen afbeeldingen gebruikt, en voor evaluatie wordt de testset, genaamd Humans5K, met 5K afbeeldingen gebruikt. De evaluatie volgt een top-down-benadering, waarbij Sapiens een off-the-shelf-detector voor bounding-boxen gebruikt en enkele menselijke houdingsschatting uitvoert. Tabel 3 toont een vergelijking van Sapiens-modellen met bestaande methoden voor whole-body-houdingsschatting. Alle methoden worden geëvalueerd op 114 gemeenschappelijke sleutelpunten tussen Sapiens’ 308-sleutelpuntwoordenlijst en de 133-sleutelpuntwoordenlijst van COCO-WholeBody. Sapiens-0,6B overschrijdt de huidige state-of-the-art, DWPose-l, met +2,8 AP. In tegenstelling tot DWPose, dat een complex student-leraar-kader met feature-distillatie gebruikt, specifiek voor de taak, past Sapiens een algemene encoder-decoder-architectuur toe met grote mensgerichte voorafgaande training.

Interessant is dat, zelfs met hetzelfde parameteraantal, Sapiens-modellen superieure prestaties vertonen in vergelijking met hun tegenhangers. Bijvoorbeeld, Sapiens-0,3B overschrijdt VitPose+-L met +5,6 AP, en Sapiens-0,6B overschrijdt VitPose+-H met +7,9 AP. Binnen de Sapiens-familie geven de resultaten aan dat er een directe correlatie bestaat tussen modelgrootte en prestaties. Sapiens-2B stelt een nieuwe state-of-the-art vast met 61,1 AP, een aanzienlijke verbetering van +7,6 AP ten opzichte van de eerdere state-of-the-art. Ondanks fijne afstelling met annotaties van een indoor-capture-studio, toont Sapiens robuuste generalisatie naar real-world-scenario’s, zoals wordt gedemonstreerd in de volgende figuur.

Sapiens wordt fijngesteld en geëvalueerd met een segmentatie-woordenlijst van 28 klassen. De trainset bestaat uit 100K afbeeldingen, terwijl de testset, Humans-2K, bestaat uit 2K afbeeldingen. Sapiens wordt vergeleken met bestaande lichaamsdeel-segmentatiemethoden die zijn fijngesteld op dezelfde trainset, met behulp van de voorgestelde voorafgetrainde checkpoints van elke methode als initialisatie. Vergelijkbaar met houdingsschatting, toont Sapiens generalisatie in segmentatie, zoals wordt gedemonstreerd in de volgende tabel.

Interessant is dat het kleinste model, Sapiens-0,3B, bestaande state-of-the-art-segmentatiemethoden zoals Mask2Former en DeepLabV3+ overschrijdt met 12,6 mIoU vanwege zijn hogere resolutie en grote mensgerichte voorafgaande training. Bovendien leidt het verhogen van de modelgrootte tot verdere verbetering van de segmentatieprestaties. Sapiens-2B bereikt de beste prestaties, met 81,2 mIoU en 89,4 mAcc op de testset, zoals wordt getoond in de volgende figuur.

Conclusie

Sapiens vertegenwoordigt een aanzienlijke stap in de richting van het vooruit helpen van mensgerichte visiemodellen naar het domein van foundation-modellen. Sapiens-modellen vertonen sterke generalisatiecapaciteiten over een verscheidenheid aan mensgerichte taken. De state-of-the-art-prestaties zijn toe te schrijven aan: (i) grote-schaal voorafgaande training op een gecureerde dataset specifiek aangepast aan het begrijpen van mensen, (ii) geschaalde hoge-resolutie en hoge-capaciteit visie-transformatoren, en (iii) hoge-kwaliteit annotaties op aangevulde studio- en synthetische gegevens. Sapiens-modellen hebben het potentieel om een sleutelblok te worden voor een veelheid aan downstream-taken en om toegang te bieden tot hoge-kwaliteit visie-ruggengraatmodellen voor een aanzienlijk groter deel van de gemeenschap.