Den anmärkningsvärda framgången med storskalig förträning följt av uppgiftsspecifik finjustering för språkmodellering har etablerat denna metod som en standardpraxis. På liknande sätt har datorseende metoder successivt börjat omfamna omfattande datasätt för förträning. Uppkomsten av stora datasamlingar, såsom LAION5B, Instagram-3,5B, JFT-300M, LVD142M, Visual Genome och YFCC100M, har möjliggjort utforskning av en datakorpus långt bortom omfattningen av traditionella benchmarkningar. Framträdande arbete inom detta område inkluderar DINOv2, MAWS och AIM. DINOv2 uppnår toppprestation i generering av självständiga funktioner genom att skala upp kontrastiv iBot-metod på LDV-142M-datasamlingen. MAWS studerar skalningen av maskerade autoencoders (MAE) på miljarder bilder. AIM utforskar skalbarheten av autoregressiv visuell förträning liknande BERT för visionstransformatorer. I kontrast till dessa metoder, som främst fokuserar på allmän bildförträning eller nollskottsbildklassificering, tar Sapiens en tydligt människocentrerad ansats: Sapiens modeller utnyttjar en omfattande samling av mänskliga bilder för förträning, och finjusterar sedan för en rad mänskliga uppgifter. Jakten på storskalig 3D-mänsklig digitalisering förblir ett avgörande mål inom datorseende.

Betydande framsteg har gjorts inom kontrollerade eller studio-miljöer, men utmaningar kvarstår i att utöka dessa metoder till oberoende miljöer. För att tackla dessa utmaningar är det avgörande att utveckla flexibla modeller som kan hantera flera grundläggande uppgifter, såsom nyckelpunktsestimering, kroppsdelssgmentering, djupestimering och ytnormalprediktion från bilder i naturliga miljöer. I detta arbete syftar Sapiens till att utveckla modeller för dessa essentiella mänskliga visionuppgifter som generaliserar till vilda miljöer. För närvarande innehåller de största offentligt tillgängliga språkmodellerna över 100 miljarder parametrar, medan de mer vanligt använda språkmodellerna innehåller runt 7 miljarder parametrar. I kontrast har Visionstransformatorer (ViT), trots att de delar en liknande arkitektur, inte skalats upp till denna omfattning på ett lyckat sätt. Medan det finns anmärkningsvärda företag i denna riktning, inklusive utvecklingen av en tät ViT-4B som tränats på både text och bilder, och formuleringen av tekniker för stabil tränings av en ViT-22B, används vanligtvis visionsskelett mellan 300M till 600M parametrar och är främst förtränade vid en bildupplösning på cirka 224 pixlar. På liknande sätt använder befintliga transformerbaserade bildgenereringsmodeller, såsom DiT, mindre än 700M parametrar och opererar på ett högt komprimerat latentspace. För att tackla detta gap introducerar Sapiens en samling av stora, högupplösta ViT-modeller som förtränas ursprungligen vid en 1024-pixel bildupplösning på miljontals mänskliga bilder.

Sapiens presenterar en familj av modeller för fyra grundläggande mänskliga visionuppgifter: 2D-posestimering, kroppsdelssgmentering, djupestimering och ytnormalprediktion. Sapiens-modeller stöder nativt 1K högupplöst inferens och är extremt lätta att anpassa för enskilda uppgifter genom att enkelt finjustera modeller som förtränats på över 300 miljoner vilda mänskliga bilder. Sapiens observerar att, givet samma beräkningsbudget, självständig förträning på en kuraterad datasamling av mänskliga bilder signifikant förbättrar prestanda för en diversifierad uppsättning mänskliga uppgifter. De resulterande modellerna visar anmärkningsvärd generalisering till vilda data, även när märkt data är knapp eller helt syntetisk. Den enkla modellkonstruktionen medför också skalbarhet – modellprestanda över uppgifter förbättras när antalet parametrar skalas från 0,3 till 2 miljarder. Sapiens överträffar konsekvent befintliga baslinjer över olika mänskliga benchmarkningar, och uppnår signifikanta förbättringar jämfört med tidigare toppprestationsresultat: 7,6 mAP på Humans-5K (pose), 17,1 mIoU på Humans-2K (part-seg), 22,4% relativ RMSE på Hi4D (djup), och 53,5% relativ vinkelavvikelse på THuman2 (normal).

Sapiens: Genombrott inom Mänskliga Visionmodeller

De senaste åren har sett anmärkningsvärda steg mot att generera fotorealistiska människor i 2D och 3D. Framgången för dessa metoder tillskrivs i stor utsträckning den robusta estimeringen av olika tillgångar som 2D-nyckelpunkter, finmaskig kroppsdelssgmentering, djup och ytnormaler. Men robust och exakt estimering av dessa tillgångar förblir ett aktivt forskningsområde, och komplicerade system för att förbättra prestanda för enskilda uppgifter hindrar ofta en bredare tillämpning. Dessutom är det svårt att erhålla exakt grundtruth-annotation i vilda miljöer. Sapiens mål är att tillhandahålla en enhetlig ram och modeller för att härleda dessa tillgångar i vilda miljöer, och därmed låsa upp en rad mänskliga tillämpningar för alla.

Sapiens hävdar att sådana mänskliga modeller bör uppfylla tre kriterier: generalisering, bred tillämpbarhet och hög trohet. Generalisering säkerställer robusthet mot osedda förhållanden, vilket möjliggör för modellen att prestera konsekvent över varierande miljöer. Bred tillämpbarhet indikerar modellens flexibilitet, vilket gör den lämplig för en rad uppgifter med minimala justeringar. Hög trohet betecknar modellens förmåga att producera precisa, högupplösta utdata, vilket är avgörande för trogna mänskliga generationuppgifter. Denna artikel detaljerar utvecklingen av modeller som kännetecknas av dessa attribut, som kollektivt benämns Sapiens.

Följande insikter, Sapiens utnyttjar stora datasamlingar och skalbara modellarkitekturer, som är nyckeln till generalisering. För bredare tillämpbarhet antar Sapiens förträning-och-finjusteringsansatsen, vilket möjliggör post-förträningsanpassning till specifika uppgifter med minimala justeringar. Denna ansats väcker en kritisk fråga: Vilken typ av data är mest effektiv för förträning? Givet beräkningsbegränsningar, bör fokus ligga på att samla in så många mänskliga bilder som möjligt, eller är det föredraget att förträna på en mindre kuraterad uppsättning för att bättre återspegla verkliga variationsmönster? Befintliga metoder försummar ofta förträningsdatafördelningen i sammanhanget med nedströmsuppgifter. För att studera inflytandet av förträningsdatafördelning på mänskliga specifika uppgifter, samlar Sapiens in Humans-300M-datasamlingen, som består av 300 miljoner varierande mänskliga bilder. Dessa oetiketterade bilder används för att förträna en familj av visionstransformatorer från scratch, med parameterantal som sträcker sig från 300M till 2 miljarder.

Bland olika självständiga metoder för att lära allmänna visuella funktioner från stora datasamlingar, väljer Sapiens den maskerade autoencoders (MAE) ansatsen för dess enkelhet och effektivitet vid förträning. MAE, som har en enkel-pass-inferensmodell jämfört med kontrastiva eller multi-inferensstrategier, tillåter bearbetning av en större volym av bilder med samma beräkningsresurser. För högre trohet, till skillnad från tidigare metoder, ökar Sapiens den ursprungliga inmatningsupplösningen för förträning till 1024 pixlar, vilket resulterar i en ca 4-gånger ökning av FLOPs jämfört med den största befintliga visionsskelettet. Varje modell förtränas på 1,2 biljoner token. För finjustering på mänskliga uppgifter, använder Sapiens en konsekvent encoder-decoder-arkitektur. Encodern initieras med vikter från förträning, medan decodern, en lätt och uppgiftsspecifik huvud, initieras slumpmässigt. Båda komponenterna finjusteras sedan slutligen. Sapiens fokuserar på fyra nyckeluppgifter: 2D-posestimering, kroppsdelssgmentering, djup och normalstimering, som visas i följande figur.

I linje med tidigare studier, bekräftar Sapiens den kritiska påverkan av etikettkvalitet på modellens prestanda i vilda miljöer. Offentliga benchmarkningar innehåller ofta brusiga etiketter, vilket ger inkonsekventa övervakningssignaler under modellfinjustering. Samtidigt är det viktigt att använda finmaskiga och precisa etiketter för att nära ansluta till Sapiens primära mål om 3D-mänsklig digitalisering. För detta ändamål, föreslår Sapiens en betydligt tätare uppsättning av 2D-helkroppsnyckelpunkter för posestimering och en detaljerad klassvokabulär för kroppsdelssgmentering, som överträffar omfattningen av tidigare datasamlingar. Specifikt introducerar Sapiens en omfattande samling av 308 nyckelpunkter som omfattar kroppen, händerna, fötterna, ytan och ansiktet. Dessutom expanderar Sapiens klassvokabulären för kroppsdelssgmentering till 28 klasser, som täcker kroppsdelar som hår, tunga, tänder, övre/lägre läpp och torso. För att garantera kvaliteten och konsekvensen av etiketter och en hög grad av automatisering, använder Sapiens en multi-vy-capturesetup för att samla in pose- och segmenteringsetiketter. Sapiens använder också mänskliga syntetiska data för djup- och normalstimering, som utnyttjar 600 detaljerade skanningar från RenderPeople för att generera högupplösta djupkartor och ytnormaler. Sapiens visar att kombinationen av domänspecifik stor skalig förträning med begränsad, men högkvalitativ etikettering, leder till robust generalisering i vilda miljöer.

Sapiens: Metod och Arkitektur

Sapiens följer den maskerade autoencoders (MAE) ansatsen för förträning. Modellen tränas för att rekonstruera den ursprungliga mänskliga bilden givet dess partiella observation. Liksom alla autoencoders, har Sapiens modell en encoder som kartar den synliga bilden till en latent representation och en decoder som rekonstruerar den ursprungliga bilden från denna latent representation. Förträningsdatasamlingen består av både enstaka och multi-mänskliga bilder, med varje bild återstorad till en fast storlek med en kvadratisk bildförhållande. Liksom ViT, delas bilden in i regelbundna, icke-overlappande patchar med en fast patch-storlek. En undermängd av dessa patchar väljs slumpmässigt och maskeras, medan resten förblir synliga. Förhållandet mellan maskerade patchar och synliga patchar, kallat maskeringsförhållandet, förblir konstant under hela träningsprocessen.

Sapiens modeller visar generalisering över en rad bildkaraktäristika, inklusive skalor, beskärningar, ålder och etnicitet hos ämnen, samt antalet ämnen. Varje patch-token i modellen står för 0,02% av bildområdet jämfört med 0,4% i standard-ViTs, en 16-gånger minskning – vilket ger finmaskig inter-token resonemang för modellerna. Även med en ökad maskeringsförhållande på 95%, uppnår Sapiens modell en trovärdig rekonstruktion av mänsklig anatomi på utvalda prover. Rekonstruktionen av Sapiens förtränade modell på osedda mänskliga bilder visas i följande bild.

Dessutom använder Sapiens en stor proprietär datasamling för förträning, som består av cirka 1 miljard vilda bilder, med fokus enbart på mänskliga bilder. Förbearbetningen inkluderar att kasta bilder med vattenstämplar, text, konstnärliga representationer eller onaturliga element. Sapiens använder sedan en färdig person-begränsningsdetektor för att filtrera bilder, och behåller de som har en detekteringsscore över 0,9 och begränsningsbox-dimensioner som överstiger 300 pixlar. Över 248 miljoner bilder i datasamlingen innehåller flera ämnen.

2D Posestimering

Sapien-ramverket finjusterar encodern och decodern i P över flera skelett, inklusive K = 17, K = 133 och en ny, högt detaljerad skelett, med K = 308, som visas i följande figur.

Jämfört med befintliga format som har som mest 68 ansiktsnyckelpunkter, består Sapiens etiketter av 243 ansiktsnyckelpunkter, inklusive representativa punkter runt ögonen, läpparna, näsan och öronen. Denna design är anpassad för att noggrant fånga de nyanserade detaljerna i ansiktsuttryck i den verkliga världen. Med dessa nyckelpunkter, annoterade Sapien-ramverket manuellt 1 miljon bilder i 4K-upplösning från en inomhus-capturesetup. På liknande sätt som tidigare uppgifter, ställs decoderns utgångskanaler för normal-estimatoren N till 3, motsvarande xyz-komponenterna av normalvektorn vid varje pixel. De genererade syntetiska data används också som övervakning för ytnormalstimering.

Sapien: Experiment och Resultat

Sapiens-2B förtränas med 1024 A100 GPU:er under 18 dagar med PyTorch. Sapiens använder AdamW-optimisatorn för alla experiment. Lärandeschemat inkluderar en kort linjär uppvärmning, följt av cosinus-avklingning för förträning och linjär avklingning för finjustering. Alla modeller förtränas från scratch vid en upplösning på 1024 × 1024 med en patch-storlek på 16. För finjustering, återstoras inmatningsbilden till en 4:3-förhållande, d.v.s. 1024 × 768. Sapiens tillämpar standard-augmenteringar som beskärning, skalning, vändning och fotometriska distorsioner. En slumpmässig bakgrund från icke-mänskliga COCO-bilder läggs till för segmenterings-, djup- och normalprediktionsuppgifter. Viktigt är att Sapiens använder differentiala lärhastigheter för att bevara generalisering, med lägre lärhastigheter för initiala lager och progressivt högre hastigheter för efterföljande lager. Lag-vise lärhastighetsavklingning är inställd på 0,85 med en viktavklingning på 0,1 för encodern.

Designspecifikationerna för Sapiens detaljereras i följande tabell. Följande en specifik ansats, prioriterar Sapiens skalning av modeller genom bredd snarare än djup. Anmärkningsvärt är att Sapiens-0,3B-modellen, trots att den är arkitektoniskt lik den traditionella ViT-Large, består av tjugo gånger fler FLOPs på grund av sin högre upplösning.

Sapiens finjusteras för ansikte, kropp, fötter och hand (K = 308) posestimering med högkvalitativa etiketter. För träningsändamål, använder Sapiens träningsuppsättningen med 1M bilder, och för utvärdering, använder den testuppsättningen, som kallas Humans5K, med 5K bilder. Utvärderingen följer en topp-ned-ansats, där Sapiens använder en färdig detektor för begränsningsboxar och utför enkel-mänsklig pose-inferens. Tabell 3 visar en jämförelse mellan Sapiens-modeller och befintliga metoder för helkropps-posestimering. Alla metoder utvärderas på 114 gemensamma nyckelpunkter mellan Sapiens 308-nyckelpunktsvokabulär och COCO-WholeBody 133-nyckelpunktsvokabulär. Sapiens-0,6B överträffar den nuvarande toppprestationsmodellen, DWPose-l, med +2,8 AP. Till skillnad från DWPose, som använder en komplex elev-lärar-ram med funktionell destillering anpassad för uppgiften, antar Sapiens en allmän encoder-decoder-arkitektur med stor mänsklig förträning.

Intressant nog, även med samma parameterantal, visar Sapiens-modeller överlägsen prestanda jämfört med deras motsvarigheter. Till exempel, överträffar Sapiens-0,3B VitPose+-L med +5,6 AP, och Sapiens-0,6B överträffar VitPose+-H med +7,9 AP. Inom Sapiens-familjen, indikerar resultaten en direkt korrelation mellan modellstorlek och prestanda. Sapiens-2B sätter en ny toppprestationsrekord med 61,1 AP, en signifikant förbättring på +7,6 AP jämfört med tidigare toppprestationsresultat. Trots att de finjusteras med etiketter från en inomhus-capturesetup, visar Sapiens robust generalisering till verkliga världsscenario, som visas i följande figur.

Sapiens finjusteras och utvärderas med en segmenteringsvokabulär på 28 klasser. Träningsuppsättningen består av 100K bilder, medan testuppsättningen, Humans-2K, består av 2K bilder. Sapiens jämförs med befintliga kroppsdelssgmenteringsmetoder som finjusteras på samma träningsuppsättning, med de föreslagna förtränade kontrollpunkterna som initiering. På liknande sätt som posestimering, visar Sapiens generalisering i segmentering, som visas i följande tabell.

Intressant nog, är den minsta modellen, Sapiens-0,3B, överlägsen befintliga toppprestationssegmenteringsmetoder som Mask2Former och DeepLabV3+ med 12,6 mIoU, tack vare sin högre upplösning och stor mänsklig förträning. Dessutom förbättrar en ökning av modellstorleken segmenteringsprestandan. Sapiens-2B uppnår den bästa prestandan, med 81,2 mIoU och 89,4 mAcc på testuppsättningen, som visas i följande figur.

Slutsats

Sapiens representerar ett betydande steg mot att främja mänskliga visionmodeller till området för grundmodeller. Sapiens-modeller visar starka generaliseringsförmågor över en rad mänskliga uppgifter. Toppprestationsresultaten tillskrivs: (i) stor skalig förträning på en kuraterad datasamling specifikt anpassad för att förstå människor, (ii) skalade högupplösta och högkapacitetsvisionstransformator-skelett, och (iii) högkvalitativa etiketter på förstärkta studio- och syntetiska data. Sapiens-modeller har potentialen att bli en viktig byggsten för en mängd nedströmsuppgifter och ge tillgång till högkvalitativa visionsskelett till en betydligt bredare del av samhället.