Succesul remarcabil al preantrenării la scară largă, urmată de ajustarea specifică a sarcinii pentru modelarea limbajului, a stabilit această abordare ca o practică standard. În mod similar, metodele de viziune computerizată progresează și ele, adoptând scara largă de date pentru preantrenare. Apariția unor seturi de date mari, cum ar fi LAION5B, Instagram-3.5B, JFT-300M, LVD142M, Visual Genome și YFCC100M, a permis explorarea unui corpus de date dincolo de scopul benchmark-urilor tradiționale. Lucrările remarcabile din acest domeniu includ DINOv2, MAWS și AIM. DINOv2 atinge performanța de top în generarea de caracteristici autodirijate prin scalarea metodei contrastive iBot pe setul de date LDV-142M. MAWS studiază scalabilitatea mascat-autoencoderelor (MAE) pe miliarde de imagini. AIM explorează scalabilitatea preantrenării vizuale autoregresive, asemănătoare cu BERT pentru transformatori de viziune. În contrast cu aceste metode, care se concentrează în principal pe preantrenarea generală a imaginilor sau pe clasificarea imaginilor fără etichete, Sapiens adoptă o abordare distinct uman-centrică: modelele Sapiens folosesc o colecție vastă de imagini umane pentru preantrenare, urmată de ajustarea pentru o gamă de sarcini legate de oameni.

S-a făcut progres semnificativ în cadrul mediilor controlate sau de studio, dar provocările persistă în extinderea acestor metode la medii neconstrânse. Pentru a aborda aceste provocări, este esențial dezvoltarea unor modele versatile capabile de multiple sarcini fundamentale, cum ar fi estimarea punctelor cheie, segmentarea părților corpului, estimarea adâncimii și predicția normală a suprafeței din imagini în medii naturale. În acest lucru, Sapiens își propune să dezvolte modele pentru aceste sarcini esențiale de viziune umană care se generalizează la setări în sălbăticie. În prezent, cele mai mari modele de limbaj accesibile public conțin peste 100 de miliarde de parametri, în timp ce modelele de limbaj mai frecvent utilizate conțin aproximativ 7 miliarde de parametri. În contrast, transformatorii de viziune (ViT), în ciuda arhitecturii similare, nu au fost scalați până la acest nivel cu succes. Deși există încercări notabile în această direcție, inclusiv dezvoltarea unui ViT dens de 4 miliarde de parametri antrenați pe text și imagini și formularea unor tehnici pentru antrenarea stabilă a unui ViT de 22 de miliarde de parametri, scheletele de viziune utilizate în mod obișnuit variază între 300 de milioane și 600 de milioane de parametri și sunt preantrenate în principal la o rezoluție de imagine de aproximativ 224 de pixeli.

Sapiens prezintă o familie de modele pentru patru sarcini fundamentale de viziune uman-centrică: estimarea poziției 2D, segmentarea părților corpului, estimarea adâncimii și predicția normală a suprafeței. Modelele Sapiens suportă nativ inferența de înaltă rezoluție 1K și sunt extrem de ușor de adaptat pentru sarcini individuale prin simpla ajustare a modelelor preantrenate pe peste 300 de milioane de imagini umane în sălbăticie. Sapiens observă că, dată fiind aceeași alocare computațională, preantrenarea autodirijată pe un set de date curat de imagini umane îmbunătățește semnificativ performanța pentru o gamă diversă de sarcini uman-centrice. Modelele rezultate exibă o generalizare remarcabilă la datele din sălbăticie, chiar și atunci când datele etichetate sunt rare sau în întregime sintetice. Designul simplu al modelului aduce, de asemenea, scalabilitate – performanța modelului pe sarcini se îmbunătățește pe măsură ce numărul de parametri se escaladează de la 0,3 la 2 miliarde.

Sapiens: Breakthrough în Modele de Viziune Umană

Anii recenți au marturisit progrese remarcabile către generarea de imagini umane fotorealiste în 2D și 3D. Succesul acestor metode se datorează în mare măsură estimării robuste a diverselor active, cum ar fi punctele cheie 2D, segmentarea fină a părților corpului, adâncimea și normala suprafeței. Cu toate acestea, estimarea robustă și precisă a acestor active rămâne o zonă activă de cercetare, iar sistemele complicate pentru îmbunătățirea performanței pentru sarcini individuale pot împiedica adoptarea mai largă. Mai mult, obținerea de etichetări precise și de înaltă calitate în sălbăticie este notoriu dificil de scalat. Scopul Sapiens este de a oferi un cadru unificat și modele pentru a infera aceste active în sălbăticie, deblocând o gamă largă de aplicații uman-centrice pentru toată lumea.

Sapiens susține că astfel de modele uman-centrice ar trebui să îndeplinească trei criterii: generalizare, aplicabilitate largă și fidelitate ridicată. Generalizarea asigură robustețea la condiții neîntâlnite, permițând modelului să funcționeze consistent în medii variate. Aplicabilitatea largă indică versatilitatea modelului, făcându-l potrivit pentru o gamă largă de sarcini cu modificări minime. Fidelitatea ridicată denotă capacitatea modelului de a produce ieșiri precise și de înaltă rezoluție, esențiale pentru sarcinile de generare umană credibilă. Acest articol detaliază dezvoltarea unor modele care încorporează aceste atribute, cunoscute colectiv sub numele de Sapiens.

Urmând aceste insight-uri, Sapiens folosește seturi de date mari și arhitecturi de modele scalabile, cheie pentru generalizare. Pentru o aplicabilitate mai largă, Sapiens adoptă abordarea preantrenării și ajustării ulterioare, permițând adaptarea post-preantrenare la sarcini specifice cu ajustări minime. Acestă abordare ridică o întrebare critică: Ce tip de date este cel mai eficient pentru preantrenare? Având în vedere limitele computaționale, ar trebui să se pună accentul pe colectarea a cât mai multor imagini umane posibile sau este preferabil să se preantreneze pe un set mai puțin curat pentru a reflecta mai bine variabilitatea lumii reale? Metodele existente adesea ignoră distribuția datelor de preantrenare în contextul sarcinilor ulterioare. Pentru a studia influența distribuției datelor de preantrenare asupra sarcinilor specifice umane, Sapiens colectează setul de date Humans-300M, care conține 300 de milioane de imagini umane diverse. Aceste imagini neetichetate sunt utilizate pentru a preantrena o familie de transformatori de viziune de la zero, cu număr de parametri variind de la 300 de milioane la 2 miliarde.

Dintre diversele metode de auto-supervizare pentru învățarea caracteristicilor vizuale generale din seturi de date mari, Sapiens alege abordarea mascat-autoencoder (MAE) datorită simplității și eficienței sale în preantrenare. MAE, având un model de inferență cu o singură trecere comparativ cu strategiile contrastive sau multi-inferență, permite procesarea unui volum mai mare de imagini cu aceleași resurse computaționale. Pentru o fidelitate mai ridicată, în contrast cu metodele anterioare, Sapiens crește rezoluția nativă de intrare a preantrenării la 1024 de pixeli, rezultând o creștere de aproximativ 4 ori a FLOPs comparativ cu cel mai mare spate de viziune existent. Fiecare model este preantrenat pe 1,2 trilioane de tokeni. Pentru ajustarea pe sarcini uman-centrice, Sapiens utilizează o arhitectură consistentă de encoder-decoder. Encoderul este inițializat cu greutăți din preantrenare, în timp ce decoderul, un cap de sarcin ușor și specific, este inițializat aleatoriu. Ambele componente sunt ajustate ulterior de la cap la coadă.

Conform studiilor anterioare, Sapiens confirmă impactul critic al calității etichetărilor asupra performanței modelului în sălbăticie. Benchmark-urile publice adesea conțin etichetări zgomotoase, oferind semnale de supervizare inconsistente în timpul ajustării modelului. În același timp, este important să se utilizeze etichetări fine și precise pentru a se alinia strâns cu scopul principal al Sapiens de digitizare umană 3D. În acest sens, Sapiens propune un set de puncte cheie 2D de corp întreg mult mai dens pentru estimarea poziției și un vocabular detaliat de clasă pentru segmentarea părților corpului, depășind scopul seturilor de date anterioare. În mod specific, Sapiens introduce o colecție cuprinzătoare de 308 puncte cheie care cuprind corpul, mâinile, picioarele, suprafața și fața. De asemenea, Sapiens extinde vocabularul de clasă de segmentare la 28 de clase, acoperind părți ale corpului, cum ar fi părul, limba, dinții, buzele superioare și inferioare și torso. Pentru a garanta calitatea și consistența etichetărilor și un grad ridicat de automatizare, Sapiens utilizează un setup de captură multi-vizual pentru a colecta etichetări de poziție și segmentare. Sapiens utilizează, de asemenea, date sintetice uman-centrice pentru estimarea adâncimii și a normalului, folosind 600 de scanări detaliate de la RenderPeople pentru a genera hărți de adâncime și normale de suprafață de înaltă rezoluție.

Sapiens: Metodă și Arhitectură

Sapiens urmează abordarea mascat-autoencoder (MAE) pentru preantrenare. Modelul este antrenat pentru a reconstrui imaginea umană originală dată observației sale parțiale. Ca și toți autoencoderii, modelul Sapiens are un encoder care mapă imaginea vizibilă la o reprezentare latentă și un decoder care reconstruieste imaginea originală din această reprezentare latentă. Setul de date de preantrenare conține atât imagini cu un singur om, cât și cu mai mulți oameni, fiecare imagine fiind redimensionată la o dimensiune fixă cu un raport de aspect pătrat. Similar cu ViT, imaginea este împărțită în patch-uri regulate ne-suprapuse cu o dimensiune de patch fixă. Un subset de patch-uri este selectat aleatoriu și mascat, lăsând restul vizibil. Raportul de mascare, adică raportul dintre patch-urile mascate și cele vizibile, rămâne constant pe parcursul antrenării.

Modelele Sapiens exibă generalizare pe o varietate de caracteristici de imagine, inclusiv scări, recadrări, vârsta și etnia subiecților și numărul de subiecți. Fiecare token de patch din model contabilizează 0,02% din suprafața imaginii, comparativ cu 0,4% în ViT standard, o reducere de 16 ori – oferind un raționament fin inter-token pentru modele. Chiar și cu un raport de mascare de 95%, modelul Sapiens atinge o reconstrucție plauzibilă a anatomiei umane pe exemple nevizionate. Reconstrucția modelului Sapiens preantrenat pe imagini umane nevizionate este demonstrată în figura următoare.

Mai mult, Sapiens utilizează un set de date mare și proprietar pentru preantrenare, constând din aproximativ 1 miliard de imagini în sălbăticie, concentrându-se exclusiv pe imagini umane. Preprocesarea implică eliminarea imaginilor cu filigran, text, reprezentări artistice sau elemente neobișnuite. Sapiens utilizează apoi un detector de cutii de delimitare a persoanelor de serie pentru a filtra imagini, păstrând cele cu un scor de detectare de peste 0,9 și dimensiuni de cutie de delimitare de peste 300 de pixeli. Peste 248 de milioane de imagini din setul de date conțin mai multe subiecte.

Estimarea Poziției 2D

Cadrul Sapien ajustează encoderul și decoderul în P pe multiple schelete, inclusiv K = 17, K = 133 și un nou schelet foarte detaliat, cu K = 308, așa cum se arată în figura următoare.

Comparativ cu formatele existente cu cel mult 68 de puncte cheie faciale, etichetările Sapien conțin 243 de puncte cheie faciale, incluzând puncte reprezentative în jurul ochilor, buzelor, nasului și urechilor. Acest design este conceput pentru a captura cu atenție detalii subtile ale expresiilor faciale în lumea reală. Cu aceste puncte cheie, cadrul Sapien a etichetat manual 1 milion de imagini la rezoluție 4K dintr-un setup de captură interioară. Similar cu sarcinile anterioare, am setat canalele de ieșire ale decoderului estimatorului de normal la 3, corespunzător componentelor xyz ale vectorului normal la fiecare pixel. Datele sintetice generate sunt utilizate și ca supervizare pentru estimarea normalului.

Sapien: Experiment și Rezultate

Sapiens-2B este preantrenat utilizând 1024 de GPU A100 timp de 18 zile cu PyTorch. Sapiens utilizează optimizerul AdamW pentru toate experimentele. Programul de învățare include o scurtă perioadă de încălzire liniară, urmată de o scădere cosinusoidală pentru preantrenare și o scădere liniară pentru ajustare. Toate modelele sunt preantrenate de la zero la o rezoluție de 1024 × 1024 cu o dimensiune de patch de 16. Pentru ajustare, imaginea de intrare este redimensionată la un raport de 4:3, adică 1024 × 768. Sapiens aplică augmentări standard, cum ar fi decuparea, scalarea, răsucirea și distorsiunile fotometrice. Un fundal aleatoriu din imagini non-umane COCO este adăugat pentru sarcinile de segmentare, adâncime și predicție a normalului. În mod important, Sapiens utilizează rate de învățare diferențiate pentru a păstra generalizarea, cu rate de învățare mai mici pentru straturile inițiale și rate progresiv mai mari pentru straturile ulterioare. Decăderea ratei de învățare pe strat este setată la 0,85, cu o decădere a greutății de 0,1 pentru encoder.

Specificările de proiectare ale Sapiens sunt detaliate în tabela următoare. Urmând o abordare specifică, Sapiens prioritizează scalarea modelelor prin lățime mai degrabă decât adâncime. Notabil, modelul Sapiens-0,3B, deși arhitectural similar cu ViT-Large tradițional, constă dintr-un număr de 20 de ori mai mare de FLOPs datorită rezoluției sale mai mari.

Sapiens este ajustat pentru estimarea poziției feței, corpului, picioarelor și mâinilor (K = 308) utilizând etichetări de înaltă fidelitate. Pentru antrenare, Sapiens utilizează setul de antrenare cu 1 milion de imagini, iar pentru evaluare, utilizează setul de test, numit Humans5K, cu 5.000 de imagini. Evaluarea urmează o abordare de sus în jos, unde Sapiens utilizează un detector de cutii de delimitare a persoanelor de serie pentru a obține cutii de delimitare și efectuează inferența poziției pentru o singură persoană. Tabela 3 prezintă o comparație între modelele Sapiens și metodele existente pentru estimarea poziției întregului corp. Toate metodele sunt evaluate pe 114 puncte cheie comune între vocabularul de 308 puncte cheie al Sapiens și vocabularul de 133 de puncte cheie din COCO-WholeBody. Sapiens-0,6B depășește starea actuală a artei, DWPose-l, cu +2,8 AP. În contrast cu DWPose, care utilizează un cadru complex de student-profesor cu distilare de caracteristici specializat pentru sarcină, Sapiens adoptă o arhitectură de encoder-decoder generală cu o preantrenare uman-centrică pe scară largă.

Interesant, chiar și cu același număr de parametri, modelele Sapiens demonstrează o performanță superioară comparativ cu omologii lor. De exemplu, Sapiens-0,3B depășește VitPose+-L cu +5,6 AP, iar Sapiens-0,6B depășește VitPose+-H cu +7,9 AP. În cadrul familiei Sapiens, rezultatele indică o corelație directă între dimensiunea modelului și performanță. Sapiens-2B stabilește un nou standard de referință cu 61,1 AP, o îmbunătățire semnificativă de +7,6 AP față de starea anterioară a artei. În ciuda ajustării cu etichetări dintr-un studio de captură interioară, Sapiens demonstrează o generalizare robustă la scenarii din lumea reală, așa cum se arată în figura următoare.

Sapiens este ajustat și evaluat utilizând un vocabular de segmentare a părților corpului de 28 de clase. Setul de antrenare conține 100.000 de imagini, în timp ce setul de test, Humans-2K, conține 2.000 de imagini. Sapiens este comparat cu metodele existente de segmentare a părților corpului, ajustate pe același set de antrenare, utilizând punctele de plecare preantrenate sugerate de fiecare metodă. Similar cu estimarea poziției, Sapiens demonstrează generalizare în segmentare, așa cum se arată în tabela următoare.

Interesant, cel mai mic model, Sapiens-0,3B, depășește metodele actuale de segmentare a părților corpului, cum ar fi Mask2Former și DeepLabV3+, cu 12,6 mIoU, datorită rezoluției sale mai mari și preantrenării uman-centrice pe scară largă. Mai mult, creșterea dimensiunii modelului îmbunătățește și mai mult performanța de segmentare. Sapiens-2B atinge cea mai bună performanță, cu 81,2 mIoU și 89,4 mAcc pe setul de test, iar figura următoare prezintă rezultatele calitative ale modelelor Sapiens.

Concluzie

Sapiens reprezintă un pas semnificativ către dezvoltarea modelelor de viziune umană în domeniul modelelor de bază. Modelele Sapiens demonstrează capacități de generalizare puternice pe o varietate de sarcini uman-centrice. Performanța de top se datorează: (i) preantrenării pe scară largă pe un set de date curat și specializat pentru înțelegerea oamenilor, (ii) spatele de viziune de înaltă capacitate și rezoluție ridicată și (iii) etichetărilor de înaltă calitate pe date de studio și sintetice. Modelele Sapiens au potențialul de a deveni un bloc de construcție cheie pentru o multitudine de sarcini ulterioare și oferă acces la spatele de viziune de înaltă calitate unei părți semnificativ mai largi a comunității.