Il notevole successo della preformazione su larga scala seguita da un adattamento specifico per la modellazione del linguaggio ha stabilito questo approccio come una pratica standard. Allo stesso modo, i metodi di visione computerizzata stanno progressivamente abbracciando scale di dati estese per la preformazione. L’emergere di grandi set di dati, come LAION5B, Instagram-3.5B, JFT-300M, LVD142M, Visual Genome e YFCC100M, ha consentito l’esplorazione di un corpus di dati ben oltre l’ambito dei benchmark tradizionali. Lavori salienti in questo dominio includono DINOv2, MAWS e AIM. DINOv2 raggiunge prestazioni di stato dell’arte nella generazione di funzioni auto-supervisionate scalando il metodo contrastivo iBot sul set di dati LDV-142M. MAWS studia la scalabilità dei masked-autoencoders (MAE) su un miliardo di immagini. AIM esplora la scalabilità della preformazione visiva autoregressiva simile a BERT per i trasformatori di visione. A differenza di questi metodi, che si concentrano principalmente sulla preformazione di immagini generali o sulla classificazione di immagini zero-shot, Sapiens adotta un approccio distintamente umano-centrico: i modelli di Sapiens sfruttano una vasta raccolta di immagini umane per la preformazione, seguita da un adattamento per una serie di compiti correlati agli esseri umani. La ricerca della digitazione 3D umana su larga scala rimane un obiettivo fondamentale nella visione computerizzata.

Sono stati fatti progressi significativi all’interno di ambienti controllati o di studio, ma persistono sfide nell’estendere questi metodi ad ambienti non vincolati. Per affrontare queste sfide, è cruciale sviluppare modelli versatili in grado di eseguire多pli compiti fondamentali, come la stima dei punti chiave, la segmentazione delle parti del corpo, la stima della profondità e la previsione della normale di superficie da immagini in ambienti naturali. In questo lavoro, Sapiens mira a sviluppare modelli per questi compiti essenziali della visione umana che si generalizzano in ambienti incontrollati. Attualmente, i più grandi modelli di linguaggio accessibili pubblicamente contengono oltre 100 miliardi di parametri, mentre i modelli di linguaggio più comunemente utilizzati contengono circa 7 miliardi di parametri. Al contrario, i trasformatori di visione (ViT), nonostante condividano un’architettura simile, non sono stati scalati a questo livello con successo. Mentre ci sono notevoli sforzi in questa direzione, tra cui lo sviluppo di un ViT-4B denso addestrato su testo e immagini e la formulazione di tecniche per l’addestramento stabile di un ViT-22B, i backbone di visione comunemente utilizzati si aggirano tra 300 milioni e 600 milioni di parametri e sono principalmente pre-addestrati a una risoluzione di immagine di circa 224 pixel. Allo stesso modo, i modelli di generazione di immagini basati su trasformatori esistenti, come DiT, utilizzano meno di 700 milioni di parametri e operano su uno spazio latente altamente compresso. Per colmare questa lacuna, Sapiens introduce una raccolta di grandi modelli ViT ad alta risoluzione pre-addestrati nativamente a una risoluzione di immagine di 1024 pixel su milioni di immagini umane.

Sapiens presenta una famiglia di modelli per quattro compiti fondamentali della visione umano-centrica: stima della posizione 2D, segmentazione delle parti del corpo, stima della profondità e previsione della normale di superficie. I modelli di Sapiens supportano nativamente l’inferenza ad alta risoluzione 1K ed è estremamente facile adattarli per compiti individuali semplicemente adattando i modelli pre-addestrati su oltre 300 milioni di immagini umane incontrollate. Sapiens osserva che, dato lo stesso budget computazionale, la preformazione auto-supervisionata su un set di dati curato di immagini umane aumenta notevolmente le prestazioni per una serie di compiti umano-centrici. I modelli risultanti esibiscono una notevole generalizzazione ai dati incontrollati, anche quando i dati etichettati sono scarsi o interamente sintetici. La semplice progettazione del modello porta anche la scalabilità: le prestazioni del modello attraverso i compiti migliorano man mano che il numero di parametri scala da 0,3 a 2 miliardi. Sapiens supera costantemente le baseline esistenti attraverso vari benchmark umano-centrici, raggiungendo miglioramenti significativi rispetto ai risultati precedenti di stato dell’arte: 7,6 mAP su Humans-5K (posizione), 17,1 mIoU su Humans-2K (segmentazione di parti), 22,4% di errore relativo RMSE su Hi4D (profondità) e 53,5% di errore relativo angolare su THuman2 (normale).

Sapiens: Breakthrough nella Visione Umana

Gli ultimi anni hanno visto notevoli passi avanti nella generazione di immagini umane fotorealistiche in 2D e 3D. Il successo di questi metodi è in gran parte attribuito alla stima robusta di vari asset come punti chiave 2D, segmentazione fine-grana delle parti del corpo, profondità e normali di superficie. Tuttavia, la stima robusta e precisa di questi asset rimane un’area di ricerca attiva e sistemi complessi per migliorare le prestazioni per compiti individuali spesso ostacolano una più ampia adozione. Inoltre, ottenere annotazioni di ground-truth precise incontrollate è notoriamente difficile da scalare. L’obiettivo di Sapiens è fornire un framework unificato e modelli per inferire questi asset incontrollati, sbloccando una vasta gamma di applicazioni umano-centriche per tutti.

Sapiens sostiene che tali modelli umano-centrici dovrebbero soddisfare tre criteri: generalizzazione, ampia applicabilità e alta fedeltà. La generalizzazione garantisce la robustezza alle condizioni non viste, consentendo al modello di eseguire in modo coerente attraverso ambienti vari. L’ampia applicabilità indica la versatilità del modello, rendendolo adatto a una vasta gamma di compiti con minime modifiche. L’alta fedeltà denota la capacità del modello di produrre output precisi e ad alta risoluzione, essenziali per i compiti di generazione umana fedele. Questo articolo dettaglia lo sviluppo di modelli che incarnano questi attributi, collettivamente noti come Sapiens.

Seguendo queste intuizioni, Sapiens sfrutta grandi set di dati e architetture di modelli scalabili, chiave per la generalizzazione. Per una maggiore applicabilità, Sapiens adotta l’approccio pre-addestra-poi-adatta, consentendo l’adattamento post-pre-addestramento a compiti specifici con minime modifiche. Questo approccio solleva una domanda critica: qual è il tipo di dati più efficace per la preformazione? Date le limitazioni computazionali, dovrebbe essere posto l’accento sulla raccolta del maggior numero possibile di immagini umane o è preferibile pre-addestrare su un set di dati meno curato per riflettere meglio la variabilità del mondo reale? I metodi esistenti spesso trascurano la distribuzione dei dati di preformazione nel contesto dei compiti downstream. Per studiare l’influenza della distribuzione dei dati di preformazione sui compiti umano-specifici, Sapiens raccoglie il set di dati Humans-300M, che presenta 300 milioni di immagini umane diverse. Queste immagini non etichettate vengono utilizzate per pre-addestrare una famiglia di trasformatori di visione da zero, con contatori di parametri che vanno da 300 milioni a 2 miliardi.

Tra i vari metodi di auto-supervisione per l’apprendimento di funzioni visive general-purpose da grandi set di dati, Sapiens sceglie l’approccio masked-autoencoder (MAE) per la sua semplicità ed efficienza nella preformazione. L’MAE, avendo un modello di inferenza a singola passata rispetto a strategie contrastive o multi-inferenza, consente l’elaborazione di un volume più grande di immagini con le stesse risorse computazionali. Per una maggiore fedeltà, a differenza dei metodi precedenti, Sapiens aumenta la risoluzione di input nativa della sua preformazione a 1024 pixel, risultando in un aumento di circa 4 volte dei FLOPs rispetto al più grande backbone di visione esistente. Ogni modello viene pre-addestrato su 1,2 trilioni di token. Per l’adattamento ai compiti umano-centrici, Sapiens utilizza un’architettura encoder-decoder coerente. L’encoder viene inizializzato con pesi dalla preformazione, mentre il decoder, una testa leggera e specifica del compito, viene inizializzato casualmente. Entrambi i componenti vengono quindi adattati end-to-end. Sapiens si concentra su quattro compiti chiave: stima della posizione 2D, segmentazione delle parti del corpo, profondità e stima della normale, come dimostrato nella figura seguente.

Coerentemente con studi precedenti, Sapiens afferma l’impatto critico della qualità dell’etichetta sulle prestazioni del modello incontrollate. I benchmark pubblici spesso contengono etichette rumorose, fornendo segnali di supervisione inconsistenti durante l’adattamento del modello. Allo stesso tempo, è importante utilizzare annotazioni precise e dettagliate per allinearsi strettamente con l’obiettivo principale di Sapiens di digitazione 3D umana. A questo scopo, Sapiens propone un set di punti chiave 2D di corpo intero sostanzialmente più denso per la stima della posizione e un vocabolario di classe dettagliato per la segmentazione delle parti del corpo, superando l’ambito dei set di dati precedenti. In particolare, Sapiens introduce una raccolta completa di 308 punti chiave che comprendono il corpo, le mani, i piedi, la superficie e il viso. Inoltre, Sapiens estende il vocabolario di classe di segmentazione a 28 classi, coprendo parti del corpo come i capelli, la lingua, i denti, il labbro superiore/inferiore e il torso. Per garantire la qualità e la coerenza delle annotazioni e un alto grado di automazione, Sapiens utilizza un setup di cattura multi-vista per raccogliere annotazioni di posizione e segmentazione. Sapiens utilizza anche dati sintetici umano-centrici per la stima della profondità e della normale, sfruttando 600 scansioni dettagliate da RenderPeople per generare mappe di profondità ad alta risoluzione e normali di superficie. Sapiens dimostra che la combinazione della preformazione su larga scala con annotazioni di alta qualità conduce a una generalizzazione incontrollata robusta.

Sapiens: Metodologia e Architettura

Sapiens segue l’approccio masked-autoencoder (MAE) per la preformazione. Il modello viene addestrato a ricostruire l’immagine umana originale data la sua osservazione parziale. Come tutti gli autoencoder, il modello di Sapiens ha un encoder che mappa l’immagine visibile in una rappresentazione latente e un decoder che ricostruisce l’immagine originale da questa rappresentazione latente. Il set di dati di preformazione consiste in immagini singole e multi-umane, con ogni immagine ridimensionata a una dimensione fissa con un rapporto di aspetto quadrato. Simile a ViT, l’immagine viene divisa in patch regolari non sovrapposte con una dimensione di patch fissa. Un subset di queste patch viene selezionato casualmente e mascherato, lasciando il resto visibile. La proporzione di patch mascherate rispetto a quelle visibili, nota come rapporto di mascheramento, rimane fissa durante l’addestramento.

I modelli di Sapiens esibiscono generalizzazione attraverso una varietà di caratteristiche di immagine, tra cui scale, ritagli, età ed etnia dei soggetti e numero di soggetti. Ogni token di patch nel modello rappresenta lo 0,02% dell’area dell’immagine rispetto allo 0,4% nei ViT standard, una riduzione di 16 volte: ciò fornisce una ragionamento inter-token fine-grana per i modelli. Anche con un rapporto di mascheramento aumentato del 95%, il modello pre-addestrato di Sapiens raggiunge una ricostruzione plausibile dell’anatomia umana su campioni tenuti a parte.

Inoltre, Sapiens utilizza un grande set di dati proprietario per la preformazione, consistente in circa 1 miliardo di immagini incontrollate, concentrandosi esclusivamente su immagini umane. L’elaborazione prevede lo scarto di immagini con watermark, testo, rappresentazioni artistiche o elementi non naturali. Sapiens utilizza quindi un rilevatore di bounding-box di persona off-the-shelf per filtrare le immagini, conservando quelle con un punteggio di rilevamento superiore a 0,9 e dimensioni di bounding-box superiori a 300 pixel. Oltre 248 milioni di immagini nel set di dati contengono più soggetti.

Stima della Posizione 2D

Il framework di Sapien adatta l’encoder e il decoder in P su più scheletri, tra cui K = 17 [67], K = 133 [55] e uno scheletro altamente dettagliato, con K = 308, come mostrato nella figura seguente.

A differenza dei formati esistenti con al massimo 68 punti chiave facciali, le annotazioni di Sapien consistono in 243 punti chiave facciali, tra cui punti rappresentativi intorno agli occhi, alle labbra, al naso e alle orecchie. Questa progettazione è studiata per catturare minuziosamente i dettagli delle espressioni facciali nel mondo reale. Con questi punti chiave, il framework di Sapien ha annotato manualmente 1 milione di immagini a risoluzione 4K da un setup di cattura indoor. Simile ai compiti precedenti, impostiamo i canali di output del decoder dell’estimatore di normale N su 3, corrispondenti ai componenti xyz del vettore di normale in ogni pixel. I dati sintetici generati vengono anche utilizzati come supervisione per la stima della normale di superficie.

Sapien: Esperimento e Risultati

Sapiens-2B viene pre-addestrato utilizzando 1024 GPU A100 per 18 giorni con PyTorch. Sapiens utilizza l’ottimizzatore AdamW per tutti gli esperimenti. La pianificazione dell’apprendimento include un breve riscaldamento lineare, seguito da annealing coseno per la preformazione e decadimento lineare per l’adattamento. Tutti i modelli vengono pre-addestrati da zero a una risoluzione di 1024 × 1024 con una dimensione di patch di 16. Per l’adattamento, l’immagine di input viene ridimensionata a un rapporto 4:3, ovvero 1024 × 768. Sapiens applica augmentation standard come ritaglio, scala, capovolgimento e distorsioni fotometriche. Uno sfondo casuale da immagini non umane COCO viene aggiunto per i compiti di segmentazione, profondità e previsione della normale. È importante notare che Sapiens utilizza tassi di apprendimento differenziali per preservare la generalizzazione, con tassi di apprendimento più bassi per i layer iniziali e tassi progressivamente più alti per i layer successivi. Il decadimento del tasso di apprendimento per layer è impostato su 0,85 con un decadimento del peso di 0,1 per l’encoder.

Le specifiche progettuali di Sapiens sono dettagliate nella tabella seguente. Seguendo un approccio specifico, Sapiens priorizza la scalabilità dei modelli per larghezza piuttosto che per profondità. Notabilmente, il modello Sapiens-0,3B, sebbene architettonicamente simile al ViT-Large tradizionale, consiste di venti volte più FLOPs a causa della sua risoluzione più alta.

Sapiens viene adattato per la stima della posizione del viso, del corpo, dei piedi e delle mani (K = 308) utilizzando annotazioni ad alta fedeltà. Per l’addestramento, Sapiens utilizza il set di addestramento con 1 milione di immagini e, per la valutazione, utilizza il set di test, chiamato Humans5K, con 5.000 immagini. La valutazione segue un approccio top-down, in cui Sapiens utilizza un rilevatore di bounding-box off-the-shelf per le caselle e conduce un’inferenza di posizione umana singola. La tabella 3 mostra un confronto tra i modelli di Sapiens e i metodi esistenti per la stima della posizione del corpo intero. Tutti i metodi vengono valutati su 114 punti chiave comuni tra il vocabolario di 308 punti chiave di Sapiens e il vocabolario di 133 punti chiave di COCO-WholeBody. Sapiens-0,6B supera lo stato dell’arte attuale, DWPose-l, di +2,8 AP. A differenza di DWPose, che utilizza un framework studente-insegnante complesso con distillazione di funzioni adattata per il compito, Sapiens adotta un’architettura encoder-decoder generale con una preformazione umano-centrica su larga scala.

Interessantemente, anche con lo stesso numero di parametri, i modelli di Sapiens dimostrano prestazioni superiori rispetto ai loro omologhi. Ad esempio, Sapiens-0,3B supera VitPose+-L di +5,6 AP e Sapiens-0,6B supera VitPose+-H di +7,9 AP. All’interno della famiglia di Sapiens, i risultati indicano una correlazione diretta tra le dimensioni del modello e le prestazioni. Sapiens-2B stabilisce un nuovo stato dell’arte con 61,1 AP, un miglioramento significativo di +7,6 AP rispetto all’arte precedente. Nonostante l’adattamento con annotazioni da uno studio indoor, Sapiens dimostra una generalizzazione robusta ai scenari del mondo reale, come mostrato nella figura seguente.

Sapiens viene adattato e valutato utilizzando un vocabolario di segmentazione di 28 classi. Il set di addestramento consiste in 100.000 immagini, mentre il set di test, Humans-2K, consiste in 2.000 immagini. Sapiens viene confrontato con i metodi di segmentazione delle parti del corpo esistenti, adattati sullo stesso set di addestramento, utilizzando i checkpoint pre-addestrati suggeriti da ciascun metodo come inizializzazione. Simile alla stima della posizione, Sapiens mostra generalizzazione nella segmentazione, come dimostrato nella tabella seguente.

Interessantemente, il modello più piccolo, Sapiens-0,3B, supera i metodi di segmentazione di stato dell’arte esistenti come Mask2Former e DeepLabV3+ di 12,6 mIoU a causa della sua risoluzione più alta e della preformazione umano-centrica su larga scala. Inoltre, l’aumento delle dimensioni del modello migliora ulteriormente le prestazioni di segmentazione. Sapiens-2B raggiunge le migliori prestazioni, con 81,2 mIoU e 89,4 mAcc sul set di test, come mostrato nella figura seguente.

Conclusione

Sapiens rappresenta un passo significativo verso l’avanzamento dei modelli di visione umano-centrica nel regno dei modelli di base. I modelli di Sapiens dimostrano capacità di generalizzazione robuste attraverso una varietà di compiti umano-centrici. Le prestazioni di stato dell’arte sono attribuibili a: (i) preformazione su larga scala su un set di dati curato specificamente progettato per comprendere gli esseri umani, (ii) backbone di trasformatori di visione ad alta risoluzione e ad alta capacità, e (iii) annotazioni di alta qualità su dati di studio e sintetici aumentati. I modelli di Sapiens hanno il potenziale per diventare un blocco fondamentale per una moltitudine di compiti downstream e fornire l’accesso a backbone di visione di alta qualità a una parte significativamente più ampia della comunità.