O notável sucesso do pré-treinamento em larga escala seguido de ajuste fino específico para modelagem de linguagem estabeleceu essa abordagem como uma prática padrão. Da mesma forma, os métodos de visão computacional estão progressivamente abraçando escalas de dados extensas para pré-treinamento. O surgimento de grandes conjuntos de dados, como LAION5B, Instagram-3.5B, JFT-300M, LVD142M, Visual Genome e YFCC100M, permitiu a exploração de um corpus de dados bem além do escopo dos benchmarks tradicionais. Trabalhos notáveis nesse domínio incluem DINOv2, MAWS e AIM. DINOv2 alcança o desempenho de estado da arte na geração de recursos auto-supervisionados por meio da escalabilidade do método iBot contrastivo no conjunto de dados LDV-142M. MAWS estuda a escalabilidade dos auto-encoders mascarados (MAE) em bilhões de imagens. AIM explora a escalabilidade do pré-treinamento visual autoregressivo semelhante ao BERT para transformadores de visão. Em contraste com esses métodos, que se concentram principalmente no pré-treinamento de imagem geral ou classificação de imagem zero-shot, Sapiens adota uma abordagem distintamente centrada no ser humano: os modelos Sapiens aproveitam uma vasta coleção de imagens humanas para pré-treinamento, ajustando posteriormente para uma variedade de tarefas relacionadas a humanos.

Foi feito um progresso significativo dentro de ambientes controlados ou de estúdio, mas desafios persistem na extensão desses métodos para ambientes não controlados. Para abordar esses desafios, é crucial desenvolver modelos versáteis capazes de realizar múltiplas tarefas fundamentais, como estimativa de pontos-chave, segmentação de partes do corpo, estimativa de profundidade e previsão de normais de superfície a partir de imagens em configurações naturais. Neste trabalho, Sapiens visa desenvolver modelos para essas tarefas essenciais de visão humana que se generalizam para configurações in-the-wild. Atualmente, os maiores modelos de linguagem publicamente acessíveis contêm até 100B parâmetros, enquanto os modelos de linguagem mais comumente usados contêm cerca de 7B parâmetros. Em contraste, os Transformadores de Visão (ViT), apesar de compartilharem uma arquitetura semelhante, não foram escalados com sucesso a esse nível. Embora haja esforços notáveis nessa direção, incluindo o desenvolvimento de um ViT denso de 4B treinado em texto e imagens, e a formulação de técnicas para o treinamento estável de um ViT-22B, os backbones de visão comumente utilizados ainda variam entre 300M a 600M parâmetros e são principalmente pré-treinados em uma resolução de imagem de cerca de 224 pixels. Da mesma forma, os modelos de geração de imagem baseados em transformadores existentes, como DiT, usam menos de 700M parâmetros e operam em um espaço latente altamente comprimido. Para abordar essa lacuna, Sapiens introduz uma coleção de grandes modelos ViT de alta resolução que são pré-treinados nativamente em uma resolução de imagem de 1024 pixels em milhões de imagens humanas.

Sapiens apresenta uma família de modelos para quatro tarefas fundamentais de visão centradas no ser humano: estimativa de pose 2D, segmentação de partes do corpo, estimativa de profundidade e previsão de normais de superfície. Os modelos Sapiens suportam nativamente inferência de alta resolução de 1K e são extremamente fáceis de adaptar para tarefas individuais simplesmente ajustando os modelos pré-treinados em mais de 300 milhões de imagens humanas in-the-wild. Sapiens observa que, dado o mesmo orçamento computacional, o pré-treinamento auto-supervisionado em um conjunto de dados curado de imagens humanas aumenta significativamente o desempenho para um conjunto diverso de tarefas centradas no ser humano. Os modelos resultantes exibem uma notável generalização para dados in-the-wild, mesmo quando os dados rotulados são escassos ou inteiramente sintéticos. O design simples do modelo também traz escalabilidade – o desempenho do modelo em tarefas melhora à medida que o número de parâmetros aumenta de 0,3 para 2 bilhões. Sapiens consistentemente supera as linhas de base existentes em vários benchmarks centrados no ser humano, alcançando melhorias significativas sobre os resultados de estado da arte anteriores: 7,6 mAP em Humans-5K (pose), 17,1 mIoU em Humans-2K (part-seg), 22,4% RMSE relativo em Hi4D (profundidade) e 53,5% erro angular relativo em THuman2 (normal).

Sapiens: Avanço nos Modelos de Visão Humana

Nos últimos anos, houve avanços notáveis na geração de humanos fotorealistas em 2D e 3D. O sucesso desses métodos é grandemente atribuído à robusta estimativa de vários ativos, como pontos-chave 2D, segmentação de partes do corpo de granulação fina, profundidade e normais de superfície. No entanto, a estimativa robusta e precisa desses ativos permanece uma área de pesquisa ativa, e sistemas complicados para aumentar o desempenho para tarefas individuais frequentemente impedem uma adoção mais ampla. Além disso, obter anotações de ground-truth precisas in-the-wild é notoriamente difícil de escalar. O objetivo de Sapiens é fornecer um framework unificado e modelos para inferir esses ativos in-the-wild, desbloqueando uma ampla gama de aplicações centradas no ser humano para todos.

Sapiens argumenta que tais modelos centrados no ser humano devem atender a três critérios: generalização, aplicabilidade ampla e alta fidelidade. A generalização assegura a robustez em condições não vistas, permitindo que o modelo desempenhe consistentemente em ambientes variados. A aplicabilidade ampla indica a versatilidade do modelo, tornando-o adequado para uma ampla gama de tarefas com modificações mínimas. A alta fidelidade denota a capacidade do modelo de produzir saídas precisas e de alta resolução, essenciais para tarefas de geração de humanos fiéis. Este artigo detalha o desenvolvimento de modelos que incorporam esses atributos, coletivamente referidos como Sapiens.

Seguindo insights, Sapiens aproveita grandes conjuntos de dados e arquiteturas de modelo escaláveis, chaves para a generalização. Para uma aplicabilidade mais ampla, Sapiens adota a abordagem de pré-treinamento e ajuste fino, permitindo a adaptação pós-pré-treinamento para tarefas específicas com ajustes mínimos. Essa abordagem levanta uma pergunta crítica: que tipo de dados é mais eficaz para o pré-treinamento? Dada as limitações computacionais, deve-se enfatizar a coleta de tantas imagens humanas quanto possível, ou é preferível pré-treinar em um conjunto de dados menos curado para refletir melhor a variabilidade do mundo real? Métodos existentes frequentemente ignoram a distribuição de dados de pré-treinamento no contexto de tarefas downstream. Para estudar a influência da distribuição de dados de pré-treinamento em tarefas específicas de humanos, Sapiens coleta o conjunto de dados Humans-300M, com 300 milhões de imagens humanas diversificadas. Essas imagens não rotuladas são usadas para pré-treinar uma família de transformadores de visão do zero, com contagens de parâmetros variando de 300M a 2B.

Entre vários métodos de auto-supervisão para aprender recursos visuais de propósito geral a partir de grandes conjuntos de dados, Sapiens escolhe a abordagem de auto-encoder mascarado (MAE) por sua simplicidade e eficiência no pré-treinamento. MAE, com um modelo de inferência de uma única passada em comparação com estratégias contrastivas ou de multi-inferência, permite processar um volume maior de imagens com os mesmos recursos computacionais. Para uma fidelidade mais alta, em contraste com métodos anteriores, Sapiens aumenta a resolução de entrada nativa do pré-treinamento para 1024 pixels, resultando em um aumento aproximado de 4× em FLOPs em comparação com o maior backbone de visão existente. Cada modelo é pré-treinado em 1,2 trilhão de tokens. Para o ajuste fino em tarefas centradas no ser humano, Sapiens usa uma arquitetura codificador-decodificador consistente. O codificador é inicializado com pesos do pré-treinamento, enquanto o decodificador, uma cabeça leve e específica da tarefa, é inicializado aleatoriamente. Ambos os componentes são então ajustados de ponta a ponta. Sapiens se concentra em quatro tarefas-chave: estimativa de pose 2D, segmentação de partes do corpo, profundidade e estimativa de normais, como demonstrado na figura a seguir.

Consistente com estudos anteriores, Sapiens afirma o impacto crítico da qualidade do rótulo no desempenho in-the-wild do modelo. Benchmarks públicos frequentemente contêm rótulos barulhentos, fornecendo sinais supervisorios inconsistentes durante o ajuste fino do modelo. Ao mesmo tempo, é importante utilizar anotações precisas e granulares para alinhar-se estreitamente com o objetivo principal de Sapiens de digitalização 3D humana. Para esse fim, Sapiens propõe um conjunto de pontos-chave 2D de corpo inteiro substancialmente mais denso para estimativa de pose e um vocabulário de classe detalhado para segmentação de partes do corpo, superando o escopo de conjuntos de dados anteriores. Especificamente, Sapiens introduz uma coleção abrangente de 308 pontos-chave que abrangem o corpo, mãos, pés, superfície e rosto. Além disso, Sapiens expande o vocabulário de classe de segmentação para 28 classes, cobrindo partes do corpo como cabelo, língua, dentes, lábio superior/inferior e torso. Para garantir a qualidade e a consistência das anotações e um alto grau de automação, Sapiens utiliza um setup de captura multi-vista para coletar anotações de pose e segmentação. Sapiens também utiliza dados sintéticos centrados no ser humano para estimativa de profundidade e normais, aproveitando 600 digitalizações detalhadas de RenderPeople para gerar mapas de profundidade de alta resolução e normais de superfície. Sapiens demonstra que a combinação do pré-treinamento em larga escala com anotações de alta qualidade leva a uma generalização in-the-wild robusta.

Sapiens: Método e Arquitetura

Sapiens segue a abordagem de auto-encoder mascarado (MAE) para pré-treinamento. O modelo é treinado para reconstruir a imagem humana original dada sua observação parcial. Como todos os auto-encoders, o modelo de Sapiens tem um codificador que mapeia a imagem visível para uma representação latente e um decodificador que reconstrói a imagem original a partir dessa representação latente. O conjunto de dados de pré-treinamento consiste em imagens de um ou mais humanos, com cada imagem redimensionada para um tamanho fixo com uma proporção de aspecto quadrada. Semelhante ao ViT, a imagem é dividida em patches regulares não sobrepostos com um tamanho de patch fixo. Um subconjunto desses patches é selecionado aleatoriamente e mascarado, deixando o restante visível. A proporção de patches mascarados para visíveis, conhecida como taxa de mascaramento, permanece fixa durante todo o treinamento.

Os modelos Sapiens exibem generalização em uma variedade de características de imagem, incluindo escalas, cortes, idade e etnia dos sujeitos e número de sujeitos. Cada token de patch no modelo corresponde a 0,02% da área da imagem, em comparação com 0,4% nos ViTs padrão, uma redução de 16× – fornecendo um raciocínio inter-token de granulação fina para os modelos. Mesmo com uma taxa de mascaramento aumentada de 95%, o modelo pré-treinado de Sapiens alcança uma reconstrução plausível da anatomia humana em amostras mantidas. A reconstrução do modelo pré-treinado de Sapiens em imagens humanas não vistas é demonstrada na figura a seguir.

Além disso, Sapiens utiliza um grande conjunto de dados proprietário para pré-treinamento, consistindo em aproximadamente 1 bilhão de imagens in-the-wild, focando exclusivamente em imagens humanas. O pré-processamento envolve descartar imagens com marcas d’água, texto, representações artísticas ou elementos não naturais. Sapiens então usa um detector de caixa delimitadora de pessoa off-the-shelf para filtrar as imagens, retem as imagens com uma pontuação de detecção acima de 0,9 e dimensões de caixa delimitadora superiores a 300 pixels. Mais de 248 milhões de imagens no conjunto de dados contêm vários sujeitos.

Estimativa de Pose 2D

A estrutura Sapien ajusta o codificador e o decodificador em P em vários esqueletos, incluindo K = 17 [67], K = 133 [55] e um esqueleto altamente detalhado, com K = 308, como mostrado na figura a seguir.

Em comparação com formatos existentes com no máximo 68 pontos-chave faciais, as anotações de Sapien consistem em 243 pontos-chave faciais, incluindo pontos representativos ao redor dos olhos, lábios, nariz e orelhas. Esse design é personalizado para capturar minuciosamente os detalhes nuances das expressões faciais no mundo real. Com esses pontos-chave, a estrutura Sapien anotou manualmente 1 milhão de imagens em resolução 4K de um setup de captura interna. Semelhante a tarefas anteriores, definimos os canais de saída do decodificador do estimador de normais N como 3, correspondendo aos componentes xyz do vetor normal em cada pixel. Os dados sintéticos gerados também são usados como supervisão para estimativa de normais de superfície.

Sapien: Experimento e Resultados

Sapiens-2B é pré-treinado usando 1024 GPUs A100 por 18 dias com PyTorch. Sapiens usa o otimizador AdamW para todos os experimentos. O cronograma de aprendizado inclui um breve aquecimento linear, seguido de annealing cosseno para pré-treinamento e decaimento linear para ajuste fino. Todos os modelos são pré-treinados do zero em uma resolução de 1024 × 1024 com um tamanho de patch de 16. Para o ajuste fino, a imagem de entrada é redimensionada para uma proporção de 4:3, ou seja, 1024 × 768. Sapiens aplica augmentações padrão como recorte, dimensionamento, reversão e distorções fotométricas. Um plano de fundo aleatório de imagens COCO não humanas é adicionado para tarefas de segmentação, profundidade e previsão de normais. Importante, Sapiens usa taxas de aprendizado diferenciais para preservar a generalização, com taxas de aprendizado mais baixas para as camadas iniciais e taxas progressivamente mais altas para as camadas subsequentes. O decaimento da taxa de aprendizado por camada é definido como 0,85 com um decaimento de peso de 0,1 para o codificador.

As especificações de design de Sapiens são detalhadas na tabela a seguir. Seguindo uma abordagem específica, Sapiens prioriza a escalabilidade dos modelos em largura em vez de profundidade. Notavelmente, o modelo Sapiens-0,3B, embora arquitetonicamente semelhante ao ViT-Large tradicional, consiste em vinte vezes mais FLOPs devido à sua resolução mais alta.

Sapiens é ajustado para estimativa de pose de face, corpo, pés e mãos (K = 308) usando anotações de alta fidelidade. Para o treinamento, Sapiens usa o conjunto de treinamento com 1M imagens, e para a avaliação, usa o conjunto de teste, chamado Humans5K, com 5K imagens. A avaliação segue uma abordagem de cima para baixo, onde Sapiens usa um detector off-the-shelf para caixas delimitadoras e realiza a inferência de pose de um único humano. A Tabela 3 mostra uma comparação dos modelos Sapiens com métodos existentes para estimativa de pose de corpo inteiro. Todos os métodos são avaliados em 114 pontos-chave comuns entre o vocabulário de 308 pontos-chave de Sapiens e o vocabulário de 133 pontos-chave de COCO-WholeBody. Sapiens-0,6B supera o estado da arte atual, DWPose-l, por +2,8 AP. Diferentemente de DWPose, que utiliza um quadro de estudante-professor complexo com destilação de recursos personalizada para a tarefa, Sapiens adota uma arquitetura codificador-decodificador geral com um grande pré-treinamento centrado no ser humano.

Interessantemente, mesmo com a mesma contagem de parâmetros, os modelos Sapiens demonstram um desempenho superior em comparação com seus equivalentes. Por exemplo, Sapiens-0,3B excede VitPose+-L por +5,6 AP, e Sapiens-0,6B supera VitPose+-H por +7,9 AP. Dentro da família Sapiens, os resultados indicam uma correlação direta entre o tamanho do modelo e o desempenho. Sapiens-2B estabelece um novo estado da arte com 61,1 AP, uma melhoria significativa de +7,6 AP sobre a arte anterior. Apesar de ajustar com anotações de um estúdio de captura interna, Sapiens demonstra uma generalização robusta para cenários do mundo real, como mostrado na figura a seguir.

Sapiens é ajustado e avaliado usando um vocabulário de segmentação de 28 classes. O conjunto de treinamento consiste em 100K imagens, enquanto o conjunto de teste, Humans-2K, consiste em 2K imagens. Sapiens é comparado com métodos de segmentação de partes do corpo existentes ajustados no mesmo conjunto de treinamento, usando os checkpoints pré-treinados sugeridos por cada método como inicialização. Semelhante à estimativa de pose, Sapiens mostra generalização na segmentação, como demonstrado na tabela a seguir.

Interessantemente, o modelo mais pequeno, Sapiens-0,3B, supera os métodos de segmentação de estado da arte existentes, como Mask2Former e DeepLabV3+, por 12,6 mIoU devido à sua resolução mais alta e ao grande pré-treinamento centrado no ser humano. Além disso, aumentar o tamanho do modelo melhora ainda mais o desempenho de segmentação. Sapiens-2B alcança o melhor desempenho, com 81,2 mIoU e 89,4 mAcc no conjunto de teste, como mostrado na figura a seguir.

Conclusão

Sapiens representa um passo significativo para avançar os modelos de visão centrados no ser humano para o reino dos modelos de fundação. Os modelos Sapiens demonstram capacidades de generalização fortes em uma variedade de tarefas centradas no ser humano. O desempenho de estado da arte é atribuído a: (i) pré-treinamento em larga escala em um conjunto de dados curado especificamente projetado para entender humanos, (ii) backbones de transformadores de visão de alta resolução e alta capacidade escalados, e (iii) anotações de alta qualidade em dados de estúdio aumentados e sintéticos. Os modelos Sapiens têm o potencial de se tornar um bloco de construção fundamental para uma multidão de tarefas downstream e fornecer acesso a backbones de visão de alta qualidade a uma parte significativamente maior da comunidade.