Separação de Humanos ‘Fundidos’ em Visão Computacional

Um novo artigo do Centro de Inovação do Grupo Hyundai Motor em Cingapura oferece um método para separar humanos ‘fundidos’ em visão computacional – aqueles casos em que o framework de reconhecimento de objetos encontrou um humano que está de alguma forma ‘muito próximo’ a outro humano (como ações de ‘abraçar’ ou poses de ‘ficar atrás’), e não consegue desembaraçar as duas pessoas representadas, confundindo-as com uma única pessoa ou entidade.

Dois se tornam um, mas isso não é uma boa coisa na segmentação semântica. Aqui vemos o novo sistema alcançando resultados de ponta em individuação de pessoas entrelaçadas em imagens complexas e desafiadoras. Fonte: https://arxiv.org/pdf/2210.03686.pdf

Este é um problema notável que recebeu muita atenção na comunidade de pesquisa nos últimos anos. Resolver isso sem o óbvio, mas geralmente caro, custo de rotulagem personalizada em larga escala, poderia eventualmente permitir melhorias na individuação de humanos em sistemas de texto-para-imagem, como o Stable Diffusion, que frequentemente ‘derrete’ as pessoas juntas quando uma pose solicitada requer várias pessoas próximas umas das outras.

Abraço o horror – modelos de texto-para-imagem, como o DALL-E 2 e o Stable Diffusion (ambos apresentados acima), lutam para representar pessoas em proximidade muito próxima umas das outras.

Embora os modelos gerativos, como o DALL-E 2 e o Stable Diffusion, não usem (até onde se sabe, no caso do DALL-E 2 de código fechado) segmentação semântica ou reconhecimento de objetos, esses portmanteaus humanos grotescos não poderiam ser curados aplicando esses métodos upstream – porque o estado da arte das bibliotecas e recursos de reconhecimento de objetos não é muito melhor em desembaraçar pessoas do que os fluxos de trabalho baseados em CLIP dos modelos de difusão latente.

Para abordar essa questão, o novo artigo – intitulado Ser Humano não precisa rotular mais seres humanos: Cópia e Cola de Oclusão para Segmentação de Instância de Ser Humano Ocluído – adapta e melhora uma abordagem recente de ‘cortar e colar’ para dados semi-sintéticos para alcançar uma nova liderança em termos de desempenho na tarefa, mesmo contra o material de origem mais desafiador:

A nova metodologia de Cópia e Cola de Oclusão atualmente lidera o campo, mesmo contra frameworks e abordagens anteriores que abordam o desafio de maneira mais elaborada e dedicada, como modelar especificamente a oclusão.

Corte Isso!

O método modificado – intitulado Cópia e Cola de Oclusão – é derivado do artigo de 2021 Cópia e Cola Simples, liderado pela Google Research, que sugeriu que superpor objetos e pessoas extraídos entre imagens de treinamento diversas poderia melhorar a capacidade de um sistema de reconhecimento de imagem de discretizar cada instância encontrada em uma imagem:

Do artigo de 2021 liderado pela Google Research ‘Cópia e Cola Simples é um Método Forte de Augmentação de Dados para Segmentação de Instância’, vemos elementos de uma foto ‘migrando’ para outras fotos, com o objetivo de treinar um modelo de reconhecimento de imagem melhor e mais acurado. Fonte: https://arxiv.org/pdf/2012.07177.pdf

A nova versão adiciona limitações e parâmetros a essa ‘recolagem’ automatizada e algorítmica, analogizando o processo a um ‘cesto’ de imagens cheio de candidatos potenciais para ‘transferir’ para outras imagens, com base em vários fatores-chave.

O fluxo de trabalho conceitual para OC&P.

Controle dos Elementos

Esses fatores limitantes incluem probabilidade de uma cópia e cola ocorrer, o que garante que o processo não ocorra o tempo todo, o que alcançaria um efeito de ‘saturação’ que prejudicaria a augmentação de dados; o número de imagens que um ‘cesto’ terá em um determinado momento, onde um número maior de ‘segmentos’ pode melhorar a variedade de instâncias, mas aumentar o tempo de pré-processamento; e alcance, que determina o número de imagens que serão coladas em uma imagem ‘hospedeira’.

Com relação ao último, o artigo observa ‘Precisamos de oclusão suficiente para ocorrer, mas não muita, pois elas podem sobrecarregar a imagem, o que pode ser prejudicial ao aprendizado.’

As outras duas inovações para OC&P são cola direcionada e cola de instância aumentada.

A cola direcionada garante que uma imagem apropriada aterrisse perto de uma instância existente na imagem de destino. Na abordagem anterior, a partir do trabalho anterior, o novo elemento era apenas limitado dentro dos limites da imagem, sem consideração de contexto.

Embora essa ‘cola’, com cola direcionada, seja óbvia para o olho humano, tanto OC&P quanto seu antecessor descobriram que a autenticidade visual aumentada não é necessariamente importante e pode até ser uma desvantagem (veja ‘Realidade Morda’ abaixo).

A cola de instância aumentada, por outro lado, garante que as instâncias coladas não demonstrem um ‘aspecto distinto’ que possa ser classificado pelo sistema de alguma forma, o que pode levar à exclusão ou ‘tratamento especial’ que pode prejudicar a generalização e a aplicabilidade. A cola aumentada modula fatores visuais, como brilho e nitidez, escala e rotação, e saturação – entre outros fatores.

Do material suplementar do novo artigo: adicionar OC&P a frameworks de reconhecimento existentes é bastante trivial e resulta em uma individuação superior de pessoas em confinamentos muito próximos. Fonte: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

Além disso, OC&P regula um tamanho mínimo para qualquer instância colada. Por exemplo, pode ser possível extrair uma imagem de uma pessoa de uma cena de multidão, que poderia ser colada em outra imagem – mas nesse caso, o pequeno número de pixels envolvidos não ajudaria no reconhecimento. Portanto, o sistema aplica uma escala mínima com base na razão de comprimento de lado igualizado para a imagem de destino.

Além disso, OC&P institui uma cola de escala consciente, onde, além de buscar sujeitos semelhantes ao sujeito da cola, leva em conta o tamanho das caixas delimitadoras na imagem de destino. No entanto, isso não leva a imagens compostas que as pessoas considerariam plausíveis ou realistas (veja a imagem abaixo), mas sim reúne elementos semanticamente apropriados perto uns dos outros de maneiras que são úteis durante o treinamento.

Realidade Morda

Tanto o trabalho anterior em que OC&P se baseia quanto a implementação atual dão um baixo valor à autenticidade, ou à ‘fotorealidade’ da imagem final ‘montada’. Embora seja importante que a montagem final não desça inteiramente no Dadaísmo (pois os deploys reais dos sistemas treinados nunca poderiam esperar encontrar elementos em cenas como aquelas em que foram treinados), ambos os trabalhos descobriram que um aumento notável na ‘credibilidade visual’ não apenas adiciona ao tempo de pré-processamento, mas que esses ‘melhoramentos de realismo’ são provavelmente contraproducentes.

Do material suplementar do novo artigo: exemplos de imagens aumentadas com ‘mistura aleatória’. Embora essas cenas possam parecer alucinógenas para uma pessoa, elas têm sujeitos semelhantes jogados juntos; embora as oclusões sejam fantásticas para o olho humano, a natureza de uma oclusão potencial não pode ser conhecida com antecedência e é impossível treinar – portanto, essas ‘cortes’ bizarras de forma são suficientes para forçar o sistema treinado a buscar e reconhecer sujeitos-alvo parciais, sem precisar desenvolver metodologias elaboradas do tipo Photoshop para tornar as cenas mais plausíveis.

Dados e Testes

Para a fase de teste, o sistema foi treinado na classe de pessoa do conjunto de dados MS COCO, com 262.465 exemplos de humanos em 64.115 imagens. No entanto, para obter máscaras de melhor qualidade do que as do MS COCO, as imagens também receberam anotações de máscara LVIS.

Lançado em 2019, LVIS, da pesquisa da Facebook, é um conjunto de dados volumoso para Segmentação de Instância de Vocabulário Grande. Fonte: https://arxiv.org/pdf/1908.03195.pdf

Para avaliar como bem o sistema aumentado poderia competir contra um grande número de imagens de humanos ocluídos, os pesquisadores colocaram OC&P contra o benchmark OCHuman (Humano Ocluído).

Exemplos do conjunto de dados OCHuman, introduzido em apoio ao projeto de detecção Pose2Seg em 2018. Essa iniciativa buscou derivar uma segmentação semântica melhorada de pessoas usando sua postura e pose como um delimitador semântico para os pixels representando seus corpos. Fonte: https://github.com/liruilong940607/OCHumanApi

Como o benchmark OCHuman não está completamente anotado, os pesquisadores do novo artigo criaram um subconjunto de apenas aqueles exemplos que estavam completamente rotulados, intitulado OCHuman^FL. Isso reduziu o número de instâncias de pessoa para 2.240 em 1.113 imagens para validação e 1.923 instâncias em 951 imagens realmente usadas para teste. Tanto o conjunto original quanto o novo foram testados, usando a Precisão Média Averagem (mAP) como a métrica principal.

Para consistência, a arquitetura foi formada por Mask R-CNN com um backbone ResNet-50 e uma rede de pirâmide de recursos, esta última fornecendo um compromisso aceitável entre precisão e velocidade de treinamento.

Com os pesquisadores tendo notado o efeito prejudicial da influência upstream do ImageNet em situações semelhantes, todo o sistema foi treinado do zero em 4 GPUs NVIDIA V100, por 75 épocas, seguindo os parâmetros de inicialização do lançamento da Facebook de 2021 Detectron 2.

Resultados

Além dos resultados mencionados acima, os resultados de baseline contra MMDetection (e seus três modelos associados) para os testes indicaram uma liderança clara para OC&P em sua capacidade de identificar seres humanos de poses complexas.

Além de superar PoSeg e Pose2Seg, talvez uma das conquistas mais destacadas do artigo seja que o sistema pode ser aplicado de forma genérica a frameworks existentes, incluindo aqueles que foram comparados com ele nos testes (veja as comparações com/sem na primeira caixa de resultados, perto do início do artigo).

O artigo conclui:

‘Um benefício-chave de nossa abordagem é que ela pode ser facilmente aplicada com qualquer modelo ou melhoria centrada no modelo. Dada a velocidade com que o campo de aprendizado profundo se move, é de grande vantagem ter abordagens que sejam altamente interoperáveis com todos os outros aspectos do treinamento. Deixamos como trabalho futuro integrar isso com melhorias centradas no modelo para resolver efetivamente a segmentação de instância de pessoa ocluída.’

Potencial para Melhorar a Síntese de Imagem de Texto

O autor principal, Evan Ling, observou em um e-mail para nós* que o principal benefício de OC&P é que ele pode reter rótulos de máscara originais e obter novo valor a partir deles ‘de graça’ em um contexto novo – ou seja, as imagens em que foram coladas.

Embora a segmentação semântica de humanos pareça estar relacionada à dificuldade que os modelos, como o Stable Diffusion, têm em individuar pessoas (em vez de ‘misturá-las’), qualquer influência que a cultura de rotulagem semântica possa ter sobre os renders de humanos noturnos que o SD e o DALL-E 2 frequentemente produzem é muito, muito upstream.

Os bilhões de imagens do subconjunto LAION 5B que povoam o poder gerativo do Stable Diffusion não contêm rótulos de objeto, como caixas delimitadoras e máscaras de instância, mesmo que a arquitetura CLIP que compõe os renders a partir de imagens e conteúdo de banco de dados possa ter se beneficiado de tal instanciamento em algum momento; em vez disso, as imagens LAION são rotuladas ‘de graça’, pois seus rótulos foram derivados de metadados e legendas ambientais, etc., que estavam associados às imagens quando elas foram coletadas da web para o conjunto de dados.

‘Mas, além disso,’ disse Ling, ‘algum tipo de aumento semelhante ao nosso OC&P pode ser utilizado durante o treinamento de modelos gerativos de texto-para-imagem. Mas eu acho que a realidade da imagem de treinamento aumentada pode se tornar um problema.

‘Em nosso trabalho, mostramos que ‘realismo perfeito’ geralmente não é necessário para a segmentação de instância supervisionada, mas não estou muito seguro se a mesma conclusão pode ser tirada para o treinamento de modelos gerativos de texto-para-imagem (especialmente quando seus resultados são esperados para ser altamente realistas). Nesse caso, mais trabalho pode ser necessário para ‘aperfeiçoar’ a realidade das imagens aumentadas.’

CLIP já está sendo usado como uma ferramenta multimodal possível para segmentação semântica, sugerindo que sistemas de reconhecimento e individuação de pessoas melhorados, como o OC&P, poderiam eventualmente ser desenvolvidos em filtros ou classificadores internos que rejeitariam arbitrariamente representações humanas ‘fundidas’ e distorcidas – uma tarefa que é difícil de realizar atualmente com o Stable Diffusion, porque ele tem uma capacidade limitada de entender onde errou (se tivesse essa capacidade, provavelmente não teria cometido o erro em primeiro lugar).

Apenas um dos muitos projetos que atualmente utilizam a estrutura CLIP da OpenAI – o coração do DALL-E 2 e do Stable Diffusion – para segmentação semântica. Fonte: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘Outra pergunta seria,’ sugere Ling, ‘se simplesmente alimentar esses modelos gerativos com imagens de humanos ocluídos durante o treinamento funcionaria, sem um projeto complementar de arquitetura de modelo para mitigar a questão do “fundir humanos”? Essa é provavelmente uma pergunta difícil de responder de improviso. Com certeza será interessante ver como podemos infundir algum tipo de orientação de nível de instância (via rótulos de nível de instância, como máscara de instância) durante o treinamento de modelos gerativos de texto-para-imagem.’

* 10 de outubro de 2022

Publicado pela primeira vez em 10 de outubro de 2022.