Determinando o gênero por meio de estilos de caminhada com aprendizado de máquina

Pesquisadores da Romênia desenvolveram um sistema de aprendizado de máquina capaz de identificar o gênero de uma pessoa pela maneira como ela anda, sem a necessidade de analisar componentes faciais (que podem estar escondidos ou obscurecidos) e sem depender de análise de silhueta ou outras pistas de gênero presentes no corpo (que podem ser "falsificadas" por membros de outro gênero).

Em vez disso, o novo sistema usa sistemas de rotulagem existentes baseados nesses sinais efêmeros (e mutáveis) para identificar as principais características que distinguem a marcha de homens e mulheres, resultando em um sistema que efetivamente identifica o gênero apenas a partir dos movimentos "esqueléticos" de uma pessoa caminhando.

Efetivamente, essa nova abordagem quantifica as diferentes maneiras pelas quais homens e mulheres caminham sem recorrer a outros sinais; mas, como usa outras características (como informações faciais) para rotular inicialmente os estilos de marcha, a pesquisa deixa em aberto a questão de quais características particulares distinguem os sexos enquanto caminham.

O novo método deriva a identidade de gênero de modelos de análise facial que operam sob restrições (como ângulo utilizável limitado e a necessidade de curadoria de conjunto de dados). O sistema então atribui características de movimento esquelético como masculino ou feminino e destila assinaturas de caminhada características para cada um, ignorando faciais, roupas e outras fontes de dados não confiáveis. Fonte: https://arxiv.org/pdf/2111.00538.pdf

O novo papel é intitulado de Cara a Marcha: Aprendizagem fracamente supervisionada de informações de gênero a partir de padrões de caminhada, e vem de pesquisadores da University Politehnica em Bucareste.

O sistema funciona em pé de igualdade com os modelos de análise facial e freqüentemente excede esses padrões, com um Pontuação F1 de até 91% e oferece um alto nível de generalização para novos cenários, incluindo uma variedade de pontos de vista e circunstâncias que normalmente bloqueiam a eficácia de sistemas de reconhecimento de gênero baseados em face ou semelhantes. Isso inclui pontos de vista obscurecidos no rosto, ângulos não frontais e o cenário muito típico de imagens de baixa resolução, ou a vigilância de pessoas distantes na imagem, onde apenas o estilo de movimento permanece como um potencial indicador confiável de gênero.

Diferença de gênero

Como concluem os pesquisadores, esse sistema tem grande potencial para estruturas de coleta demográfica que atualmente são prejudicadas não apenas pela adoção de máscaras durante o COVID, mas também pelas excentricidades da moda e do acaso que tornam roupas e análise de silhueta um método não confiável de identificação de gênero a partir de imagens de vigilância.

Em termos de vigilância, ser capaz de descontar todos os alvos em potencial que não se encaixam no gênero de um alvo pode reduzir o pré-processamento e a necessidade de atenção humana e da máquina pela metade - porque os sistemas de identificação atuais geralmente lutam para atribuir corretamente gênero a um indivíduo vigiado.

Do novo artigo: vários exemplos de falhas nos sistemas de reconhecimento de gênero. Na linha acima, vemos o novo sistema de análise de marcha dos pesquisadores correspondendo corretamente ao rótulo verdadeiro da imagem (M ou F), enquanto a análise facial falhou no mesmo caso. Na linha abaixo, vemos casos em que as ferramentas de rotulagem utilizadas pelos pesquisadores produziram rótulos de gênero "ruidosos" (ou seja, incorretos). Para combater isso, os pesquisadores usaram LÁPIS ('Correção probabilística de ruído de ponta a ponta para aprendizado com rótulos ruidosos'), entre outros métodos.

Naturalmente, a possibilidade de reconhecimento confiável de gênero por meio da análise da marcha provavelmente aumentará interesse atual em abordagens de gait-spoofing.

Determinação de gênero por procuração

É teoricamente possível chegar à mesma funcionalidade alcançada pelo novo projeto por meio de uma análise rigorosa dos dados de movimento do esqueleto com curadoria manual. Se isso tivesse sido feito, é provável que o novo projeto pudesse ter insights mais profundos sobre quais características do movimento melhor definem o gênero. No entanto, tal abordagem significa um grande comprometimento de recursos e, em vez disso, os pesquisadores usaram sistemas existentes (menos resilientes) para gerar os rótulos necessários.

Esses "pseudo-rótulos" não oferecem nenhuma visão direta sobre características de caminhada baseadas em gênero, mas permitem filtrar padrões de caminhada por gênero de uma forma altamente generalizável que pode ser alcançada dentro de restrições de recursos.

Inicialmente, os pesquisadores usaram o 2019 Marcha Vista Frontal (FVG), que aborda o desafio do reconhecimento da marcha de um ângulo frontal, que oferece menos pistas do que as vistas laterais. O conjunto de dados contém amostras de caminhada com muitos obstáculos, como velocidade de caminhada variada, fundo desordenado, resolução variável e diferenças nas roupas.

No artigo da FVG de 2019, o GaitNet aprende automaticamente as características essencializadas da marcha a partir de "vídeos de caminhada", com base em imagens de visão frontal, um cenário de visualização frequente em câmeras públicas. Fonte: https://arxiv.org/pdf/1904.04925.pdf

Como o FVG não é orientado para a identificação de gênero, os autores anotaram manualmente 226 indivíduos no conjunto de dados com informações de gênero para desenvolver a verdade básica para a estrutura.

A detecção facial foi facilitada através do MTCNN e os atributos demográficos determinados pelo IMDB-WIKI conjunto de dados. Como a análise da marcha é potencialmente muito mais eficaz em longas distâncias do que a inferência facial, os rótulos finais foram obtidos por uma média ponderada de confiança de gênero derivada da área da caixa delimitadora facial em relação às dimensões do quadro. Os esqueletos foram extraídos com AlfaPose, o que remove quaisquer 'revelações' potenciais, como a altura objetiva do objeto (que não pode ser avaliada com certeza em cenários de câmeras públicas improvisadas).

Testes

O sistema foi testado contra o CASIA-B banco de dados de marcha, subamostrando os homens super-representados no conjunto de dados para garantir a paridade do teste, com os dados divididos para 80% de treinamento e 20% de validação.

Os pesquisadores usaram seu próprio trabalho anterior, um Rede WildGait (veja a imagem abaixo), para calcular a similaridade entre as sequências de caminhada. Os IDs de gênero, já estabelecidos, agora são efetivamente encaminhados para esta etapa do processo de estrutura.

WildGait é uma Rede Convolucional de Grafos Espaço-Temporal treinada em alto volume, sequências de esqueleto anotadas automaticamente derivadas de fluxos de vigilância do mundo real. Fonte: https://arxiv.org/pdf/2105.05528.pdf

Em conclusão, os autores afirmam que o sistema corresponde aos sistemas baseados em face de última geração em termos de precisão na determinação do sexo. Como há tantos ângulos possíveis que podem ocorrer no vídeo de caminhada de origem, os resultados são distribuídos em uma variedade desses possíveis pontos de vista: