Determinación de género a través de estilos de caminar con aprendizaje automático

Investigadores rumanos han desarrollado un sistema de aprendizaje automático capaz de identificar el género de una persona a partir de su forma de caminar, sin necesidad de analizar componentes faciales (que pueden estar ocultos u oscurecidos) y sin depender de análisis de silueta u otros dispositivos corporales. pistas sobre el género (que pueden ser "falsificadas" por miembros de otro género).

Más bien, el nuevo sistema utiliza los sistemas de etiquetado existentes basados ​​en estas señales efímeras (y cambiantes) para identificar las características centrales que distinguen la forma de andar de hombres y mujeres, lo que da como resultado un sistema que identifica de manera efectiva el género solo a partir de los movimientos "esqueléticos" de una persona. caminando.

Efectivamente, este nuevo enfoque cuantifica las diferentes formas en que hombres y mujeres caminan sin recurrir a otras señales; pero dado que utiliza otras características (como la información del rostro) para etiquetar inicialmente los estilos de marcha, la investigación deja abierta la cuestión de qué rasgos particulares distinguen a los sexos mientras caminan.

El nuevo método deriva la identidad de género de los modelos de análisis facial que operan bajo restricciones (como un ángulo utilizable limitado y la necesidad de curación del conjunto de datos). Luego, el sistema asigna características de movimiento esquelético como masculino o femenino, y destila firmas de caminata características para cada uno, ignorando el rostro, la ropa y otras fuentes de datos poco confiables. Fuente: https://arxiv.org/pdf/2111.00538.pdf

El nuevo se titula De Face to Gait: Aprendizaje débilmente supervisado de información de género a partir de patrones de caminata, y proviene de investigadores de la Universidad Politécnica de Bucarest.

El sistema funciona a la par con los modelos de análisis facial y, con frecuencia, supera esos estándares, con una Puntuación F1 de hasta un 91 %, y ofrece un alto nivel de generalización a escenarios novedosos, incluida una variedad de puntos de vista y circunstancias que normalmente bloquearán la efectividad de los sistemas de reconocimiento de género basados ​​en el rostro o similares. Estos incluyen puntos de vista con rostros oscurecidos, ángulos no frontales y el escenario muy típico de imágenes de baja resolución, o la vigilancia de personas que están distantes dentro de la imagen, donde solo el estilo de movimiento permanece como un indicador potencial confiable de género.

Brecha de género

Como concluyen los investigadores, dicho sistema tiene un gran potencial para los marcos de reunión demográfica que actualmente se ven obstaculizados no solo por la adopción de máscaras bajo COVID, sino también por las excentricidades de la moda y la casualidad que hacen que la ropa y análisis de silueta un método poco confiable para identificar el género a partir de imágenes de vigilancia.

En términos de vigilancia, poder descartar todos los objetivos potenciales que no se ajustan al género de un sujeto objetivo podría reducir el preprocesamiento y la necesidad de atención humana y mecánica hasta a la mitad, porque los sistemas de identificación actuales a menudo tienen dificultades para asignar correctamente género a un individuo vigilado.

Del nuevo documento: varios ejemplos en los que fallan los sistemas de reconocimiento de género. En la fila de arriba, vemos que el nuevo sistema de análisis de la marcha de los investigadores coincide correctamente con la etiqueta verdadera de la imagen (M o F), mientras que el análisis de la cara falló en el mismo caso. En la fila a continuación, vemos casos en los que las herramientas de etiquetado utilizadas por los investigadores han producido etiquetas de género 'ruidosas' (es decir, incorrectas). Para contrarrestar esto, los investigadores utilizaron LÁPIZ ('Corrección Probabilística de Ruido de Extremo a Extremo para Aprendizaje con Etiquetas Ruidosas'), entre otros métodos.

Naturalmente, es probable que aumente la posibilidad de un reconocimiento de género confiable a través del análisis de la marcha. interés actual en los enfoques de suplantación de la marcha.

Determinación de género por poder

En teoría, es posible haber llegado a la misma funcionalidad lograda por el nuevo proyecto a través de un análisis riguroso de los datos de movimiento esquelético curados a mano. Si se hubiera hecho esto, es probable que el nuevo proyecto pueda tener una visión más profunda de qué características del movimiento definen mejor el género. Sin embargo, tal enfoque significa un gran compromiso de recursos y, en cambio, los investigadores han utilizado sistemas existentes (menos resistentes) para generar las etiquetas necesarias.

Estas 'pseudo-etiquetas' no ofrecen una visión completa de los rasgos de caminar basados ​​en el género, pero hacen posible filtrar los patrones de caminar por género de una manera altamente generalizable que se puede lograr dentro de las limitaciones de recursos.

Inicialmente, los investigadores utilizaron el 2019 Marcha de vista frontal (FVG), que aborda el desafío del reconocimiento de la marcha desde un ángulo frontal, que ofrece menos pistas que las vistas laterales. El conjunto de datos contiene muestras de caminatas con muchos obstáculos, como velocidad de caminata variada, fondo desordenado, resolución variable y diferencias en la ropa.

A partir del documento de FVG de 2019, GaitNet aprende automáticamente las características esenciales de la marcha a partir del "video de caminata", basado en imágenes de vista frontal, un escenario de visualización frecuente en cámaras orientadas al público. Fuente: https://arxiv.org/pdf/1904.04925.pdf

Dado que FVG no está orientado hacia la identificación de género, los autores anotaron manualmente 226 sujetos en el conjunto de datos con información de género para desarrollar la verdad básica para el marco.

La detección facial se facilitó a través de MTCNN y los atributos demográficos determinados por IMDB-WIKI datos. Dado que el análisis de la marcha es potencialmente mucho más efectivo a larga distancia que la inferencia basada en el rostro, las etiquetas finales se obtuvieron mediante un promedio ponderado de confianza de género derivado del área del cuadro delimitador facial en relación con las dimensiones del marco. Los esqueletos fueron extraídos con pose alfa, que elimina cualquier "obsequio" potencial, como la altura del objetivo del sujeto (que no se puede evaluar con certeza en escenarios de cámaras públicas ad hoc).

Pruebas

El sistema fue probado contra el CASIA-B base de datos de marcha, submuestreando a los hombres sobrerrepresentados en el conjunto de datos para garantizar la paridad de las pruebas, con la división de datos para 80% de entrenamiento y 20% de validación.

Los investigadores utilizaron su propio trabajo previo, un Red WildGait (ver imagen a continuación), para calcular la similitud entre las secuencias de caminata. Las identificaciones de género, ya establecidas, ahora pasan efectivamente a esta etapa del proceso marco.

WildGait es una red convolucional de gráficos espacio-temporales entrenada en secuencias de esqueleto anotadas automáticamente de alto volumen derivadas de flujos de vigilancia del mundo real. Fuente: https://arxiv.org/pdf/2105.05528.pdf

Para concluir, los autores afirman que el sistema coincide con los sistemas basados ​​en el rostro de última generación en términos de precisión para determinar el género. Dado que hay tantos ángulos posibles que podrían ocurrir en el video de caminar de origen, los resultados se distribuyen en un rango de esos puntos de vista posibles: