Determinar el género a través de estilos de caminata con aprendizaje automático

Los investigadores de Rumania han desarrollado un sistema de aprendizaje automático capaz de identificar el género de una persona por la forma en que camina, sin la necesidad de analizar componentes faciales (que pueden estar ocultos o obstaculizados), y sin confiar en el análisis de silueta o otras pistas corporales del género (que pueden ser “suplantadas” por miembros de otro género).

En lugar de eso, el nuevo sistema utiliza sistemas de etiquetado existentes basados en estas señales efímeras (y cambiantes) para identificar las características básicas que distinguen la marcha de los hombres y las mujeres, lo que resulta en un sistema que identifica efectivamente el género solo a partir de los movimientos “esqueléticos” de una persona que camina.

En efecto, este nuevo enfoque cuantifica las diferentes maneras en que los hombres y las mujeres caminan sin recurrir a otras señales; pero como utiliza otras características (como la información facial) para etiquetar inicialmente los estilos de marcha, la investigación deja abierta la pregunta de qué rasgos particulares distinguen los sexos al caminar.

El nuevo método deriva la identidad de género de modelos de análisis facial que operan bajo restricciones (como ángulo usable limitado y la necesidad de curación de datos). El sistema luego asigna características de movimiento esquelético como masculino o femenino, y destila firmas de caminata características para cada uno, ignorando fuentes de datos faciales, ropa y otras fuentes no confiables de datos. Fuente: https://arxiv.org/pdf/2111.00538.pdf

El nuevo artículo se titula De rostro a marcha: aprendizaje supervisado débil de información de género a partir de patrones de caminata, y proviene de investigadores de la Universidad Politécnica de Bucarest.

El sistema funciona al mismo nivel que los modelos de análisis facial, y frecuentemente supera esos estándares, con una puntuación F1 de hasta el 91%, y ofrece un alto nivel de generalización a escenarios nuevos, incluyendo una variedad de puntos de vista y circunstancias que normalmente bloquearían la eficacia de los sistemas de reconocimiento de género basados en el rostro o similares. Estos incluyen puntos de vista con el rostro oculto, ángulos no frontales y el escenario muy común de imágenes de baja resolución, o la vigilancia de personas que están lejos en la imagen, donde solo el estilo de movimiento queda como un indicador potencialmente confiable del género.

Brecha de género

Como concluyen los investigadores, tal sistema tiene un gran potencial para marcos de recopilación de datos demográficos que actualmente están obstaculizados no solo por la adopción de máscaras bajo COVID, sino también por las excentricidades de la moda y los acontecimientos que hacen que el análisis de ropa y silueta sean un método no confiable para identificar el género a partir de grabaciones de vigilancia.

En términos de vigilancia, ser capaz de descartar todos los objetivos potenciales que no se ajustan al género del sujeto objetivo podría reducir el procesamiento previo y la necesidad de atención humana y automática en hasta la mitad; porque los sistemas de identificación actuales a menudo luchan por asignar correctamente el género a un individuo vigilado.

Del nuevo artículo: varios ejemplos donde los sistemas de reconocimiento de género fallan. En la fila superior, vemos que el nuevo sistema de análisis de marcha de los investigadores coincide correctamente con la etiqueta real para la imagen (M o F), mientras que el análisis facial ha fallado en el mismo caso. En la fila inferior vemos instancias donde las herramientas de etiquetado utilizadas por los investigadores han producido etiquetas de género “ruidosas” (es decir, incorrectas). Para contrarrestar esto, los investigadores utilizaron PENCIL (‘Corrección de ruido probabilística de extremo a extremo para el aprendizaje con etiquetas ruidosas’), entre otros métodos.

Naturalmente, la posibilidad de un reconocimiento de género confiable a través del análisis de marcha probablemente aumente el interés actual en enfoques de suplantación de marcha.

Determinación de género por proxy

Es teóricamente posible haber llegado a la misma funcionalidad lograda por el nuevo proyecto a través de un análisis riguroso de datos de movimiento esquelético curados a mano. Si se hubiera hecho esto, es probable que el nuevo proyecto hubiera tenido una comprensión más profunda de qué características de movimiento definen mejor el género. Sin embargo, tal enfoque significaría un gran compromiso de recursos, y los investigadores han utilizado en su lugar sistemas existentes (menos resistentes) para generar las etiquetas necesarias.

Estas “etiquetas pseudo” no ofrecen ninguna comprensión directa de los rasgos de caminata basados en el género, pero permiten filtrar patrones de caminata por género de una manera muy generalizable que se puede lograr dentro de las restricciones de recursos.

Inicialmente, los investigadores utilizaron el conjunto de datos Front View Gait (FVG) de 2019, que aborda el desafío del reconocimiento de marcha desde un ángulo frontal, que ofrece menos pistas que las vistas laterales. El conjunto de datos contiene muestras de caminata con muchos obstáculos, como velocidad de caminata variable, fondo desordenado, resolución variable y diferencias en la ropa.

Del artículo FVG de 2019, GaitNet aprende automáticamente las características esenciales de la marcha a partir de ‘vídeo de caminata’, basado en metraje de vista frontal, un escenario de visualización frecuente en cámaras públicas. Fuente: https://arxiv.org/pdf/1904.04925.pdf

Dado que FVG no está orientado hacia la identificación de género, los autores anotaron manualmente 226 sujetos en el conjunto de datos con información de género para desarrollar la verdad fundamental para el marco.

La detección facial se facilitó a través de MTCNN, y los atributos demográficos se determinaron mediante el conjunto de datos IMDB-WIKI. Dado que el análisis de marcha es potencialmente mucho más efectivo a larga distancia que la inferencia basada en el rostro, las etiquetas finales se obtuvieron mediante un promedio ponderado de la confianza de género derivada del área del cuadro delimitador facial relativo a las dimensiones del marco. Los esqueletos se extrajeron con AlphaPose, que elimina cualquier “pista” potencial, como la altura objetiva del sujeto (que no se puede evaluar con certeza en escenarios de cámara pública ad hoc).

Pruebas

El sistema se probó contra la base de datos de marcha CASIA-B, submuestreando a los varones sobrerrepresentados en el conjunto de datos para garantizar la paridad de las pruebas, con los datos divididos en un 80% para entrenamiento y un 20% para validación.

Los investigadores utilizaron su propio trabajo previo, una red WildGait (ver imagen a continuación), para calcular la similitud entre secuencias de caminata. Las identificaciones de género, ya establecidas, ahora se introducen efectivamente en esta etapa del proceso del marco.

WildGait es una red de convolución gráfica espaciotemporal entrenada en secuencias de esqueleto de alta volumen, anotadas automáticamente, derivadas de flujos de vigilancia del mundo real. Fuente: https://arxiv.org/pdf/2105.05528.pdf

Al concluir, los autores afirman que el sistema coincide con los sistemas basados en el rostro en términos de precisión para determinar el género. Dado que hay tantos ángulos posibles que podrían ocurrir en el vídeo de caminata de origen, los resultados se distribuyen en una gama de esos puntos de vista posibles: