Determinar el género a través de estilos de caminata con aprendizaje automático

Investigadores de Rumania han desarrollado un sistema de aprendizaje automático capaz de identificar el género de una persona a partir de la forma en que camina, sin necesidad de analizar componentes faciales (que pueden estar ocultos o obstaculizados), y sin confiar en el análisis de siluetas o otras pistas corporales para el género (que pueden ser “suplantadas” por miembros de otro género).

Más bien, el nuevo sistema utiliza sistemas de etiquetado existentes basados en estas señales efímeras (y cambiantes) para identificar las características fundamentales que distinguen la marcha de los hombres y las mujeres, lo que resulta en un sistema que identifica efectivamente el género solo a partir de los movimientos “esqueléticos” de una persona que camina.

En efecto, este nuevo enfoque cuantifica las diferentes maneras en que los hombres y las mujeres caminan sin recurrir a otras señales; pero como utiliza otras características (como la información facial) para etiquetar inicialmente los estilos de marcha, la investigación deja abierta la pregunta de qué rasgos particulares distinguen a los sexos al caminar.

El nuevo método deriva la identidad de género de los modelos de análisis facial que operan bajo restricciones (como el ángulo usable limitado y la necesidad de curación de datos). El sistema luego asigna características de movimiento esquelético como masculino o femenino, y destila firmas de caminata características para cada uno, ignorando la cara, la ropa y otras fuentes de datos no confiables. Source: https://arxiv.org/pdf/2111.00538.pdf

El nuevo artículo se titula De Cara a Marcha: Aprendizaje supervisado débil de información de género a partir de patrones de caminata, y proviene de investigadores de la Universidad Politécnica de Bucarest.

El sistema funciona al mismo nivel que los modelos de análisis facial, y frecuentemente supera esos estándares, con una puntuación F1 de hasta el 91%, y ofrece un alto nivel de generalización a escenarios nuevos, incluyendo una variedad de puntos de vista y circunstancias que normalmente bloquearían la efectividad de los sistemas de reconocimiento de género basados en la cara o similares. Estos incluyen puntos de vista con la cara oculta, ángulos no frontales y el escenario muy común de imágenes de baja resolución, o la vigilancia de personas que están lejos en la imagen, donde solo el estilo de movimiento queda como un indicador potencialmente confiable de género.

Brecha de género

Como concluyen los investigadores, tal sistema tiene un gran potencial para marcos de recopilación de datos demográficos que actualmente están obstaculizados no solo por la adopción de máscaras bajo COVID, sino también por las peculiaridades de la moda y los acontecimientos que hacen que la ropa y el análisis de silueta sean un método no confiable para identificar el género a partir de grabaciones de vigilancia.

En términos de vigilancia, ser capaz de descartar todos los objetivos potenciales que no se ajustan al género del sujeto objetivo podría reducir el procesamiento previo y la necesidad de atención humana y máquina en hasta la mitad, ya que los sistemas de identificación actuales a menudo luchan por asignar correctamente el género a un individuo vigilado.

Del nuevo artículo: varios ejemplos donde los sistemas de reconocimiento de género fallan. En la fila superior, vemos que el nuevo sistema de análisis de marcha de los investigadores coincide correctamente con la etiqueta real para la imagen (M o F), mientras que el análisis facial ha fallado en el mismo caso. En la fila inferior vemos instancias donde las herramientas de etiquetado utilizadas por los investigadores han producido etiquetas de género “ruidosas” (es decir, incorrectas). Para contrarrestar esto, los investigadores utilizaron PENCIL (‘Corrección de ruido probabilística de extremo a extremo para el aprendizaje con etiquetas ruidosas’), entre otros métodos.

Naturalmente, la posibilidad de un reconocimiento de género confiable a través del análisis de marcha es probable que aumente el interés actual en enfoques de suplantación de marcha.

Determinación de género por proxy

Es teóricamente posible haber llegado a la misma funcionalidad lograda por el nuevo proyecto a través de un análisis riguroso de datos de movimiento esquelético curados a mano. Si se hubiera hecho, es probable que el nuevo proyecto hubiera tenido una comprensión más profunda de qué características de movimiento definen mejor el género. Sin embargo, tal enfoque significaría un gran compromiso de recursos, y los investigadores han utilizado en su lugar sistemas existentes (menos resistentes) para generar las etiquetas necesarias.

Estas “etiquetas pseudo” no ofrecen ninguna comprensión directa de los rasgos de caminata basados en el género, pero permiten filtrar los patrones de caminata por género de una manera muy generalizable que puede lograrse dentro de las restricciones de recursos.

Inicialmente, los investigadores utilizaron el conjunto de datos Front View Gait (FVG) de 2019, que aborda el desafío del reconocimiento de marcha desde un ángulo frontal, que ofrece menos pistas que las vistas laterales. El conjunto de datos contiene muestras de caminata con muchos obstáculos, como velocidad de caminata variable, fondo desordenado, resolución variable y diferencias en la ropa.

Del artículo FVG de 2019, GaitNet aprende automáticamente las características de marcha esenciales a partir de ‘video de caminata’, basado en footage de vista frontal, un escenario de visualización frecuente en cámaras públicas. Source: https://arxiv.org/pdf/1904.04925.pdf

Como FVG no está orientado hacia la identificación de género, los autores anotaron manualmente 226 sujetos en el conjunto de datos con información de género para desarrollar la verdad de referencia para el marco.

La detección facial se facilitó a través de MTCNN, y los atributos demográficos se determinaron mediante el conjunto de datos IMDB-WIKI. Como el análisis de marcha es potencialmente mucho más efectivo a larga distancia que la inferencia basada en la cara, las etiquetas finales se obtuvieron mediante un promedio ponderado de la confianza de género derivada del área del cuadro delimitador facial en relación con las dimensiones del cuadro. Los esqueletos se extrajeron con AlphaPose, que elimina cualquier “pista” potencial, como la altura objetiva del sujeto (que no se puede evaluar con certeza en escenarios de cámara pública ad hoc).

Pruebas

El sistema se probó contra la base de datos de marcha CASIA-B, submuestreando a los varones sobrerrepresentados en el conjunto de datos para garantizar la paridad de las pruebas, con los datos divididos en un 80% para entrenamiento y un 20% para validación.

Los investigadores utilizaron su propio trabajo previo, una red WildGait (ver imagen a continuación), para calcular la similitud entre secuencias de caminata. Las identificaciones de género, ya establecidas, ahora se transmiten efectivamente a esta etapa del proceso del marco.

WildGait es una red de convolución gráfica espaciotemporal entrenada en secuencias de esqueleto de alta volumen, anotadas automáticamente, derivadas de flujos de vigilancia del mundo real. Source: https://arxiv.org/pdf/2105.05528.pdf

Al concluir, los autores afirman que el sistema coincide con los sistemas basados en la cara en términos de precisión para determinar el género. Como hay muchos ángulos posibles que podrían ocurrir en el video de caminata de origen, los resultados se distribuyen a lo largo de una serie de esos puntos de vista posibles: