Определение пола через стили ходьбы с помощью машинного обучения

Исследователи из Румынии разработали систему машинного обучения, способную определять пол человека по его походке, без необходимости анализа лицевых компонентов (которые могут быть скрыты или загорожены), и без использования анализа силуэта или других внешних признаков пола (которые могут быть имитированы представителями другого пола).

Вместо этого новая система использует существующие системы маркировки, основанные на этих эфемерных (и изменчивых) сигналах, чтобы определить основные характеристики, которые отличают походку мужчин и женщин, в результате чего получается система, эффективно определяющая пол только по “скелетным” движениям человека при ходьбе.

По сути, этот новый подход количественно оценивает различные способы ходьбы мужчин и женщин без обращения к другим сигналам; однако, поскольку он использует другие характеристики (например, информацию о лице) для первоначальной маркировки стилей походки, исследования оставляют открытым вопрос о том, какие конкретные черты отличают пол при ходьбе.

Новый метод получает идентификацию пола из моделей анализа лица, работающих под ограничениями (такими как ограниченный угол обзора и необходимость курирования набора данных). Система затем присваивает характеристики скелетных движений как мужским, так и женским, и выделяет характерные сигнатуры походки для каждого, игнорируя лицевые, одежные и другие ненадежные источники данных. Источник: https://arxiv.org/pdf/2111.00538.pdf

Новая статья называется “От лица к походке: слабо-наблюдаемое обучение информации о поле из моделей походки”, и написана исследователями из Университета Политехника в Бухаресте.

Система работает на уровне с моделями анализа лица, и часто превышает эти стандарты, с коэффициентом F1 до 91%, и предлагает высокий уровень обобщения к новым сценариям, включая различные точки зрения и обстоятельства, которые обычно блокируют эффективность систем распознавания пола на основе лица или аналогичных систем. К ним относятся точки зрения с загороженным лицом, нефронтальные углы и очень типичный сценарий низкокачественных изображений, или наблюдение за людьми, находящимися на расстоянии в изображении, где только стиль походки остается потенциально надежным индикатором пола.

Половой разрыв

Как заключили исследователи, такая система имеет большой потенциал для демографических рамок, которые в настоящее время ограничены не только ношением масок в условиях COVID, но и причудами моды и случайностью, которые делают одежду и анализ силуэта ненадежным методом определения пола на видеозаписях наблюдения.

В плане наблюдения возможность отбросить все потенциальные цели, которые не соответствуют полу целевого субъекта, может сократить предварительную обработку и необходимость человеческого и машинного внимания как минимум вдвое – поскольку текущие системы идентификации часто испытывают трудности с правильным определением пола наблюдаемого человека.

Из новой статьи: различные примеры, где системы распознавания пола не справляются. В верхнем ряду мы видим, что новая система анализа походки исследователей правильно соответствует истинной маркировке изображения (М или Ж), в то время как анализ лица не справился в том же случае. В нижнем ряду мы видим примеры, где инструменты маркировки, использованные исследователями, произвели “шумные” (т.е. неправильные) маркировки пола. Чтобы противостоять этому, исследователи использовали PENCIL (‘Вероятностная попеременная коррекция шума для обучения с шумными маркировками’), среди других методов.

Естественно, что возможность надежного распознавания пола через анализ походки, вероятно, увеличит текущий интерес к подходам имитации походки.

Определение пола по посреднику

Теоретически возможно было бы прийти к той же функциональности, достигнутой новым проектом, через тщательный анализ手-кураторских данных о скелетных движениях. Если бы это было сделано, новый проект, возможно, имел бы более глубокие знания о том, какие характеристики движения лучше всего определяют пол. Однако такой подход означает значительные затраты ресурсов, и исследователи вместо этого использовали существующие (менее прочные) системы для генерации маркировок, необходимых для обучения.

Эти “псевдомаркировки” не дают прямого представления о чертах ходьбы, основанных на поле, но позволяют фильтровать модели походки по полу в высоко обобщаемом виде, которое можно достичь в рамках ограничений ресурсов.

Первоначально исследователи использовали набор данных Front View Gait (FVG) 2019 года, который решает проблему распознавания походки с фронта, что дает меньше подсказок, чем боковые виды. Набор данных содержит образцы походки с множеством препятствий, таких как разные скорости ходьбы, загроможденный фон, различающееся разрешение и различия в одежде.

Из статьи FVG 2019 года: GaitNet автоматически учится основным характеристикам походки из ‘видеоходьбы’, основанного на кадрах с фронта, частом сценарии в публичных камерах. Источник: https://arxiv.org/pdf/1904.04925.pdf

Поскольку FVG не ориентирован на определение пола, авторы вручную аннотировали 226 субъектов в наборе данных информацией о поле, чтобы разработать эталон для рамки.

Обнаружение лица было облегчено с помощью MTCNN, а демографические атрибуты были определены с помощью набора данных IMDB-WIKI. Поскольку анализ походки потенциально намного более эффективен на больших расстояниях, чем вывод на основе лица, окончательные маркировки были получены путем взвешенного среднего значения уверенности в поле, полученного из области ограничения лица относительно размеров кадра. Скелеты были извлечены с помощью AlphaPose, что удаляет любые потенциальные “предательские” подсказки, такие как объективная высота субъекта (которая не может быть оценена с уверенностью в сценариях публичных камер).

Тестирование

Система была протестирована на базе данных CASIA-B гайт, недоотбором пере представленных мужчин в наборе данных, чтобы обеспечить паритет тестирования, с данными, разделенными на 80% для обучения и 20% для проверки.

Исследователи использовали свою предыдущую работу, сеть WildGait (см. изображение ниже), чтобы рассчитать сходство между последовательностями походки. Идентификаторы пола, уже установленные, теперь эффективно передаются на эту стадию процесса.

WildGait – это Спацио-Временная Графовая Сеть Конвольюций, обученная на большом объеме автоматически аннотированных скелетных последовательностей, полученных из реальных потоков наблюдения. Источник: https://arxiv.org/pdf/2105.05528.pdf

В заключение, авторы заявляют, что система соответствует системам распознавания пола на основе лица по точности определения пола. Поскольку существует множество возможных углов, которые могут возникнуть в исходном видеоходьбы, результаты распределены по диапазону этих возможных точек зрения: