Визначення статі через стилі ходьби за допомогою машинного навчання

Дослідники з Румунії створили систему машинного навчання, яка здатна ідентифікувати стать людини за її способом ходьби, без необхідності аналізувати лицеві ознаки (які можуть бути приховані або заслонені), і без використання силуетного аналізу чи інших ознак, пов’язаних з одягом (які можуть бути “спойлені” представниками іншої статі).

Натомість нова система використовує існуючі системи маркування, засновані на цих ефемерних (і змінних) сигналах, щоб ідентифікувати основні характеристики, які відрізняють походку чоловіків і жінок, в результаті чого система ефективно ідентифікує стать лише за “скелетними” рухами людини під час ходьби.

Ефективно, цей новий підхід кількісно оцінює різні способи ходьби чоловіків і жінок без звернення до інших сигналів; однак, оскільки він використовує інші характеристики (такі як інформація про обличчя) для первинного маркування стилів ходьби, дослідження залишає відкритим питання про те, які конкретні ознаки відрізняють стать під час ходьби.

Новий метод виводить ідентичність статі з моделей аналізу обличчя, які працюють під обмеженнями (такими як обмежений корисний кут і необхідність кураторської обробки даних). Система потім присвоює скелетні рухові характеристики як чоловічим, так і жіночим, і виділяє характерні підписи ходьби для кожної, ігноруючи обличчя, одяг та інші ненадійні джерела даних. Джерело: https://arxiv.org/pdf/2111.00538.pdf

Нова стаття називається Від обличчя до походки: Слабко-наглядаюче навчання інформації про стать з моделей ходьби, і походить від дослідників університету Політехніка в Бухаресті.

Система працює на рівні з моделями аналізу обличчя, і часто перевершує ці стандарти, з показником F1 до 91%, і пропонує високий рівень узагальнення до нових сценаріїв, включаючи різноманітні точки зору і обставини, які зазвичай блокують ефективність систем розпізнавання статі на основі обличчя або подібних систем. До цих належать точки зору, при яких обличчя закрите, нефронтальні кути і дуже типічний сценарій низької роздільної здатності зображення, або спостереження людей, які знаходяться на великій відстані в зображенні, де залишається лише рухова манера як потенційний надійний індикатор статі.

Пропуск статі

Як висновують дослідники, така система має великий потенціал для демографічних рамок, які зараз ускладнені не тільки через використання масок під час COVID, але також через екстравагантність моди і випадкові обставини, які роблять одяг і силуетний аналіз ненадійним методом визначення статі на основі спостережень.

У сфері спостереження можливість виключити всі потенційні цілі, які не відповідають статі цільової особи, може скоротити попередню обробку і необхідність людської та машинної уваги вдвічі – оскільки поточні системи ідентифікації часто мають труднощі з правильним присвоєнням статі спостережуваній особі.

З нової статті: різні приклади, де системи розпізнавання статі не справляються. У верхньому рядку ми бачимо, як нова система аналізу походки дослідників правильно відповідає справжньому ярлику для зображення (Ч або Ж), тоді як аналіз обличчя не справляється в тому ж випадку. У рядку нижче ми бачимо випадки, коли інструменти маркування, використані дослідниками, видають “шумні” (тобто неправильні) ярлики статі. Щоб протидіяти цьому, дослідники використовували PENCIL (‘Вероятністське закінчення-до-кінця виправлення шуму для навчання з шумними ярликами’), серед інших методів.

Відповідно, можливість надійного розпізнавання статі через аналіз походки, ймовірно, збільшить поточний інтерес до підходів, пов’язаних з аналізом походки.

Визначення статі за допомогою посередника

Теоретично можливо було б досягти тієї ж функціональності, яку досягла нова система, шляхом ретельного аналізу ручного маркування скелетних рухових даних. Якби це було зроблено, ймовірно, що новий проєкт міг би мати глибші знання про те, які рухові ознаки найкраще визначають стать. Однак такий підхід означає велику витрату ресурсів, і дослідники натомість використовували існуючі (менш стійкі) системи для генерації ярликів, необхідних для навчання.

Ці “псевдо-ярлики” не дають жодного прямого розуміння ознак ходьби, заснованих на статі, але дозволяють фільтрувати моделі ходьби за статтю в дуже загальній формі, яку можна досягти в межах обмежень ресурсів.

Спочатку дослідники використовували набір даних 2019 року Front View Gait (FVG), який розглядає проблему розпізнавання походки з фронту, яка пропонує менше підказок, ніж бічні погляди. Набір даних містить зразки ходьби з багатьма перешкодами, такими як різна швидкість ходьби, загромаджений фон, різна роздільна здатність і відмінності в одязі.

З статті 2019 року FVG, GaitNet автоматично виводить основні ознаки походки з “відео ходьби”, засновані на кадрах з фронту, типовому сценарії камер, що спостерігають за публікою. Джерело: https://arxiv.org/pdf/1904.04925.pdf

Оскільки FVG не орієнтований на визначення статі, автори вручну позначили 226 суб’єктів у наборі даних інформацією про стать, щоб розробити базові дані для рамок.

Виявлення обличчя здійснювалося за допомогою MTCNN, а демографічні атрибути визначалися за допомогою набору даних IMDB-WIKI dataset. Оскільки аналіз походки потенційно значно ефективніший на великій відстані, ніж висновок на основі обличчя, кінцеві ярлики були отримані шляхом зваженого середнього значення впевненості у статі, отриманого з площі обличчя у кадрі відносно розмірів кадру. Скелети були виділені за допомогою AlphaPose, який усуває будь-які потенційні “відкриття”, такі як об’єктивна висота суб’єкта (яку не можна оцінити точно в випадкових публічних камерах).

Тестування

Систему було протестовано на базі даних CASIA-B походки, з недовіданням переважно представлених чоловіків у наборі даних, щоб забезпечити паритет тестування, з даними, розділеними на 80% для навчання і 20% для валідації.

Дослідники використовували свою попередню роботу, мережу WildGait (див. зображення нижче), щоб розрахувати подібність між послідовностями ходьби. Ярлики статі, вже встановлені, тепер ефективно передаються на цей етап процесу рамок.

WildGait – це Спаціо-Темпоральна Графова Конволюційна Мережа, навчена на великій кількості автоматично позначених скелетних послідовностей, отриманих з реальних потоків спостереження. Джерело: https://arxiv.org/pdf/2105.05528.pdf

У висновку автори зазначають, що система відповідає системам на основі обличчя за рівнем точності визначення статі. Оскільки існує багато можливих кутів, які можуть виникнути у відео ходьби, результати розподіляються по діапазону цих можливих точок зору: