通过机器学习识别行走风格来确定性别

罗马尼亚的研究人员开发了一种机器学习系统，能够仅通过行走风格来识别个人的性别，无需分析面部特征（可能被隐藏或遮挡），也不依赖于剪影分析或其他身体特征（可能被其他性别的人模仿）。

相反，该系统使用现有的标签系统来识别男性和女性行走风格的核心特征，结果是一个仅通过“骨骼”运动来识别性别的系统。

实际上，该新方法量化了男性和女性行走的不同方式，而不依赖于其他信号；但是，由于它使用其他特征（如面部信息）来初始化标签，因此该研究留下了一个问题，即哪些特征区分了性别在行走中。

新方法从面部分析模型中推导性别身份，该模型在有限的可用角度和数据集策划的约束下运行。然后，系统将骨骼运动特征分配为男性或女性，并提取每个性别的特征行走签名，忽略面部、服装和其他不可靠的数据源。 来源：https://arxiv.org/pdf/2111.00538.pdf

新论文《从面部到行走：弱监督学习性别信息从行走模式》来自布加勒斯特理工大学的研究人员。

该系统的性能与面部分析模型相当，甚至超过了这些标准，具有最高91%的F1评分，并且具有很高的普遍性，可以适应新的场景，包括多种视角和情况，这些情况通常会阻碍面部或类似性别识别系统的有效性。这些情况包括遮挡面部的视角、非正面角度和低分辨率图像，或者在图像中遥远的人，只有行走风格才是可靠的性别指标。

性别差距

正如研究人员总结的那样，这样的系统对于当前由于COVID面具和时尚怪癖而受到阻碍的人口统计框架具有很大的潜力，因为服装和剪影分析可能不可靠。

在监视方面，能够排除不符合目标性别的所有潜在目标，可以将预处理和人工及机器注意力的需求减少一半，因为当前的识别系统通常难以正确地将性别分配给被监视的个体。

来自新论文的各种示例，展示了性别识别系统的失败。在上面的行中，我们看到研究人员的新行走分析系统正确地匹配了图像的真实标签（M或F），而面部分析在同一实例中失败了。在下面的行中，我们看到研究人员使用的标签工具产生了“噪声”（即不正确的）性别标签。为了解决这个问题，研究人员使用了PENCIL（“概率端到端噪声纠正学习”）等方法。

自然地，通过行走分析来实现可靠性别识别的可能性可能会增加人们对行走伪装方法的兴趣。

性别判定代理

理论上，可以通过对手工标记的骨骼运动数据进行严格分析来实现新项目的相同功能。然而，这种方法需要大量的资源投入，研究人员选择使用现有的（不太健壮的）系统来生成必要的标签。

这些“伪标签”不提供对性别行走特征的直接洞察，但使得以高度普遍的方式按性别过滤行走模式成为可能，这种方式可以在资源约束内实现。

最初，研究人员使用了2019年的正面行走（FVG）数据集，该数据集解决了从正面角度识别行走的挑战，这提供的线索比侧面视图少。该数据集包含了具有许多障碍的行走样本，例如不同的行走速度、杂乱的背景、不同的分辨率和服装差异。

来自2019年FVG论文的GaitNet自动从“行走视频”中学习了基本的行走特征，基于正面拍摄的视频，这是公共摄像头中常见的拍摄场景。 来源：https://arxiv.org/pdf/1904.04925.pdf

由于FVG不针对性别识别，作者手动为数据集中的226个对象添加了性别信息，以开发该框架的基准真值。

面部检测通过MTCNN实现，人口统计属性由IMDB-WIKI数据集确定。由于行走分析在远距离上可能比面部推断更有效，最后的标签是通过面部边界框相对于帧尺寸的面积计算的加权平均值。骨骼通过AlphaPose提取，这消除了任何潜在的“泄露”信息，例如主体的实际高度（在公共摄像头场景中不能确定）。

测试

该系统在CASIA-B行走数据库上进行了测试，通过对数据集中的过度代表的男性进行欠采样，以确保测试的公平性，数据被分为80%用于训练和20%用于验证。

研究人员使用了他们之前的工作，即WildGait网络（见下图），来计算行走序列之间的相似性。已经确定的性别ID现在被有效地传递到该框架过程的这一阶段。

WildGait是一个时空图卷积网络，训练于来自现实世界监视流的高容量自动标记的骨骼序列。 来源：https://arxiv.org/pdf/2105.05528.pdf

总之，作者指出该系统在确定性别的准确性方面与基于面部的最先进系统相当。由于源行走视频中可能存在许多可能的角度，结果分布在这些可能的视角范围内：