通过行走风格和机器学习确定性别

罗马尼亚的研究人员开发了一种机器学习系统，能够仅通过行走方式确定一个人的性别，而无需分析面部特征（可能被隐藏或遮挡），也不依赖于剪影分析或其他身体特征（可能被其他性别的人伪造）。相反，该新系统使用现有的标签系统来识别区分男性和女性步态的核心特征，从而实现仅通过“骨骼”运动来有效识别性别。该新方法量化了男性和女性行走的不同方式，而不依赖于其他信号；但是，由于它使用其他特征（如面部信息）来初步标记步态风格，该研究留下了关于哪些特定特征区分性别的疑问。

新的方法从面部分析模型中推导性别身份，这些模型在约束条件下运行（例如，有限的可用角度和数据集策划的需要）。然后，该系统将骨骼运动特征分配为男性或女性，并提取每个特征的特征步态签名，同时忽略面部、服装和其他不可靠的数据源。 Source: https://arxiv.org/pdf/2111.00538.pdf

新的论文的标题是从面部到步态：弱监督学习步态模式中的性别信息，来自布加勒斯特理工大学的研究人员。该系统的性能与面部分析模型相当，甚至超过了这些标准，具有最高91%的F1得分，并提供了对新场景的高度泛化，包括各种视角和情况，这些情况通常会阻碍面部或类似性别识别系统的有效性。这些包括遮挡面部的视角、非正面角度和低分辨率图像的常见场景，或者在图像中遥远的人员监控中，只有运动风格才是潜在的可靠性别指标。

性别差距

正如研究人员得出结论的那样，这样的系统对于当前因COVID面罩和时尚的怪癖以及可能使服装和剪影分析成为不可靠的性别识别方法而受到阻碍的 демограф框架具有巨大的潜力。在监控方面，能够排除所有不符合目标对象性别的潜在目标，可以将预处理和需要人工和机器注意力的需求减少一半——因为当前的识别系统通常难以正确地将性别分配给被监控的个体。

来自新论文的各种示例，其中性别识别系统失败。在上一行中，我们看到研究人员的新步态分析系统正确地匹配了图像的真实标签（M或F），而面部分析在同一实例中失败了。在下一行中，我们看到标记工具生成的“噪音”（即不正确）性别标签的实例。为了解决这个问题，研究人员使用了PENCIL（‘概率端到端噪声纠正学习带有噪声标签’）等方法。

自然，通过步态分析实现可靠性别识别的可能性可能会增加当前对步态伪造方法的兴趣。

代理性别确定

理论上，可以通过对手工标记的骨骼运动数据进行严格分析来实现新项目所实现的相同功能。如果这样做，新项目可能会对定义性别的运动特征有更深入的见解。然而，这种方法意味着大量的资源投入，研究人员已经使用现有的（不太强大的）系统来生成必要的标签。这些“伪标签”提供了对性别行走特征的明确见解，但使得以高度可泛化的方式过滤行走模式成为可能，这可以在资源约束内实现。最初，研究人员使用了2019年的正面步态(FVG)数据集，该数据集解决了从正面角度识别步态的挑战，这提供了比侧面视图更少的线索。该数据集包含了许多障碍的行走样本，例如不同的行走速度、杂乱的背景、不同的分辨率和服装差异。

来自2019年FVG论文的GaitNet自动从基于正面拍摄的‘行走视频’中学习基本的步态特征，这是公共摄像头中常见的拍摄场景。 Source: https://arxiv.org/pdf/1904.04925.pdf

由于FVG不针对性别识别，作者手动标记了数据集中的226个对象的性别信息，以开发框架的基准。面部检测通过MTCNN实现，人口统计学属性由IMDB-WIKI数据集确定。由于步态分析在长距离上可能比面部推理更有效，最后的标签是通过面部边界框相对于帧尺寸的面积的加权平均值获得的性别置信度。骨骼通过AlphaPose提取，这消除了任何潜在的“泄露”信息，例如主题的目标高度（在ad hoc公共摄像头场景中无法确定）。

测试

该系统在CASIA-B步态数据库上进行了测试，通过对数据集中的过度代表的男性进行欠采样，以确保测试的公平性，数据被分为80%的训练集和20%的验证集。研究人员使用了他们之前的工作，即WildGait网络(见下图)，来计算行走序列之间的相似性。已经建立的性别ID现在有效地被引入了框架过程的这一阶段。

WildGait是一个时空图卷积网络，训练于来自现实世界、监控流的高容量自动标记骨骼序列。 Source: https://arxiv.org/pdf/2105.05528.pdf

在总结中，作者指出该系统在确定性别方面的准确性与面部识别系统相当。由于可能存在许多可能的角度，因此结果分布在这些可能的视角中：