Anderson 视角
利用AI提前预测暴力

要点在暴力发生之前就进行预测,可能会重蹈《少数派报告》中所描绘的反乌托邦恐惧的覆辙。
查看更多
- 在暴力发生之前就进行预测,可能会重蹈《少数派报告》中所描绘的反乌托邦恐惧的覆辙。
- 将面部外观与音频和动作线索相结合,其效果优于任何单一信号。
- Https://www.youtube.com/watch?v tDSXPQcpybU 这是 IVS 暴力检测系统的一项(非真实)测试。
典型的“AI能把这件事自动化吗?”研究思路,是输入多个具有待提取特征的实例,看看用这些数据训练的模型,能否在未用于训练的类似数据中识别出该特征:

一种“孤注一掷”式AI项目的示意图:将带标签的实例划分为训练集和测试集,模型先从前者学习,再接受后者中未见实例的检验。如果它真正学会了所关注的特征,而不是记住训练数据,就应当能在测试集中识别出同样的模式。 来源
这有点像“孤注一掷”,因为这类实验假设,只要AI持续观察数据集,相关特征最终就会在数据中显现,而且确实存在某种可供挖掘的“潜在趋势”。如果这个特征是我们能够轻易识别的,那么我们要么完全不需要AI模型,要么只会用它进行常规自动化。
一般情况并非如此;这类研究大多是在探索潜在模式,只有远超人类能力的反复观察,才可能学会识别这些模式。
很多时候,模式难以捉摸,甚至可能根本不存在,因为某些事件和特性可能确实完全随机;也可能是数据在某些方面不足、整理不当,或训练质量不佳。
向前看
有些目标如此令人向往(治愈癌症、实现核聚变、突破热力学定律等),又如此具有“政治吸引力”,以至于研究文献会不断重访它们,看看更好的数据或技术是否终于能够揭示一种特征模式。
其中一个领域是与公共空间和警务相关的自动视频理解。例如,今年一项新研究使用真实的自杀未遂录像,识别一个人在尝试自杀前的“逗留”趋势,并创建预测系统,识别其在跳下之前于公共火车站台上移动的特有方式:

摘自2026年论文《基于AI视频监控的自杀风险评估:用于地铁站预防的可解释框架》,展示两个画面的预测,其中一个是真实的铁路自杀未遂事件,另一个是未发生事件的案例。每帧旁边的热力图根据个人在隧道入口附近的“逗留倾向”和以往自杀未遂中观察到的模式,指出站台上风险较高和较低的区域。 来源
在这个案例中,考虑跳到列车前方的人所表现出的典型“逗留模式”(上图最左侧和最右侧),似乎具有一种鲜明特征,可以在自动监控系统中作为模式识别预警的依据。
这一研究方向的另一个热门分支是暴力检测/识别:让无人值守的监控系统能够识别暴力行为,迅速引起人类注意,甚至触发辅助操作,例如为录像标记长期保存,确认录像确实正在进行,以及其他措施。
IVS暴力检测系统的一次测试(非真实事件)。 来源
根据阿拉巴马大学的新研究,迄今的文献主要关注在暴力已经发生时进行识别。在这项新工作中,研究人员只用暴力事件发生之前的录像训练模型(也包括没有发生事件的录像,以保持统计平衡),研究是否存在反复出现且可学习的“暴力前兆”特征。这里指的是身体运动、面部状态和音频的组合,它们共同可能提供暴力行为的预测信号,而不是仅在暴力发生后作出响应。

研究《我们能预判暴力吗?从事件前行为线索进行多模态学习》中“有风险”的事件前序列示例,以连续四帧展示。系统随时间跟踪身体关节和运动,寻找姿势、速度和互动模式的变化,这些变化可能在暴力本身变得可见之前,区分出正在升级的局面。 来源
当然,这类工作一旦被开发或实施,很可能引发担忧。正如我此前指出的,电视剧Person of Interest和2002年的科幻动作片Minority Report等众多虚构作品,反映了公众对警方或监管机构掌握预测技术的恐惧。
就目前而言,依据身体、面部和音频线索预测暴力行为,而不是依据情境等因素、时段、地点或历史犯罪数据,其可行性仍未有定论,因为新论文的作者称,这是一条非常新的研究路线。
在测试中,研究人员使用三种不同的视觉骨干网络,将面部外观、音频和身体运动线索分别及组合进行比较。三种信号全部结合时,结果最好,说明预测效果并非由某一种线索单独驱动:
“最佳配置是结合音频、面部外观和运动的Deit-Tiny,在留出的测试集上达到91.21%的准确率、88.96%的平衡准确率、93.65%的F1分数和96.38%的ROC-AUC。
“这些结果表明,互补的外观、声学和运动学线索,为识别升高的事件前风险提供了有用证据。”
方法
本研究整理的数据集来自XD-Violence集合,同时处理三种模态:面部外观、音频和经姿态估计得到的运动:

研究的处理流程。每段视频按风险程度标注,归并为“无风险”或“有风险”,再划分为训练、验证和测试集。通过三个分支分析最长四秒的录像:各帧中的面部外观、转为频谱图的音频,以及由跟踪关键点推导出的身体运动,包括速度和加速度。所得面部、音频和运动特征合并为一种表示,传给最终分类器,为视频分配属于无风险或有风险的概率。
整理后的数据集包含443段事件前视频(我们将在文章末尾讨论这个数字)。
论文称,从XD-Violence集合中选出的视频适合该项目旨在实施的以人为中心的分析。相比之下,以往许多类似方法把整个场景作为预测情境。
使用的视频不超过四秒,并以8fps采样。采用具有八个注意力头的单层Transformer整合所得的32帧样本,利用学习得到的位置嵌入保持帧顺序。在多模态训练期间,骨干网络保持冻结,以避免过拟合。
“有风险”样本的激活图示例(包括面部图像)已在文章前面展示,下图则是无风险样本:

研究面部分析分支中的无风险示例,与前面展示的有风险运动示例相呼应。左侧为原始面部裁剪图,之后依次是DeiT-Tiny视觉模型逐渐加深的层所产生的激活图。暖色区域表示较强的特征响应,展示图像通过网络时,模型的注意力如何转移并变得更抽象。
从原始视频提取的音频重采样至16kHz,经归一化并与对应视觉时间窗口对齐后,使用512点短时傅里叶变换和400样本的Hann窗,转换为标准化的对数幅度频谱图:

正常和有风险的事件前视频的平均音频模式比较。上排为正常视频,下排为有风险视频,依次展示原始波形、频谱图和网络连续三个深度层次学习的特征。有风险视频随时间变化更大,包括四秒窗口末尾声学活动增强;网络逐步将这些差异转换成更高层次的特征。
在运动分支中,身体运动被转换为一组数值描述符,其依据是YOLO姿态估计器检测到的COCO-17关键点。
共计算十二项指标,包括平均速度和最大速度、加速度和加加速度、速度变化、手腕和脚踝速度,以及整体运动能量。这些值按体型归一化,避免体型较大的人自动被认定为运动更多。此外,同一视频中多个人的测量结果也会合并。
相对于训练数据进行标准化后,运动特征扩展为64维表示,并输入时间Transformer,使整个视频中的运动变化被视为序列,而不是孤立的帧。
随后将三个数据流融合为单一表示,面部外观占比最大,其次是音频和运动。经过归一化和随机失活,最终分类器将融合表示转换为“正常”和“有风险”的概率,使用0.5作为阈值。
面部外观数据流采用三种在ImageNet上预训练的骨干网络:Swin-Tiny、ViT-Tiny和DeiT-Tiny。
测试
测试时,根据可见行为、运动和音频,为每段视频人工分配四种标签之一:无风险、低风险、中风险或高风险。最终的二分类任务将三种风险类别合并为“有风险”,而无风险成为“正常”。为减少训练与评估之间的信息泄漏,同一原始视频截取的片段被保留在同一数据集分区中。
每段有风险视频中的暴力事件本身均被移除,只留下之前的行为供模型判断:

测试集结果展示,在三种视觉骨干网络上,分别或组合使用面部外观、音频和运动时,性能如何变化;消融设置单独考察每个输入流的贡献。分数越高,性能越好,粗体数值表示每项指标的最佳结果。
如前所述,最佳整体结果来自结合全部三种模态的DeiT-Tiny。消融实验更清楚地显示各数据流的贡献:面部外观单独使用时已具有较强预测能力,运动表现中等,而音频单独使用则明显较弱。
面部、音频和运动信息结合时获得最佳结果,表明较弱的数据流仍为视觉信号补充了有用信息。
虽然模型仅训练用于区分“正常”和“有风险”,研究人员也将输出与原来的四级标签进行比较:无风险、低风险、中风险和高风险。如下图所示,在训练、验证和测试集中,预测风险大致随这些类别逐级上升:

原来四个风险类别的预测风险分数。尽管模型仅训练用于区分正常与有风险视频,但在训练、验证和测试集中,分数通常从无风险到高风险逐渐上升。虚线表示0.50的决策阈值。
作者评论道:
“这一结果很重要,因为模型从未被明确训练来区分低、中、高风险。即便如此,其预测仍遵循原始风险等级的递进。
“这表明,模型捕捉到了事件前行为中有意义的变化,而不只是学习正常与有风险之间的简单界限。该结果也提供证据,说明在标注的事件开始之前,就可能出现有用的行为线索。”
他们总结道:
“这些发现表明,事件发生之前的时期可能存在有用的判别信息,凸显了将暴力分析从事件发生时的检测推进到更早风险识别的潜力。”
结论
研究人员真的找到了一组“暴力前兆”特征吗?实验仅用了443段视频,过拟合是一项显著风险,尤其是多模态模型和预训练视觉骨干网络容易出现这种问题。该研究通过冻结视觉骨干网络、按原始视频划分训练/验证/测试集,并测试多种模态组合,在一定程度上降低了风险。
在小数据集上表现出色,并不能证明潜在模式明显存在,甚至不能证明其存在,因为结果也可能反映数据集特有线索、标注偏差、数据划分未能排除的来源泄漏,或异常容易的测试集。
但就目前而言,正因为数据集如此小,而过拟合似乎也已得到充分防范,这个结果才令人感兴趣。不过,在把学到的模式视为“稳健”之前,还需要在更大数据集上复现这些发现。
首次发表于2026年10月1日,星期四












