Anderson 视角
使用电影预告片和机器学习识别有害视频内容
瑞典媒体委员会的一篇研究论文概述了一种可能的新方法，用于自动识别“有害内容”，通过分别考虑音频和视频内容，并使用人工注释的数据作为可能令人不安的内容的指导索引。
这篇题为《这是有害的吗？从视频中学习预测有害性评级》的论文，说明了机器学习系统需要考虑场景的整个上下文，并说明了无害内容（例如幽默或讽刺内容）可能被误解为有害的许多方式，特别是在视频分析中采取了不够成熟和多模态的方法——主要是因为电影的音乐音轨经常被以意想不到的方式使用，或者作为视觉成分的对比，而不是补充。
可能有害的视频数据集
研究人员指出，该领域的有用发展因电影的版权保护而受到阻碍，这使得创建通用开源数据集变得困难。他们还观察到，迄今为止，类似的实验由于对全长电影的标签稀疏而受到影响，这导致了以前的工作过度简化了贡献的数据，或者只关注数据的一个方面，例如主导颜色或对话分析。
为了解决这个问题，研究人员编制了一个包含4000个视频片段的数据集，这些片段是将预告片剪辑成大约10秒钟的长度，然后由专业的电影分类人员对其进行标注，这些人员负责在瑞典为新电影应用评级，其中许多人具有儿童心理学的专业资格。
在瑞典的电影分类系统中，“有害”内容的定义是基于其可能产生焦虑、恐惧和其他负面影响的可能性。研究人员指出，由于该评级系统涉及直觉和本能以及科学，因此“有害内容”的定义参数很难量化并纳入自动系统中。
定义有害性
这篇论文进一步指出，早期的机器学习和算法系统在解决这个挑战时使用了特定的面检测标准，包括视觉检测血液和火焰、爆炸声和镜头长度的频率等，认为多领域方法可能为自动评级有害内容提供更好的方法论。
瑞典研究人员在Kinetics-400人体运动基准数据集上训练了一个8×8 50层神经网络模型，并创建了一个旨在融合视频和音频预测的架构。
实际上，使用预告片解决了创建此类数据集的三个问题：它避免了版权问题；预告片比原电影具有更高的剪辑频率和更大的动荡度，这使得注释的频率更高；并且它确保了整个电影中暴力或令人不安的内容的低发生率不会使数据集失衡并将其错误地归类为适合儿童的内容。
结果
一旦模型被训练，瑞典研究人员将系统与视频片段进行了测试。
在《深海》（2012）的预告片中，用于测试系统的两个模型（随机采样标签与概率标签）成功地将电影归类为适合11岁及以上观众的电影。
对于《Discarnate》（2018）中一个怪物反派被介绍的场景，双框架再次正确地估计了目标年龄范围为11+/15+。
然而，《第二次机会》（2014）的预告片中一个片段给模型带来了更大的困难，因为模型无法同意人类注释对该场景的分类，该场景被归类为“BT”（普遍接受）。实际上，算法检测到了人类评估者没有归属的潜在危害。
尽管研究人员声称系统具有高准确率，但仍然发生了一些故障，例如《城市之国》（2011）中一个被捕的裸体男子被威胁的场景。
在这种情况下，系统将11+的评级分配给了该片段，与人类注释相反。
意图和有害性的不和谐
该论文指出，在评估《Paydirt》（2020）的预告片时，系统正确地根据视觉和语言方面为该片段分配了“普遍”评级（尽管角色正在讨论枪支，但意图是喜剧的），但被不和谐的威胁音乐混淆，这可能具有讽刺的背景。
同样，在《为了萨玛》（2019）的预告片中，音乐内容的威胁风格与视觉内容不匹配，系统再次难以区分这两个组件以做出统一的判断，涵盖该片段的音频和视频内容。
最后，系统在《处女山》（2015）预告片中正确地处理了音频/视频不和谐，该片段包含一些威胁性的视觉提示（例如，破碎的窗户），但被音乐所削弱。因此，框架正确地猜测该片段被归类为“普遍”（BT）。
研究人员承认，这种系统专门针对儿童，其结果不太可能推广到其他类型的观众。他们还建议，在这种线性方式中编码“有害”内容可能会导致算法评级系统变得不那么不可预测，但注意到在开发此类方法时可能会出现不想要的思想压制的潜力：
“评估内容是否有害是一个微妙的问题。存在信息自由和保护敏感群体之间的重要平衡。我们相信这项工作朝着正确的方向迈出了一步，通过对用于评估有害性的标准尽可能透明。另外，我们相信将有害性与适当性区分开来是使有害内容分类更加客观的重要一步。”
“…检测有害内容也对在线平台（如YouTube）感兴趣。在这样的平台上，信息自由和保护之间的平衡变得更加重要，并且由于算法负责的专有性质而变得更加复杂。”
