通过机器学习生成和识别宣传信息

来自美国和卡塔尔的新研究提供了一种新方法，用于识别以人类实际写作方式撰写的虚假新闻，即将不准确的陈述嵌入到大部分真实的背景中，并使用诸如权威性诉求和负载语言等流行的宣传技巧。

该项目导致了一个名为PropaNews的新假新闻检测训练数据集的创建，该数据集包含这些技术。该研究的作者发现，在该新数据集上训练的检测器比以前的最先进方法在检测人类撰写的虚假信息方面更准确7.3-12%。

来自新论文的’权威性诉求’和’负载语言’示例。 来源：https://arxiv.org/pdf/2203.05386.pdf

作者声称，他们的研究是第一个将宣传技巧（而不是直接的事实不准确性）纳入机器生成的文本示例中，以便为假新闻检测器提供燃料。

他们认为，大多数该领域的最近工作都在研究偏见，或者将“宣传”数据重新构建为偏见的背景（可能是因为偏见在后分析时代成为一个高度可资助的机器学习领域）。

作者指出：

‘相比之下，我们的工作通过整合宣传技巧并保留大部分正确信息来生成假新闻。因此，我们的方法更适合研究对抗人类撰写的假新闻的防御。’

他们进一步阐述了更复杂的宣传检测技术的迫切需要：

‘[人类撰写的]虚假信息经常被用来操纵某些人群，对多个事件产生了灾难性的影响，例如2016年美国总统选举、脱欧、COVID-19大流行和最近俄罗斯对乌克兰的袭击。因此，我们迫切需要一个防御机制来对抗人类撰写的虚假信息。’

该论文题为为真实假新闻检测而生成假新闻：宣传负载训练数据生成，由五位来自伊利诺伊大学厄巴纳-香槟分校、哥伦比亚大学、卡塔尔哈马德·本·哈利法大学、华盛顿大学和艾伦人工智能研究所的研究人员撰写。

定义虚假信息

量化宣传的挑战在很大程度上是一个后勤问题：聘请人类来识别和注释现实世界的材料以包含在训练数据集中是非常昂贵的，可能比提取和利用可能在“未见”数据上起作用的高级特征更便宜。

为了实现更可扩展的解决方案，研究人员最初从被认为事实准确性较低的新闻来源中收集了人类创建的虚假信息文章，通过媒体偏见事实核查网站。

他们发现，33%的研究文章使用了不诚实的宣传技巧，包括情感触发词、逻辑谬误和权威性诉求。另外，55%的文章包含了不准确的信息与准确的信息混合在一起。

生成权威性诉求

权威性诉求方法有两个用例：不准确陈述的引用和完全虚构的陈述的引用。该研究关注第二个用例。

来自新项目的自然语言推理框架RoBERTa识别出两个进一步的权威性诉求和负载语言示例。

为了创建机器生成的宣传以用于新数据集，研究人员使用了预训练的序列到序列架构BART来识别可以稍后修改为宣传的显著句子。由于没有公开可用的与此任务相关的数据集，作者使用了2019年提出的提取性摘要模型来估计句子显著性。

对于每个新闻媒体来源的文章，研究人员用从Wikidata查询服务和文章中提到的权威（即人和/或组织）派生的“权威”虚假论点代替了这些“标记”句子。

生成负载语言

负载语言包括词语，通常是耸人听闻的副词和形容词（如上所示），这些词语包含了在传递事实的同时嵌入的隐含价值判断。

为了获得有关负载语言的数据，作者使用了2019年的一项研究中的数据集，包含2,547个负载语言实例。由于2019年的数据中并非所有示例都包含情感触发的副词或形容词，研究人员使用SpaCy进行依赖分析和词性标注，只保留适合纳入框架的示例。

过滤过程的结果是1,017个有效的负载语言样本。BART的另一个实例被用来屏蔽和用负载语言替换源文档中的显著句子。

PropaNews数据集

在对2015年CNN/DM数据集进行中间模型训练后，研究人员生成了PropaNews数据集，将来自“可信”来源（如纽约时报和卫报）的非平凡文章转换为包含精心制作的算法宣传的“修改”版本。

该实验以2013年汉诺威的一项研究为基础，该研究自动生成了新闻故事的时间线摘要，涵盖了17个新闻事件，总共4,535个故事。

生成的虚假信息被提交给了400个独特的亚马逊机械土耳其工人，涵盖了2000个人类智能任务（HITs）。只有被工人认为是“准确”的宣传信息才被纳入PropaNews的最终版本。对争议的裁决是通过工人协议与聚合（WAWA）方法评分的。

PropaNews的最终版本包含2,256篇文章，平衡了虚假和真实的输出，其中30%利用了权威性诉求，另外30%使用了负载语言。其余部分只包含了不准确的信息，这种信息在以前的数据集中占了很大比例。

数据被分成1,256：500：500的训练、测试和验证分布。

HumanNews数据集

为了评估训练的宣传检测例程的有效性，研究人员编制了200篇人类撰写的新闻文章，包括被Politifact揭穿的文章，并在2015-2020年间发表。

该数据被来自不受信任的新闻媒体的揭穿文章所增强，并由计算机科学专业的研究生进行事实核查。

最终数据集，名为HumanNews，还包括来自洛杉矶时报的100篇文章。

测试

检测过程以两种形式与以前的框架进行比较：PN-Silver，它忽略了AMT注释器的验证，而PN-Gold则将验证作为标准。

竞争框架包括2019年的Grover-GEN、2020年的Fact-GEN和FakeEvent，其中来自PN-Silver的文章被用这些旧方法生成的文档所取代。

在新的PropaNews数据集上训练的Grover和RoBERTa的变体被证明是最有效的，研究人员得出结论：‘在PROPANEWS上训练的检测器在识别人类撰写的虚假信息方面比在其他数据集上训练的检测器更好。’

研究人员还观察到，即使半残缺的消融数据集PN-Silver也在其他数据集上超越了旧方法。

过时了吗？

作者重申，迄今为止，关于自动化生成和识别宣传为中心的假新闻的研究还很少，并警告说，在关键事件之前（例如COVID或东欧当前局势）训练的模型不可能表现最佳：

‘大约48%的错误分类的人类撰写的虚假信息是由于无法从新新闻来源获取动态知识。例如，COVID相关文章通常在2020年之后发布，而RoBERTa是在2019年之前的新闻文章上预训练的。除非检测器具备从新闻文章中获取动态知识的能力，否则RoBERTa很难检测此类主题的虚假信息。’

作者进一步指出，RoBERTa在检测2019年之前发布的假新闻文章方面达到69.0%的准确率，但在检测2019年之后发布的新闻文章方面，准确率下降到51.9%。

Paltering和上下文

虽然这项研究没有直接解决这个问题，但可以看出，这种对语义影响的深入研究最终可能会解决更微妙的语言武器化问题，例如Paltering——使用真实陈述来获得所需的结果，这可能与所用证据的精神和意图相反。

计算机视觉和多模态研究中相关的研究线是上下文研究，即作为意义的辅助，选择性和自私的真实事实的重新排序或重新上下文化相当于试图引起的反应不同于事实在更清晰和更线性方式中呈现时可能产生的反应。

* 我将作者的内联引用转换为直接超链接。

首次发表于2022年3月11日。