人工智能
使用机器学习生成和识别宣传
美国和卡塔尔的新研究提供了一种识别假新闻的新方法，假新闻是以人类实际写作的方式编写的——通过将不准确的陈述嵌入到大部分真实的上下文中，并使用诸如权威性诉求和负载语言等流行的宣传技术。该项目导致了一个新的假新闻检测训练数据集的创建，称为PropaNews，该数据集包含这些技术。该研究的作者发现，在新数据集上训练的检测器比先前的最先进方法在检测人类编写的虚假信息方面准确率提高了7.3-12%。
从新论文中，’权威性诉求’和’负载语言’的例子。 来源：https://arxiv.org/pdf/2203.05386.pdf
作者声称，在他们的知识范围内，该项目是第一个将宣传技术（而不是简单的事实不准确性）纳入机器生成的文本示例中，以便为假新闻检测器提供燃料。他们大多数最近的工作都在研究偏见，或者将’宣传’数据重新构建为偏见（可能是因为偏见在后分析时代成为一个高度可资助的机器学习领域）。作者指出：
‘相反，我们的工作通过将宣传技术纳入假新闻中，并保留大部分正确信息来生成假新闻。因此，我们的方法更适合研究对抗人类编写的假新闻的防御。’
他们进一步阐述了更复杂的宣传检测技术的迫切需要：
‘[人类编写的]虚假信息经常被用来操纵某些人群，对多个事件产生了灾难性的影响，例如2016年美国总统选举、脱欧、COVID-19大流行和最近俄罗斯对乌克兰的袭击。因此，我们迫切需要一个防御机制来对抗人类编写的虚假信息。’
该论文的标题为伪造假新闻以进行真正的假新闻检测：宣传负载训练数据生成，来自伊利诺伊大学厄巴纳-香槟分校、哥伦比亚大学、卡塔尔哈马德·本·哈利法大学、华盛顿大学和人工智能艾伦研究所的五位研究人员。
定义不真实性
量化宣传的挑战在很大程度上是一个后勤问题：雇佣人类来识别和注释具有宣传性特征的现实世界材料以纳入训练数据集非常昂贵，可能比提取和利用可能在“未见”数据上起作用的高级特征更便宜。为了实现更可扩展的解决方案，研究人员最初从被认为事实准确性较低的新闻来源中收集了人类创建的虚假信息文章，通过媒体偏见事实核查网站。他们发现，研究的33%的文章使用了不诚实的宣传技术，包括情感触发词、逻辑谬误和权威性诉求。另外55%的文章包含不准确的信息，混合了准确的信息。
生成权威性诉求
权威性诉求方法有两个用例：不准确陈述的引用和完全虚构的陈述的引用。研究重点是第二种用例。
来自新项目的自然语言推理框架RoBERTa识别出两种进一步的权威性诉求和负载语言的例子。
为了创建机器生成的宣传以用于新数据集，研究人员使用预训练的seq2seq架构BART来识别可以稍后修改为宣传的显著句子。由于没有公开可用的与此任务相关的数据集，作者使用了2019年提出的提取性摘要模型来估计句子显著性。对于研究的每个新闻来源的文章，研究人员用从Wikidata查询服务和文章中提到的权威（即人和/或组织）派生的“权威”虚假论点替换了这些“标记”句子。
生成负载语言
负载语言包括词语，通常是耸人听闻的副词和形容词（如上所示），这些词语包含在传递事实的上下文中隐含的价值判断。为了推导出有关负载语言的数据，作者使用了2019年的一项研究中的数据集，该数据集包含2,547个负载语言实例。由于2019年数据中的所有示例都没有包含情感触发副词或形容词，研究人员使用SpaCy执行依赖解析和词性标注，只保留适合纳入框架的示例。过滤过程的结果是1,017个有效的负载语言样本。BART的另一个实例用于屏蔽和用负载语言替换源文档中的显著句子。
PropaNews数据集
在对2015年来自谷歌DeepMind和牛津大学的CNN/DM数据集进行中间模型训练后，研究人员生成了PropaNews数据集，将来自“可信”来源（如纽约时报和卫报）的非平凡文章转换为包含精心制作的算法宣传的“修改”版本。实验的模型基于2013年来自汉诺威的一项研究，该研究自动生成了17个新闻事件和4,535个新闻故事的时间线摘要。生成的虚假信息被提交给亚马逊机械土耳其（AMT）的400个独特工人，跨越2000个人类智能任务（HITs）。只有工人认为是“准确”的宣传性文章才被包含在PropaNews的最终版本中。对不一致的裁决使用工人协议与汇总（WAWA）方法进行评分。PropaNews的最终版本包含2,256篇文章，在假和真输出之间保持平衡，其中30%使用权威性诉求，另外30%使用负载语言。其余部分只包含不准确的信息，这种信息在很大程度上填充了该研究领域的先前数据集。数据被分为1,256:500:500的训练、测试和验证分布。
HumanNews数据集
为了评估训练的宣传检测例程的有效性，研究人员编译了200篇人类编写的新闻文章，包括事实核查网站揭穿的文章，并在2015年至2020年之间发表。这些数据被来自不可信任的新闻媒体的额外揭穿文章增强，并由计算机科学专业的研究生进行事实核查。最终的数据集，称为HumanNews，还包括来自洛杉矶时报的100篇文章。
测试
检测过程以两种形式与先前的框架进行比较：PN-Silver，它忽略AMT注释器验证，并且PN-Gold，它包括验证作为标准。竞争框架包括2019年的Grover-GEN、2020年的Fact-GEN和FakeEvent，其中PN-Silver中的文章被用这些较旧方法生成的文档替换。 
过时？
作者重申，迄今为止，关于宣传中心假新闻的自动化生成和识别的研究严重不足，并警告说，在关键事件（如COVID或东欧当前局势）之前训练的模型不可能在最佳状态下运行：
‘大约48%的错误分类的人类编写的虚假信息是由于无法从新新闻来源获取动态知识。例如，COVID相关文章通常在2020年之后发布，而RoBERTa是在2019年之前发布的新闻文章上预训练的。除非检测器具有从新闻文章中获取动态知识的能力，否则RoBERTa很难检测此类主题的虚假信息。’
作者进一步指出，RoBERTa在2019年之前发布的材料中实现了69.0%的假新闻文章检测准确率，但在应用于2019年之后发布的新闻文章时，准确率下降到51.9%。
Paltering和上下文
虽然这项研究没有直接解决这个问题，但这种对语义影响的深入研究最终可能会解决语言的更微妙的武器化，例如paltering——为了获得可能违背所用证据的精神和意图的期望结果而自利地选择性地使用真实陈述。计算机视觉和多模态研究中一个相关且稍微成熟的研究线是上下文研究，作为意义的附属，上下文中真实事实的选择性和自利的重新排序或重新上下文化变得等同于试图引发的反应不同于以更清晰和更线性的方式呈现时事实可能会产生的反应。 * 我将作者的内联引用转换为直接超链接。 首次发布于2022年3月11日。
