Ofer Familiar 是 dig 的联合创始人和 CEO,dig 是一个社会视频智能平台,帮助品牌和政府掌握社会视频,特别是社会媒体。该平台自动检测任何与品牌相关的视频,通过深度视频分析算法进行分析,并提取见解和通知,以便品牌保持安全并获得无与伦比的见解。
六月,华尔街日报报道称,波利市场支付给创作者,主要是大学年龄段的人,来拍摄自己在看起来与真实平台完全相同的网站上下注的视频,其中一些视频显示了实际上从未发生的胜利。然后,波利市场雇佣了一批“剪辑员”来重新发布这些视频,直到看起来像是一波真正的人在平台上赚钱。跨越118个视频,创作者庆祝了近90万美元的赢利,如果这些投注实际上被放置,会损失超过16.6万美元,而整个活动涵盖了1105个视频,所有这些都没有反映出实际的交易。大多数反应都集中在虚假广告的想法上,这是一个公平的描述,但它没有回答波利市场如何被抓住,以及这种活动在未来是否会被发现。该公司最终被抓住是因为这种活动依赖于人类,而人类会留下痕迹。但人工智能正在改变这一点。制造一个令人信服的在线叙事的成本正在迅速下降,我们检测它的能力也随之下降。一个依赖于人的模型与一个不需要人的模型波利市场的活动之所以有效,是因为它看起来很自然。创作者从自己的账户发布视频,好像他们正在记录自己的经历,视频的传播让人感觉像是一波真正的热情,而不是一个付费活动。付费创作者只占了使其有效的一半,另一半,虽然不那么明显,但同样重要,是虚假的参与。这些视频在TikTok、YouTube和Instagram上获得了1.4亿的浏览量,这些创作者通常每个帖子只有几百个浏览量。这种覆盖范围通常需要人为地将视频注入人工的点赞、评论和浏览量,通常通过机器人或协调的账户,直到平台的推荐引擎将其误认为是人们真正想看的东西。单靠付费创作者很少能产生这样的效果,这就是为什么波利市场几乎可以肯定同时运行这两个玩法。使其变得昂贵且最终可追踪的原因是,它在每个步骤都需要人。虚假网站需要被构建和托管,创作者需要被支付,公司需要被雇佣来管理重新发布网络,每一步都留下了记录,调查记者能够追踪到源头。人工智能消除了这一限制,因为合成人物、生成的视频和克隆的声音可以在没有工资单、合同或纸质痕迹的情况下产生同样的自然热情幻觉。机制保持不变。消失的是任何人需要签署任何东西或进行电汇来使其发生的必要性。这种转变也改变了问题的规模。在线深度伪造量从2023年的约50万增加到2025年的约800万,一旦伪造内容增长如此之快,它就不再是一次性的入侵,而是开始成为信息流中有意义的组成部分。真实和虚假之间的界限不再成立大多数高管仍然以二元方式思考在线叙事,认为它要么是虚假的,要么是真实的。但波利市场的推销,即任何人都可以在他们的平台上赢得大奖,最初是制造的,但仍然在真正的用户中获得了关注,一旦足够多的人看到它、相信它并采取行动,它就产生了完全真实的后果。最近的研究发现,人类只能区分人工智能生成的内容和真实内容的51%,接近抛硬币的概率,这意味着对于大多数人,在他们的信息流中看到某些东西就足以让他们相信它。波利市场将人为混乱转化为交易费。将同样的机制指向选举或任何有争议的公共问题,人工智能使得这种操纵在规模上很容易运行,赌注从失去收入转变为公众信任谁以及如何投票。为什么通常的监控工具会错过这一点大多数声誉监控都是为文本优先的互联网而构建的,监控提及、关键词和标签,但现在的认知是在短视频和决定内容可见性的推荐系统中形成的。为扫描字幕和评论线程而构建的工具从未被设计为阅读语气、视觉背景或屏幕上的人物可信度,这些信息现在都不是可选的。故事本身就是在视频中讲述的。人工智能视频生成已经足够好,足够快,几乎可以在没有工作室或制作预算的情况下生成任何令人信服的视频片段。运行此类活动的人已经知道不要标记品牌或使用可搜索的语言,这意味着实际承载叙事、语气、创作者可信度、社区反应的信号将被设计为对基于关键词的系统不可见。旧的在事后调查、追踪纸质痕迹的方式(就像华尔街日报对波利市场的做法一样)也不会扩大规模,因为这种重建依赖于人类在第一时间留下痕迹。去掉人类,就没有痕迹可以追踪,这就是为什么检测需要在模式形成时监视,而不是在欺诈已经传播后重建。波利市场被抓住是因为它仍然需要人没有人应该对一家公司制造自己的炒作感到惊讶。这是一个标准的虚假信息剧本,已经使用多年,波利市场被抓住是因为它的剧本仍然需要人,留下了一条记者可以追踪到源头的痕迹。这种活动的下一个版本将不再需要任何这些。制造共识的成本一旦接近于零,区分真实和制造的能力就不再是一种好用的功能,而是每个下游决策的基础,包括谁值得信任,什么值得相信,以及如何应对。