Connect with us

思想领袖

语言模型的真正危险:AI驱动的骗局

mm

想象一下这种情况:你正在工作,专注于一个紧迫的截止日期,这时你接到一个来自你母亲电话号码的电话。电话那头的声音无疑是她的,平静而充满爱,但带有一丝不寻常的急迫感。她告诉你,她在巴黎度假时遇到了严重的麻烦,需要你立即提供财务帮助来解决问题。你知道她在巴黎,而且她提供的细节,包括酒店的名字,使得这个电话更加令人信服。没有丝毫犹豫,你转账了钱,结果后来发现你的母亲从未打过那个电话;这是一个先进的AI系统,完美地模仿了她的声音和编造了一个详细的场景。当你意识到发生了什么时,脊背发凉。

这种情景,曾经纯粹是科幻小说,现在已经成为现实。像大型语言模型(LLMs)这样的AI技术的出现带来了令人难以置信的进步。然而,一个重大的威胁正在逼近:AI驱动的骗局。由人工智能驱动的复杂骗局的潜力是一个崭新的威胁,出现在技术进步的horizon上。虽然电话骗局自电话发明以来就一直是一个问题,但大型语言模型(LLMs)被集成到数字通信的每个方面,使得赌注大幅增加。随着我们拥抱AI的潜力,同样重要的是我们也要加强对这些日益复杂的威胁的防御。

电话骗局的当前格局

犯罪分子多年来一直试图欺骗毫无戒备的个人转账钱或泄露敏感信息,尽管电话骗局很普遍,但其中许多骗局相对简单,依赖于人工脚本阅读操作员。然而,即使有这些限制,电话骗局仍然是一个非常赚钱的犯罪企业。

根据美国联邦贸易委员会的数据,2022年 alone,美国人因诈骗损失超过88亿美元,其中很大一部分归因于电话骗局,这意味着即使在当前的、不太先进的形式下,许多这些策略仍然可以欺骗弱势个人。那么,当它们演变时会发生什么?

骗局的AI驱动未来

电话骗局的格局即将因几项关键技术的出现而发生戏剧性的转变:

大型语言模型(LLMs)

这些AI系统可以生成类似人类的文本并参与自然对话。当应用于诈骗时,LLMs可以创建非常令人信服和适应性的脚本,使潜在受害者更难识别诈骗。

检索增强生成(RAG)

该技术允许LLM系统访问和利用大量信息。诈骗者可以根据公开可用的信息(如社交账户)创建一个人的个人资料。他们还可以使用社会工程技术对朋友和家人进行欺骗,以收集更深入的信息。这将使他们能够访问有关目标的身份、工作信息或最近活动的信息。然后,他们可以使用RAG为LLMs提供上下文,使他们的方法看起来非常个性化和合法。

合成音频生成

Resemble AI和Lyrebird这样的平台正在创造高度逼真的AI生成的声音。这些技术能够产生个性化的人类音频,可以应用于从虚拟助手到自动客户服务和内容创作的各种应用。像ElevenLabs这样的公司正在进一步推动边界,允许用户创建可以紧密复制他们自己声音的合成声音,从而实现数字交互中的新水平的个性化和参与。

合成视频生成

Synthesia这样的公司已经展示了使用AI生成逼真的视频内容的潜力。在未来几年,这项技术可能会使诈骗者能够冒充朋友或家人,或者创建完全虚构的人物用于视频通话,引入以前不可能的物理现实感。

AI唇部同步

Sync Labs这样的初创公司正在开发先进的唇部同步技术,可以将生成的音频与视频镜头匹配。这项技术可以用来创建历史人物、政客、名人和几乎所有其他人的令人信服的深度伪造视频,从而进一步模糊现实和欺骗之间的界限。

这些技术的组合描绘出一个令人担忧的图景。想象一下一个诈骗电话,AI可以实时适应对话,使用目标的个人信息,并且可以转到一个视频通话,视频中的人物嘴唇的运动与生成的声音完美同步。欺骗的潜力确实巨大。

加强安全措施的必要性

随着这些AI驱动的骗局变得更加复杂,验证身份和真实性的方法必须与AI的进步保持同步。将需要监管和技术进步来保持网络世界的安全。

监管改进

更严格的数据隐私法:实施更严格的数据隐私法将限制诈骗者可以利用的个人信息量。这些法律可能包括更严格的数据收集要求、增强的用户同意协议和更严厉的数据泄露处罚。

最强大的AI模型的私有云:法规可能会要求最强大的AI模型托管在私有、安全的云基础设施上,而不是公开提供。这将限制对最先进技术的访问,使得恶意行为者更难使用它们进行诈骗。(例如:https://security.apple.com/blog/private-cloud-compute/

国际合作的AI监管:鉴于AI技术的全球性,国际合作的监管标准可能是有益的。建立一个全球机构负责创建和执行国际AI监管可能有助于打击跨境AI相关犯罪。

公共意识宣传活动:政府和监管机构应投资公共意识宣传活动,以教育公民了解AI骗局的潜在风险以及如何保护自己。意识是实施必要的安全措施的关键第一步。

当前的AI监管不足以防止骗局,未来监管的挑战因许多强大的技术的开源性质而更加复杂。这使得任何人都可以访问和修改这些技术以满足自己的目的。因此,除了更强的监管外,还需要在安全技术方面取得进步。

合成数据检测

合成音频检测:随着诈骗者使用AI,我们的防御也必须使用AI。像Pindrop这样的公司正在开发AI驱动的系统,可以实时检测电话中的合成音频。他们的技术分析电话音频的1300多个特征,以确定它是否来自真人或复杂的AI系统。

合成视频检测:合成视频检测:就像音频可以被AI操纵一样,视频也可以被操纵,构成深度伪造和其他合成视频内容的重大威胁。像Deepware这样的公司正在开发检测合成视频的技术。Deepware的平台使用先进的机器学习算法来分析视频数据中存在于AI生成内容中的微小不一致性,例如不自然的运动、不规则的照明和像素异常。通过识别这些差异,Deepware的技术可以确定视频是否真实或已被操纵,从而帮助个人和组织免受复杂的视频骗局和虚假信息宣传活动的欺骗。

身份验证改进

正在开发各种方法来确认用户的身份,未来几年将会有一个或多个成为主流,以使互联网更加安全。

远程对话的双重身份验证:双因素身份验证(2FA)仍然是安全通信的基本组成部分。按照这种方法,每个电话或电子邮件都会触发一个带有唯一验证码的短信,类似于当前的电子邮件注册。虽然2FA对于基本身份验证是有效的,但其局限性意味着它不能在所有情况下都被依赖,因此需要开发更先进的方法来确保全面互联网安全,可以在后台工作。

基于行为的多因素身份验证:除了验证身份验证之外,未来安全系统可能会在整个交互过程中不断分析行为。像BioCatch这样的公司使用行为生物识别技术创建基于用户与设备交互方式的用户个人资料。该技术可以检测异常行为,这可能表明诈骗者正在使用被盗信息,即使他们通过了初始身份验证检查。

基于生物特征的身份验证:像Onfido这样的公司正在生物识别验证技术的前沿,提供AI驱动的身份验证工具,可以检测复杂的深度伪造和其他形式的身份盗窃。他们的系统使用文档验证和生物识别分析的组合来确保电话或视频聊天的另一端的人确实是他们声称的那样。

高级知识基于身份验证:超越简单的安全问题,未来身份验证系统可能会包含基于用户的数字足迹和最近活动的动态、AI生成的问题。例如,Prove,一家专门从事电话中心身份验证的公司,正在开发利用电话智能和行为分析来验证身份的解决方案。他们的技术可以分析一个人使用设备的模式,以创建一个难以被骗子复制的独特“身份签名”。

基于区块链的身份验证身份验证:区块链技术提供了一种去中心化和防篡改的身份验证方法。像Civic这样的公司正在开创基于区块链的身份验证系统,允许用户控制自己的个人信息,同时提供安全的身份验证。这些系统创建了一个可验证的、不可篡改的个人身份记录,对于管理高风险交易非常有用。

结论

LLMs、RAG、合成音频生成、合成视频生成和唇部同步技术的融合是一把双刃剑。虽然这些进步具有巨大的积极应用潜力,但它们也带来了重大风险,当被诈骗者利用时。

安全专家和网络犯罪者之间的这场持续的军备竞赛凸显了在数字安全领域不断创新和保持警惕的必要性。我们只能通过承认和准备这些风险来利用这些强大的工具的好处,同时减轻其可能造成的危害。

全面监管、对这些新型骗局的教育、投资尖端的安全措施,以及最重要的是,每个人在网上或通过电话与未知实体交互时都应保持健康的怀疑态度,这些都是在这个新环境中导航的必备条件。

Rishab Mehra 是 Pinnacle 的首席技术官和联合创始人,Pinnacle 是一家颠覆性的 AI 初创公司,专注于心理表现领域。凭借在计算机视觉和机器学习方面的深厚背景,Rishab 为人工智能领域带来了丰富的经验。

Rishab 的职业生涯包括在斯坦福大学(Stanford University)在著名 AI 专家 Fei-Fei Li 的指导下进行计算机视觉在医疗保健方面的广泛研究。他的工作已发表在 Nature 和 NeurIPS 等著名期刊上。在创立 Pinnacle 之前,Rishab 曾在 Apple 领导 Apple Intelligence 和 On-device Machine Learning 的特性开发,并在 Apple 提出超过 20 项专利。

作为斯坦福大学计算机科学荣誉学位的毕业生,Rishab 已经成功为 Pinnacle Intelligence 筹集了种子资金。