Rishab Mehra, 首席技术官和 Pinnacle 联合创始人 Rishab Mehra 首席技术官和 Pinnacle 联合创始人

语言模型的真实危险：AI驱动的诈骗

想象一下这样的场景：你正在工作，专注于一个紧迫的截止日期，这时你接到一个来自你母亲电话号码的电话。电话那头的声音无疑是她的，平静而充满爱意，但带有一丝不寻常的急迫感。她告诉你，她在巴黎遇到了严重的麻烦，需要你立即提供经济帮助来解决问题。你知道她在巴黎，而且她提供的细节，包括酒店的名字，使得这个电话更加令人信服。没有丝毫犹豫，你转账了钱，结果后来发现你的母亲从未打过那个电话；那是一个先进的AI系统，完美地模仿了她的声音并编造了一个详细的场景。当你意识到发生了什么时，脊背发凉。这种情景，曾经纯粹是科幻小说，现在已经成为现实。像大型语言模型（LLM）这样的AI技术的出现带来了令人难以置信的进步。然而，一个重大的威胁正在逼近：AI驱动的诈骗。由人工智能驱动的复杂诈骗的潜力是一个崭新的威胁，出现在技术进步的前沿。虽然电话诈骗自电话发明以来就一直是一个问题，但大型语言模型（LLM）被集成到数字通信的每个方面，这大大提高了赌注。随着我们拥抱AI的潜力，强化我们对这些日益复杂的威胁的防御也是至关重要的。电话诈骗的当前格局多年来，犯罪者一直试图欺骗毫无防备的个人，诱使他们转账或泄露敏感信息。然而，尽管电话诈骗很普遍，但这些诈骗中有很多相对简单，依赖于人工朗读脚本的操作员。然而，即使有了这个限制，电话诈骗仍然是一个非常赚钱的犯罪企业。根据美国联邦贸易委员会的数据，2022年，美国人因诈骗损失了超过88亿美元，其中相当一部分归因于电话诈骗。这意味着，即使在当前的、不太先进的形式下，这些诈骗策略仍然可以欺骗许多容易受骗的人。那么，当它们演变时会发生什么？AI驱动的诈骗未来电话诈骗的格局即将因几个关键技术的出现而发生戏剧性的转变：大型语言模型（LLM）这些AI系统可以生成类似人类的文本，并进行自然对话。当应用于诈骗时，LLM可以创建非常令人信服和适应性的脚本，使潜在受害者更难识别诈骗。检索增强生成（RAG）该技术允许LLM系统实时访问和利用大量信息。诈骗者可以根据一个人的公开信息（例如社交账户）建立个人资料。他们还可以使用社会工程技术对朋友和家人进行操纵，以收集更深入的信息。这将使他们能够获取有关目标的身份、工作信息或最近活动的信息。然后，他们可以使用RAG为LLM提供所需的上下文，使他们的方法看起来非常个性化和合法。合成音频生成像Resemble AI和Lyrebird这样的平台正在创造高度逼真的AI生成的声音。这些技术能够产生个性化的、类似人类的音频，可以应用于各种应用，包括虚拟助手、自动客户服务和内容创作。像ElevenLabs这样的公司正在进一步推动这一领域的边界，允许用户创建可以非常接近复制其自身声音的合成声音，从而在数字交互中实现新的个性化和参与水平。合成视频生成像Synthesia这样的公司已经展示了使用AI生成的虚拟主持人创建逼真视频内容的潜力。在未来几年内，这项技术可能会使诈骗者能够冒充朋友或家人，或者为视频通话创建完全虚构的人物，引入以前无法实现的物理现实感。AI唇部同步像Sync Labs这样的初创公司正在开发先进的唇部同步技术，可以将生成的音频与视频片段匹配。这项技术可以用于创建历史人物、政客、名人和几乎所有其他人的高度逼真的深度伪造视频，从而进一步模糊现实和欺骗之间的界限。这些技术的组合画出了一个令人担忧的图景。想象一下，一次诈骗电话，AI可以实时适应对话，拥有关于目标的个人信息，并且可以转入一个视频通话，视频中的人物嘴唇的运动与生成的声音完美同步。欺骗的潜力确实巨大。增强安全措施的必要性随着这些AI驱动的诈骗变得更加复杂，验证身份和真实性的方法必须与AI的进步保持同步。需要监管和技术进步来保持在线世界的安全。监管改进更严格的数据隐私法：实施更严格的数据隐私法将限制诈骗者可以利用的个人信息量。这些法律可以包括更严格的数据收集要求、增强的用户同意协议和更严厉的数据泄露处罚。最强大的AI模型的私有云：法规可以要求最强大的AI模型托管在私有、安全的云基础设施上，而不是公开提供。这将限制对最先进技术的访问，使得恶意行为者更难使用它们进行诈骗。（例如：https://security.apple.com/blog/private-cloud-compute/）国际合作的AI监管：鉴于AI技术的全球性质，国际合作的AI监管标准可能是有益的。建立一个全球机构来创建和执行国际AI监管标准可以帮助打击跨境AI相关犯罪。公众意识宣传活动：政府和监管机构应投资公众意识宣传活动，以教育公民关于AI诈骗的潜在风险以及如何保护自己。意识是赋予个人和组织实施必要安全措施的第一步的关键因素。当前的AI监管不足以防止诈骗，未来监管的挑战因许多强大的技术的开源性质而变得更加复杂。这种开放性允许任何人访问和修改这些技术以满足自己的目的。因此，除了更强的监管外，还需要在安全技术方面取得进步。合成数据检测合成音频检测：随着诈骗者使用AI，我们的防御也必须使用AI。像Pindrop这样的公司正在开发AI驱动的系统，可以实时在电话通话中检测合成音频。他们的技术分析电话通话音频的1300多个特征，以确定它是否来自真人还是复杂的AI系统。合成视频检测：合成视频检测：就像音频可以被AI操纵一样，视频也可以被操纵，构成深度伪造和其他合成视频内容的重大威胁。像Deepware这样的公司正在开发检测合成视频的技术。Deepware的平台使用先进的机器学习算法分析视频数据中的微妙不一致性，例如非自然的运动、不规则的照明和像素异常，这些在AI生成的内容中经常存在。通过识别这些差异，Deepware的技术可以确定视频是否真实或被操纵，有助于保护个人和组织免受复杂的视频基于诈骗和虚假信息宣传活动的欺骗。身份验证改进正在开发各种方法来确认用户的身份，未来几年内，这些方法中的一种或多种将成为主流，以使互联网更安全。远程对话的双步骤身份验证：双因素身份验证（2FA）仍然是安全通信的基本组成部分。按照这种方法，每个电话或电子邮件都会触发一条带有唯一验证码的短信，类似于当前的电子邮件注册。虽然2FA在基本身份验证方面是有效的，但其局限性意味着它不能在所有情况下依赖，需要开发更先进的方法来确保全面互联网安全，这些方法可以在后台工作。基于行为的多因素身份验证：除了在通话开始时验证身份外，未来安全系统可能会在整个交互过程中持续分析行为。像BioCatch这样的公司使用行为生物识别技术创建基于用户与设备交互方式的用户配置文件。这项技术可以检测可能表明诈骗者正在使用被盗信息的行为异常，即使他们通过了初始身份验证检查。基于生物识别的身份验证：像Onfido这样的公司正在生物识别验证技术的前沿，提供AI驱动的身份验证工具，可以检测复杂的深度伪造和其他形式的身份欺诈。他们的系统使用文件验证和生物识别分析的组合来确保通话或视频聊天的另一端的人确实是他们声称的那个人。高级知识基于身份验证：在简单的安全问题之外，未来身份验证系统可能会纳入基于用户的数字足迹和最近活动的动态、AI生成的问题。例如，Prove是一家专门从事电话中心身份识别的公司，正在开发利用电话智能和行为分析来验证身份的解决方案。他们的技术可以分析一个人使用设备的模式来创建一个独特的“身份签名”，这个签名对于诈骗者来说更难复制。基于区块链的身份验证身份验证：区块链技术提供了一种去中心化和防篡改的身份验证方法。像Civic这样的公司正在开创基于区块链的身份验证系统的先河，允许用户控制自己的个人信息，同时提供安全的身份验证。这些系统创建了一个可验证的、不可篡改的个人身份记录，对于管理高风险交易非常有用。结论LLM、RAG、合成音频生成、合成视频生成和唇部同步技术的融合是一把双刃剑。虽然这些进步具有巨大的积极应用潜力，但它们也带来了巨大的风险，当被诈骗者利用时。安全专家和网络犯罪者之间的这一持续的军备竞赛凸显了在数字安全领域持续创新和警惕的必要性。我们只能通过承认和准备这些风险来利用这些强大工具的好处，同时减轻它们可能造成的危害。全面监管、关于这些新型诈骗的教育、投资尖端安全措施，以及每当我们与在线或电话中的未知实体互动时的健康怀疑态度，将是我们在这个新格局中导航的必备条件。