思想领袖
高管冒充新时代将不再涉及高管
过去几年，品牌面临的最大数字威胁是高管冒充，通常通过伪造的电子邮件地址或冒名顶替的社交媒体账户进行。如今，我们面临的敌人更加复杂，也更加令人信服：人工智能代理。
由大型语言模型 (LLM) 驱动的自主代理的兴起，旨在在很少或根本不需要人工干预的情况下运行，它开启了新的可能性，与早期 web2 和移动应用时代的兴奋非常相似。
虽然真正的自主代理尚未完全从愿景变为现实， 专家警告 它们或许最早明年就能在企业网络中漫游。随之而来的兴奋和普及必然会落入不断调整的网络犯罪分子的眼中，他们将自主代理视为数字欺诈的新前沿。那么，当这些代理被冒充时会发生什么？或者更糟的是，当他们自己就是冒充者时会发生什么？
正如移动应用程序曾经面临大量旨在窃取登录凭证或安装恶意软件的假冒版本一样，人工智能代理现在也面临着类似的模仿浪潮。然而，这一次的风险将更难察觉，损害也可能更为广泛。
从冒充高管到欺骗代理
人工智能已经开辟了新的欺诈和欺骗途径，例如语音克隆骗局，只需几秒钟的音频就能重现高管的说话模式。最近，还有报道称存在实时深度伪造视频和语音模仿的证据。现在，想象一下一个自主代理，据称代表你的公司，与客户、投资者或合作伙伴互动。该代理可以嵌入网站、集成到聊天机器人中，甚至通过电子邮件进行交互，提供看似合理、专业但实际上完全欺诈的互动。
山寨代理商的前身可能在于“越狱”模型，威胁行为者通常通过即时注入或多轮技术操纵LLM，以产生有害或虚假的输出。但这仅仅是个开始。
根据 data PitchBook 数据显示，131.5 年人工智能公司融资金额达 2024 亿美元，占全球风险投资总额的三分之一以上。雄心勃勃的创始人、渴望成功的投资者和充满热情的政府推动着这场人工智能军备竞赛，这将迅速加速这项新兴技术的发展，而其合法用例也将继续被用于不法目的。
生成式人工智能已经并将继续推动此类代理的创建民主化。随着各大平台竞相整合这些代理，却几乎没有任何安全措施来验证其真实性。这为一种新的模仿打开了大门：不仅模仿人，也模仿软件。
给渴望品牌和好奇消费者敲响警钟
消费者和品牌方才刚刚开始理解信任代理商意味着什么。但信任是任何数字互动的关键，一旦信任破裂，后果可能不堪设想。
正如深度伪造视频和语音克隆所观察到的，虚假代理可用于：
- 以知名或值得信赖的品牌为幌子索取付款或敏感数据
- 通过社交媒体直接消息 (DM) 或付费广告将用户重定向到充满恶意软件的网站
- 削弱客户信心并造成大规模声誉损害
根据联邦贸易委员会最近的 报告据报告，仅在美国，冒充诈骗就造成了近 3 亿美元的损失——随着人工智能冒充变得更加无缝和可扩展，预计这一数字将急剧上升。
虚假代理的泛滥：广告、搜索和社交
尤其危险的是山寨代理商的分布方式。他们不需要自己的网站或域名就能获得关注。不法分子可以（而且确实）利用付费搜索结果和社交媒体平台来推广那些恶意仿冒的可信品牌、高管或产品。例如，谷歌上的一个赞助链接或 Instagram 上的一个推广帖子就足以将毫无戒心的用户引导到虚假的代理商或支持门户网站。
这种生态系统层面的风险，即不法分子劫持合法的数字资产以实施诈骗，需要一种新的网络安全理念。仅仅保护您的网络、云或员工凭证已远远不够。您品牌的威胁范围现在涵盖了客户与之互动的每个广告网络、搜索平台和第三方工具。
趁还来得及的时候采取行动
我们正在进入一个人类与代理之间的界限日益模糊的世界。威胁不再仅仅是对真人的冒充（由于人工智能工具的普及，冒充真人的情况目前正呈指数级增长），而是对数字角色的冒充。
那么，企业该如何做好准备呢？
- 绘制您品牌的数字形象： 了解您的客户与您的公司和代理商进行互动的地方 - 无论是在您的网站上、通过 API 还是通过第三方 - 并主动监控这些入口点以防出现欺骗企图。
- 监控新兴代理生态系统： 随着开放代理市场和平台（如 Hugging Face Spaces）越来越受欢迎，请警惕其他地方出现的类似或分叉的工具。
- 缩短检测时间（TTD）和补救时间（TTR）： 使用能够快速识别和删除模仿者（尤其是那些滥用付费广告或社交平台的模仿者）的解决方案对于限制损害至关重要。
- 教育您的用户： 提升客服人员体验的透明度。您的用户应该了解在哪里以及如何与您的工具进行交互，以及如何发现危险信号。
- 建立代理真实性协议： 致力于加密或基于元数据的验证，以确认代理的来源和合法性。
解决方案在于保护人工智能代理生态系统，而不是回避它。正如我们在过去几十年学会了验证域名、验证电子邮件和审查移动应用程序一样，现在我们需要将同样的警惕扩展到人工智能代理的世界。如果我们现在不防范代理冒充，我们可能很快就会发现自己正在与一个为另一方工作的、看起来熟悉的助理交谈。
