乔伊·梅洛（Joey Melo）是一名道德黑客和专业渗透测试员，目前担任Pangea Labs的首位AI红队专家。他在Pangea的2025年提示注入挑战中脱颖而出，成为唯一一个逃脱所有三个虚拟房间的参赛者。乔伊拥有多个进攻性安全认证，包括BSCP、OSCP和OSCE3，并最近在HackAPrompt 2.0竞赛中实现了100%的完成率，成功地突破了多个模型的39个AI安全挑战。他的工作处于对抗性测试和AI安全的交叉点，推动着当前模型的边界。
一种新的社会工程攻击一种新的网络攻击类型正在利用人工智能系统对法律语言和正式权威的学习尊重。当人工智能遇到类似版权声明或服务条款的文本时，它往往会遵循指令，而不是检查潜在威胁。在 Pangea Labs，我们对 12 个领先的生成性人工智能模型进行了结构化的红队演练，包括 OpenAI 的 GPT-4o、Google 的 Gemini、Meta 的 Llama 3 和 xAI 的 Grok，以测试一个简单的问题：我们能否通过用听起来合法的法律免责声明包装恶意软件来欺骗这些系统？答案，不幸的是，是肯定的。在测试的模型中，超过一半的模型在遇到模仿法律声明的提示时会触发绕过安全措施的行为。 这种我们称为 “LegalPwn” 的漏洞 揭示了一个更深层次的漏洞：当模型遇到可信格式（如版权警告或服务条款）时，它们往往会抑制审查，而倾向于遵守。随着法律听起来的提示成为攻击者的工具，企业需要重新思考什么是 “可信内容” 在 LLM 中。我们发现的内容：可信语言隐藏恶意意图我们将反向 shell有效载荷嵌入到各种法律文本格式中：保密协议、版权声明、许可限制和服务条款。在多个模型中，这些提示会导致系统忽略或甚至积极协助执行恶意代码。例如：...
