彼得·加拉汉博士，Mindgard的CEO、CTO和联合创始人 – 采访系列

彼得·加拉汉博士是Mindgard的CEO、CTO和联合创始人，Mindgard是人工智能安全测试领域的领导者。Mindgard成立于兰卡斯特大学，并得到了最前沿的研究支持，Mindgard使组织能够保护其人工智能系统免受传统应用程序安全工具无法解决的新威胁。作为兰卡斯特大学的计算机科学教授，彼得是人工智能安全领域的国际知名专家。他一生致力于开发先进技术以应对人工智能面临的日益增长的威胁。凭借1100万欧元的研究资金和60多篇发表的科学论文，他的贡献既有科学创新，又有实用解决方案。

您能分享Mindgard成立的故事吗？是什么激发您从学术界转向创办网络安全初创公司的决定？

Mindgard诞生于将学术见解转化为现实世界影响力的愿望。作为计算机系统、人工智能安全和机器学习专业的教授，我一直被驱使去追求能够对人们的生活产生重大影响的科学。自2014年以来，我一直在研究人工智能和机器学习，认识到它们对社会的变革潜力和所带来的巨大风险，从国家攻击到选举干预。现有的工具无法解决这些挑战，因此我带领一支科学家和工程师团队开发了人工智能安全的创新方法。Mindgard作为一家研究驱动的公司出现，致力于构建保护人工智能威胁的切实可行的解决方案，将最前沿的研究与行业应用的承诺相结合。

您在从大学中创办公司时面临了哪些挑战，您是如何克服这些挑战的？

我们于2022年5月正式成立了Mindgard，虽然兰卡斯特大学提供了很好的支持，但从大学中创办公司需要的不仅仅是研究技能。这意味着需要筹集资金，完善价值主张，并使技术准备好进行演示——所有这些都需要在担任教授的同时平衡。学者们被训练成研究人员和追求新科学的人。创业公司的成功不仅仅在于开创性的技术，还在于该技术如何解决当前或未来的商业需求，并提供能够吸引和留住用户和客户的价值。

Mindgard的核心产品是多年研发的结果。您能谈谈早期研究如何演变成商业解决方案吗？

从研究到商业解决方案的过程是故意的和迭代的。它始于十多年前，我的兰卡斯特大学团队探索人工智能和机器学习安全的基本挑战。我们发现传统安全工具（包括代码扫描和防火墙）无法解决的AI系统中的漏洞。

随着时间的推移，我们的重点从研究探索转向构建原型并在生产场景中进行测试。与行业合作伙伴合作，我们完善了我们的方法，确保它解决了实际需求。由于许多人工智能产品在没有充分的安全测试或保证的情况下推出，组织容易受到攻击——正如Gartner发现，29%的部署人工智能系统的企业报告了安全漏洞，只有10%的内部审计员对人工智能风险有可见性——我认为时机成熟，可以将解决方案商业化。

自2022年成立以来，Mindgard的旅程中有哪些关键里程碑？

2023年9月，我们获得了300万英镑的资金，由IQ Capital和Lakestar领投，以加速Mindgard解决方案的开发。我们已经建立了一个由前Snyk、Veracode和Twilio员工组成的优秀领导团队，以推动公司进入其旅程的下一个阶段。我们为被评为今年Infosecurity Europe的英国最具创新性的网络安全中小企业而感到自豪。今天，我们拥有15名全职员工，10名博士研究员（还有更多正在积极招聘），并正在积极招聘安全分析师和工程师加入团队。展望未来，我们计划扩大在美国的存在，波士顿投资者的新一轮资金为这种增长提供了坚实的基础。

随着企业越来越多地采用人工智能，您认为他们今天面临的最紧迫的网络安全威胁是什么？

许多组织低估了与人工智能相关的网络安全风险。对于非专家来说，理解人工智能的工作原理很困难，更不用说其对业务的安全影响了。我花了大量时间向即使是技术专家也解释人工智能安全，即使他们是基础设施安全和数据保护的专家。归根结底，人工智能本质上仍然是运行在硬件上的软件和数据。但是，它引入了与传统系统不同的独特漏洞，人工智能行为的威胁更高、更难以测试。

您已经发现了Microsoft的AI内容过滤器等系统中的漏洞。这些发现如何影响您平台的开发？

我们团队发现的Microsoft Azure AI内容安全服务中的漏洞更多地是展示了我们平台的能力，而不是影响其开发。

Azure AI内容安全是一项旨在通过在文本、图像和视频中调节有害内容来保护AI应用程序的服务。我们发现的漏洞影响了AI文本调节（阻止有害内容，如仇恨言论、性内容等）和提示盾（防止越狱和提示注入）。如果不加以控制，这个漏洞可以被利用来发起更广泛的攻击，破坏基于GenAI的系统的信任，并损害依赖AI进行决策和信息处理的应用程序的完整性。

截至2024年10月，Microsoft已经实施了更强的缓解措施来解决这些问题。然而，我们继续倡导在部署AI防护时提高警惕。额外的措施，例如使用其他调节工具或使用不易受到有害内容和越狱影响的LLM，对于确保强大的AI安全至关重要。

您能解释一下AI系统中的“越狱”和“提示操纵”的重要性，以及为什么它们构成独特的挑战吗？

越狱是一种提示注入漏洞，恶意行为者可以利用LLM按照违背其预期用途的指令行事。LLM处理的输入包含应用程序设计师的现有指令和不受信任的用户输入，使得可能发生攻击，即不受信任的用户输入覆盖现有指令。这与SQL注入漏洞允许不受信任的用户输入更改数据库查询类似。然而，问题在于这些风险只能在运行时检测到，因为LLM的代码本质上是一个巨大的非人类可读格式的数字矩阵。

例如，Mindgard的研究团队最近探索了一种复杂的越狱攻击。它包含在音频输入中嵌入秘密音频消息，这些消息对人类听众来说是不可检测的，但被LLM识别和执行。每个嵌入的消息都包含一个定制的越狱命令和一个针对特定场景的设计问题。因此，在一个医疗聊天机器人场景中，隐藏的消息可能会提示聊天机器人提供危险的指令，例如如何合成甲基苯丙胺，这可能会造成严重的声誉损害，如果聊天机器人的回应被认真对待的话。

Mindgard的平台识别出这些越狱和AI模型及企业在应用程序中实施它们的方式中的许多其他安全漏洞，因此安全领导者可以确保他们的AI驱动应用程序在设计时就是安全的，并且保持安全。

Mindgard的平台如何解决不同类型的AI模型（从LLM到多模态系统）中的漏洞？

我们的平台解决了人工智能中的广泛漏洞，包括提示注入、越狱、提取（窃取模型）、逆向工程（逆向工程数据）、数据泄露和规避（绕过检测）等。所有AI模型类型（无论是LLM还是多模态）都表现出易受这些风险的特征——诀窍在于发现哪些具体的技术会触发这些漏洞并产生安全问题。在Mindgard，我们有一个大型的研发团队，专门从事发现和将新攻击类型集成到我们的平台中，以便用户可以保持对最新风险的更新。

红队测试在保护AI系统中的作用是什么，您的平台如何在这一领域创新？

红队测试是AI安全的关键组成部分。通过不断模拟对抗性攻击，红队测试可以识别AI系统中的漏洞，帮助组织减轻风险并加速AI的采用。尽管红队测试很重要，但AI领域的红队测试缺乏标准化，导致威胁评估和缓解策略不一致。这使得客观比较不同系统的安全性或有效跟踪威胁变得困难。

为了解决这个问题，我们推出了MITRE ATLAS™ Adviser，这是一项功能，旨在标准化AI红队测试报告并简化系统化的红队测试实践。这使企业能够更好地管理当前的风险，同时为AI能力的演变做好准备。凭借我们研发团队开发的先进攻击的综合库，Mindgard支持多模态AI红队测试，涵盖传统和GenAI模型。我们的平台解决了对隐私、完整性、滥用和可用性的关键风险，确保企业能够有效地保护其AI系统。

您如何看待您的产品融入企业的大规模AI部署的MLOps管道中？

Mindgard的设计使其能够无缝地集成到现有的CI/CD自动化和所有SDLC阶段中，只需要模型集成的推理或API端点。我们的解决方案今天执行AI模型的动态应用程序安全测试（DAST-AI）。它使我们的客户能够在整个构建和购买生命周期中对所有AI进行持续的安全测试。对于企业来说，它被多个角色使用。安全团队使用它来快速获得可见性和响应来自开发人员构建和使用AI的风险，测试和评估AI防护和WAF解决方案，并评估定制AI模型和基线模型之间的风险。红队测试人员和安全分析师利用Mindgard来扩大他们的AI红队测试工作，而开发人员则从AI部署的集成持续测试中受益。

感谢您接受这次精彩的采访，希望了解更多的读者可以访问Mindgard。