Patronus AI联合创始人兼CTO Rebecca Qian – 采访系列

Rebecca Qian 是Patronus AI的联合创始人兼CTO，在NLP、embodied AI和基础设施交叉领域拥有近十年的生产机器学习系统建设经验。在Facebook AI，她在研究和部署方面工作过，包括训练FairBERTa（一个具有公平性目标的语言模型）、开发人口统计扰动模型重写维基百科内容以及领导语义解析用于机器人助手。她还为embodied代理人建立了人机交互管道，并创建了基础设施工具，如Continuous Contrast Set Mining，该工具被Facebook的基础设施团队采用并在ICSE上展示。她为包括FacebookResearch/fairo和Droidlet语义解析笔记本在内的开源项目做出了贡献。作为创始人，她现在专注于可扩展的监督、强化学习和部署安全、环境感知的AI代理人。

Patronus AI 是一家总部位于旧金山的公司，提供一个研究驱动的平台，用于评估、监控和优化大型语言模型（LLM）和AI代理人，以帮助开发人员自信地交付可靠的生成AI产品。该平台提供自动评估工具、基准测试、分析、自定义数据集和特定于代理人的环境，用于识别性能问题，例如幻觉、安全风险或逻辑故障，从而使团队能够在实际使用场景中持续改进和排除AI系统故障。Patronus通过赋予他们评估模型行为、检测大规模错误和提高生产AI应用中的可靠性和性能来为企业客户和技术合作伙伴提供服务。

您在Facebook AI有着深厚的背景，包括FairBERTa和人机交互管道的工作。这种经验如何塑造您对现实世界AI部署和安全性的看法？

在Meta AI工作使我专注于使模型在实践中可靠，特别是在负责任的NLP方面。我曾从事公平性语言建模，例如训练LLM具有公平性目标，我亲眼见证了评估和解释模型输出的困难。这塑造了我对安全性的思考。如果您无法衡量和理解模型行为，很难在现实世界中自信地部署AI。

是什么动机让您从研究工程转向创业，联合创立Patronus AI，并且当时最紧迫需要解决的问题是什么？

评估成为AI领域的一个障碍。我在四月份离开Meta AI，与Anand一起创立Patronus，因为我亲眼见证了评估和解释AI输出的困难。一旦生成AI开始进入企业工作流程，就很明显这不再只是实验室问题。

我们一直听到企业的相同担忧。他们希望采用LLM，但无法可靠地测试、监控或了解故障模式，例如幻觉，特别是在法规行业，几乎没有容忍错误的空间。

因此，最初最紧迫的问题是建立一种自动化和扩展模型评估的方法，包括评分模型在实际场景中、生成对抗性测试用例和基准测试，使团队能够自信地部署，而不是依赖猜测。

Patronus最近推出了生成模拟器作为AI代理人的自适应环境。现有的评估或训练方法中存在哪些限制促使您朝这个方向发展？

我们一直看到AI代理人评估和实际性能之间的差距越来越大。传统基准测试衡量的是固定的能力，在特定时间点，而实际工作是动态的。任务会被中断，要求会在执行过程中改变，决定会在长时间内累积。代理人可能在静态测试中表现良好，但一旦部署就会表现糟糕。随着代理人的改进，它们也会使固定基准测试达到饱和，从而导致学习停滞。生成模拟器出现了，作为用活的环境取代静态测试的方法，这些环境会随着代理人的学习而适应。

您如何看待生成模拟器改变AI代理人训练和评估的方式，相比静态基准测试或固定数据集？

这种转变是基准测试不再是测试，而是环境。与其呈现一组固定的问题，模拟器会生成任务、周围条件和评估逻辑。随着代理人的行为和改进，环境会适应。这消除了传统的训练和评估之间的界限。您不再问代理人是否通过基准测试，而是问它是否可以在动态系统中可靠地运行。

从技术角度来看，生成模拟器的核心架构思想是什么，特别是任务生成、环境动态和奖励结构？

从高层次来看，生成模拟器将强化学习与自适应环境生成相结合。模拟器可以创建新任务、动态更新世界规则并实时评估代理人的行为。一个关键组件是我们称之为课程调整器的内容，它分析代理人的行为并修改场景的难度和结构，以保持学习的效率。奖励结构被设计为可验证和特定于领域，这样代理人就会被引导向正确的行为，而不是表面上的捷径。

随着AI评估和代理工具领域变得越来越拥挤，什么最明显地区分了Patronus的方法？

我们的重点是生态有效性。我们设计的环境反映了真实的人类工作流程，包括中断、上下文切换、工具使用和多步骤推理。与其优化代理人以便在预定义测试中表现良好，我们专注于暴露在生产中重要的故障。模拟器评估行为随时间的变化，而不是仅仅评估输出的孤立值。

哪些类型的任务或故障模式最能从模拟器基于的评估中受益，相比传统测试？

长时间、多步骤的任务最能受益。即使每步骤的小错误率也会在复杂任务中累积成重大故障率，这是静态基准测试无法捕捉到的。模拟器基于的评估使得能够揭示与长时间保持在正确轨道、处理中断、协调工具使用和适应任务中途变化相关的故障成为可能。

环境基于的学习如何改变您对AI安全性的思考，并且生成模拟器是否引入了新的风险，例如奖励黑客攻击或出现故障模式？

环境基于的学习实际上使得许多安全问题更容易被检测到。奖励黑客攻击往往在静态环境中茁壮成长，在那里代理人可以利用固定的漏洞。在生成模拟器中，环境本身是一个移动的目标，这使得这些捷径更难维持。话虽如此，奖励和监督的仔细设计仍然是必要的。环境的优势在于，它们为您提供了比静态基准测试更大的控制力和对代理人行为的可见性。

展望五年，Patronus AI在技术雄心和行业影响力方面会如何发展？

我们相信环境将成为AI的基础设施。随着代理人从回答问题转向执行实际工作，他们所学习的环境将决定他们变得多么有能力和可靠。我们的长期雄心是将现实世界的工作流转化为结构化的环境，这些环境可以让代理人持续学习。传统的评估和训练之间的分离正在消失，我们认为这种转变将定义下一代AI系统。

感谢这次精彩的采访，希望了解更多的读者可以访问Patronus AI。