访谈

Propensity Labs 联合创始人兼首席执行官 Rahul Nambiar——访谈系列

Antoine Tardif
将 Unite.AI 添加到您在 Google 上的首选来源
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
要点将提示词调整为适配更便宜的模型,使其以7%的成本达到与高端模型相当的效果。
查看更多
  • 将提示词调整为适配更便宜的模型,使其以7%的成本达到与高端模型相当的效果。
  • 更便宜的模型往往因可修复的行为模式而失败,而非因为原始能力不足。
  • 团队应衡量每个成功完成任务所需的成本,而不是仅衡量每个token的成本。

Rahul Nambiar 是 Propensity Labs 的联合创始人兼首席执行官。他此前在 AWS 构建大规模基础设施,随后加入 Meta,负责利用机器学习分类技术构建艾字节级的用户数据清单。如今,他的工作重点是了解 AI 模型的行为,并将模型路由与指令适配结合起来,以提升智能体工作流的成本效益和可靠性。

Propensity Labs 开发的系统可帮助团队为特定工作负载选择并调度 AI 模型。该公司的方法结合了对模型行为的评估、自动化提示词适配以及模型间路由,旨在帮助用户更充分地利用现有模型,而不必成为每种模型的专家。

您的职业生涯从 Meta 延伸至 AWS,如今您又担任 Propensity Labs 的首席执行官;在 Meta 时,您曾负责一个艾字节级数据清单项目中的隐私技术工作。这段技术背景如何影响您对当前 AI 模型局限性的看法,以及对专门化指令路由潜力的判断?

我最初其实是在 AWS 工作,之后才去了 Meta。构建大型系统让我学到一点:与其把底层组件当作可以互换的黑箱,不如了解并优化它们的行为,这往往能带来巨大的提升。AI 模型也是如此。我们发现,即使是能力很强的模型,也有一些可以理解并加以应对的行为特点;这样做往往能显著提升性能并降低成本,效果之大常常出人意料。

您在最近的一项实验中展示了,经过路由调度的小型模型以低得多的成本胜过了高端模型。在基准测试中实施这类模型路由,与在生产环境中实施相比,主要的工程难点有哪些?

通过针对 Luna 及其弱点调整提示词,我们让它在 Sierra 的复杂 Tau3 智能体基准测试中,以 Sol 7% 的成本达到与 Sol 相当的表现。通过在 Luna(经适配)和 Sol 之间进行路由,我们以 Astra 16% 的成本达到了与 Astra 相当的表现。

我们的一项重要发现是,路由和提示词适配都必须针对具体工作负载进行。基准测试提供了规范的环境和评分器,可用于研究模型在特定任务上的表现,并评估其完成得如何。这些信息有助于判断应如何针对模型调整提示词,以及何时应将请求路由到哪个模型。

生产工作流并不会如此规整地打包好。你会有模型完成任务的运行记录,却没有可靠的方法判断它们是否真的成功,也不知道怎样才算表现良好。我们摸索出的做法是,利用现有的使用数据——无论是评测数据还是生产环境中的运行记录——重建一套评估方案,从而在相同工作负载下测试不同模型和适配方案。

有意思的是,路由和适配需要结合起来考虑。使用现有提示词时,较便宜的模型可能无法完成某项任务;但如果根据该模型的行为调整提示词,它就可能成功。这会改变你最初应该将请求路由到哪个模型的判断。

您提到要针对特定模型调整指令。您如何区分哪些指令具有普适性,哪些则必须根据特定模型架构的优势和弱点进行专门调整?

许多看似普适的指令,其实需要针对模型进行调整。举个简单的例子:单轮回复中的幻觉问题。我们研究了两种不同的模型:DeepSeek V4 Pro 和 GPT-6 Luna。它们都很容易在不知道答案时编造内容。训练过程中的某些因素让它们非常不愿意弃答并表示“我不知道”。两者的这种行为相似,但我们通过提示词缓解问题的方式却大不相同。

如果在提示词中加入许多不同版本的“说‘我不知道’没关系”,就能让 DeepSeek V4 Pro 的弃答率达到 Claude 模型的水平。同样的方法对 Luna 几乎没有效果。对 Luna 最有效的做法,是让答错承担代价。例如,告诉它“答错得 -90 分,答对只得 +10 分”,就能让它达到与其更大的兄弟模型 Sol 相同程度的弃答。行为相同,但要推动这两种模型改变这种行为,所需的杠杆却大不相同。要针对特定模型调整指令,你需要深入了解模型本身,以及它所部署于其中的工作流。

随着企业转向智能体工作流,您看到了哪些证据,表明在较便宜的专用模型之间进行路由,比等待一个能力不断增强的前沿模型包办一切更具持久性?

大约每周都会推出一个新的前沿模型。假设你现在为整个工作流选用了最大、最好的模型。几个月后,甚至几周后,很可能就会出现能够处理你工作流大部分内容、甚至全部内容的小型模型。同时,也很可能会出现更大型或更专用的模型,在你的工作流中表现得更好。如果你不切换模型,也不在不同模型之间进行路由,就会错失性能和成本方面的收益。

但要跟上这一切并不容易,人们不应该非得成为各种不同模型的专家。我们相信,可以通过确保你始终以最低成本获得适合自己工作负载、并能达到所需性能的最佳模型来提供帮助。有时,这意味着只在工作负载的某些部分使用当前能力最强的模型;另一些时候,则是调整工作负载的大部分内容,使其能够由成本低得多的模型处理。

管理一个将任务分配给多个模型的系统时,你们如何处理数据一致性和隐私问题,尤其是当这些任务涉及敏感信息时?

我们在用户和模型提供商之间充当一个中间层。用户可以选择想要使用的提供商,并使用自己的 API 密钥。我们会从这些提供商的模型中,为用户的工作负载或其中一部分挑选最合适的模型,调整其工作负载,再将其发送给相应的模型。我们只会使用客户选择分享的评测结果或追踪记录,也不会用他们的数据训练模型或保留这些数据。

你与 Mana Azarm 共同创立了 Propensity Labs。你们如何分配精力,分别专注于模型行为的研究,以及构建这类智能体工作流所需的实际系统工程?

我们的技能在这方面互补得很好。Mana 是我们的首席科学家,同时也是一名教授,她更专注于模型行为;我则主要负责系统工程。或者更准确地说,这是我们希望的分工方式。现实情况要复杂得多,我们最后往往各自去处理当下最主要的瓶颈。

对于目前在高端模型 API 调用上花费大量资金的首席技术官来说,在现有工作流程中测试模型路由和指令适配,有哪些最容易着手的切入点?

欢迎来找我们聊聊!不过说正经的,我会建议你直接试试在自己的具体工作负载上运行新一代的小型模型,看看它能处理哪些任务。我猜很多人还在使用上一代的大型模型,而模型进步得如此之快,他们可能还没意识到,最近已经推出了更小、更便宜、足以处理其工作负载的替代模型。

开发者对于在恰当约束或引导下,成本更低的模型能够做到什么,最常见的误解是什么?

最常见的误解是,认为成本更低的模型一旦出错,就只是能力不足。我认为,深入分析这类模型在工作流程中的失误方式和发生环节会很有帮助。其中一部分失误源于模型容易陷入某些模式;如果识别出这些模式并引导模型避免它们,模型或许就能在你的工作流程中成功完成任务。另一些失误则涉及成本较低的模型确实缺乏完成任务所需的基本能力,这种情况下就需要使用更大的模型。

你的工作涉及隐私、规模和成本的交汇领域。展望未来 12-18 个月的 AI 基础设施发展,你认为企业需求与当前工具生态所能提供的能力之间,最大的脱节在哪里?

通过与在生产环境中部署模型的从业者交流,我发现一种常见情绪是错失恐惧,而且在某种程度上,人们也因难以跟上不断推出的新模型及其日益增强的能力而感到疲惫。大多数技术都会随着时间推移变得更易于使用和部署。但大型语言模型却变得更难用了:可供选择的模型和设置种类繁多,包括温度、推理力度和缓存等。我认为,对于使用模型的团队而言,简化模型并将其抽象化很有价值,这样他们就能专注于希望模型帮他们完成什么,而不是如何实现。

技术团队开始尝试多模型路由时,应优先关注哪些指标,才能确保自己不是一味追求节省成本而牺牲可靠性?

我会从任务成功率、失败率、延迟,以及每项成功完成的任务所需成本着手。如果更便宜的模型更常失败,那么单看每个 token 的成本并没有多大意义;因此,你需要计算完成一项任务的全部成本,包括重试,以及为路由而调用的任何分类器或决策模型所产生的成本。

难点在于如何衡量可靠性。我们发现一个常见情况:团队在将智能体从一个模型迁移到另一个模型时遇到困难,于是连续几个月全力投入评测,之后发现切换模型的流程容易得多。我强烈建议尽早为你的工作流程建立完善的评测,并随着工作流程以及用户使用方式的变化及时更新。

感谢这次精彩的访谈。希望进一步了解模型路由、指令适配以及评估方法,从而打造更可靠、更具成本效益的 AI 工作流程的读者,可以访问 Propensity Labs。

安托万是一位富有远见的领导者,也是 Unite.AI 的创始合伙人。他怀着坚定的热情,致力于塑造和推动人工智能与机器人技术的未来。作为一名多次创业的企业家,他相信人工智能将像电力一样深刻地改变社会,并经常热情地谈论颠覆性技术和通用人工智能(AGI)的潜力。

作为一名未来学家,他致力于探索这些创新将如何塑造我们的世界。此外,他还是 Securities.io 的创始人。该平台专注于投资正在重新定义未来、重塑整个行业的前沿技术。