罗布·梅（Rob May），NeuroMetric 首席执行官兼联合创始人 – 采访系列

罗布·梅，NeuroMetric 首席执行官兼联合创始人，是一位经验丰富的企业家和投资者，拥有多年的从事云计算、人工智能初创公司和风险投资的经验，目前领导NeuroMetric AI，同时也是HalfCourt Ventures的管理总监，在那里他投资了100多家科技公司。除了运营和投资职责之外，他还联合创办了人工智能创新者社区，并以前建立和退出了诸如Backupify等公司，体现了他在多个技术周期中的深厚经验。他还以其长期撰写的投资人工智能通讯而闻名，该通讯他十多年前开始撰写，以分析新兴的人工智能趋势、投资策略和市场转变，并已发展成为对快速演变的人工智能格局的更深入见解的平台。

NeuroMetric AI专注于解决人工智能领域今天最关键的挑战之一：大规模推理的成本和效率。该平台动态评估人工智能工作负载并应用优化策略，例如将较小的专用模型与高级测试计算技术相结合，以提高性能同时大幅降低成本，使企业能够从人工智能部署中获得更好的投资回报率。通过编排工作负载并根据特定任务定制模型使用，NeuroMetric旨在使人工智能系统显著更快、更便宜，将自己定位在人工智能基础设施、效率和现实世界可扩展性之间的交叉点，因为组织从实验转向生产。

您创立并领导了多家人工智能公司，通过HalfCourt Ventures投资了100多家初创公司，并之前建立和退出了Backupify。这些经历如何塑造您对人工智能中哪里创造了持久价值的看法？

我认为大多数投资者和企业家都在追求短期优势——看似当前市场中的明显缺口，但这些缺口很快就会被现有公司填补。人工智能将使经营业务变成一系列概率决策。需要投资或建立的公司是那些拥有最佳概率估计的公司。有时这来自垂直整合，有时来自水平扩展——这取决于市场。

在您的投资人工智能通讯中，您曾论述过模型变得越来越可以互换，真正的防御性转移到了系统层。实际上，什么样的“系统护城河”？

真正的系统护城河具有三个属性：它随着使用而积累，它特定于客户，并且无法通过换成更好的模型来复制。

防御性存在于我所说的“上下文系统”中——一个集成的架构，将基础模型连接到使公司独特的所有内容：其数据、工作流、领域知识、决策历史。该系统从每次交互中捕获信号——哪些模型在哪些任务中成功、哪里需要延迟、什么企业特定的模式出现——并将其反馈到改进自身中。

关键见解是，这创建了一个乘法飞轮，而不是加法飞轮。你不仅仅是积累过去决策的可搜索日志。你正在生成训练信号，产生专用模型，改进路由，这捕获了更多有价值的数据。护城河随着每次推理而扩大。

在实践中，系统护城河看起来像深度工作流集成，切换成本不是API，而是重写业务逻辑。它看起来像专有上下文，竞争对手无法复制，因为它是通过特定企业的生产使用几个月生成的。它看起来像连续专用化循环，系统对特定客户显著改进，以方式通用模型提供商永远不会做到。

模型时代给了我们原始能力。系统时代是能力变成现实世界价值的地方。

企业应该如何思考建立多模型策略，包括路由逻辑、升级路径和持续评估，而不是依赖单一前沿模型？

企业需要内化的第一件事是“只使用最佳模型”是一种失败的策略。它就像将每个查询都运行通过最资深的工程师。它很昂贵，很慢，并且——违反直觉——它经常不会产生最佳结果。

这涉及到我所说的推理的崎岖边界：模型性能是特定于任务的和不可预测的。前沿模型在特定任务上经常输给较小的专用模型。我们看到复合多模型系统在CRM任务上达到72.7％的准确率，而前沿模型得分为58％。性能曲面不均匀地与参数计数相关。所以真正的问题不是“哪个模型是最好的？”——而是“哪个模型最适合这个特定子任务？”

这种重新构想是真正的多模型策略的基础。以下是我告诉企业如何思考它的三个层次。

路由逻辑从映射推理景观开始。为系统中的每个点编目LLM调用，并为每个点记录任务类型、输入/输出复杂性、延迟要求、准确性阈值和调用量。这给了你一个热力图。你会很快发现你的大部分调用量是高频率、狭窄范围的工作——分类、实体提取、意图路由、模板生成——在这些任务中，一个微调的小型模型与前沿模型相匹配或更好，并且成本仅为前沿模型的一小部分。为真正需要复杂推理的任务保留昂贵的前沿调用。一个代理每次任务进行50次调用不需要GPT-4进行所有50次调用。

升级路径是关于构建智能后备，而不仅仅是故障转移。系统需要识别较小模型返回低置信度结果时，并升级到更强大的模型——或者完全不同的模型-策略组合。这就是测试计算策略的用处所在。有时正确答案不是更大的模型——而是相同的模型，具有链式思维、束搜索或最佳N采样。最优配置不仅取决于模型，还取决于您与模型配对的思考算法。

持续评估是企业完全忽略的部分，也是真正的防御性出现的地方。模型选择不是一次性决定——它是一个持续的优化问题。新模型不断发布，您的用例会演变，性能会以无法静默失败的方式恶化。你不会知道你的客户服务机器人给出了40％更糟糕的答案，因为你使用了错误的模型进行该查询类型——你只会在三个月后看到流失率。你需要能够持续测量实际有效的模型-任务组合并根据实际性能数据调整路由，而不是基准测试。

大多数公司没有做出这种转变的原因是，没有人会因为选择前沿模型而被解雇——这就像“没有人会因为购买IBM而被解雇”一样。供应商生态系统推动前沿，因为那是利润所在。而实际运行多模型架构所需的编排基础设施——路由逻辑、后备机制、模型管理、可观察性——在大多数公司中根本不存在。他们陷入了局部最优状态，多模型的切换成本和不确定性感觉高于对前沿推理的持续过度支出。

您看到公司在从人工智能试点转向生产级系统时犯的最大的错误是什么？

他们假设自己的选择可以是静态和长期的。实际上，人工智能技术栈的每一层都在迅速变化。公司需要做出提供选择性和灵活性的决定。

您在哪些工作流中看到较小、特定任务的模型比大型前沿模型表现更好，为什么这在战略上很重要？

我们在几乎每个常见的日常工作任务中都看到了这一点——例如基本会计、文本摘要、从各种文档中提取实体。我们已经探索了数百个工作任务的SLM，它们几乎总是赢得，前提是问题被正确结构化。

您曾写过部署人工智能到新用例的边际成本正在降低。如何从长远来看改变人工智能采用的经济学，对于企业来说意味着什么？

泡沫叙事假设人工智能收入需要在新模型的研发投资中成比例。事实并非如此。模型已经构建。基础设施已经存在。每个额外的用例只是一个提示、一个数据连接，可能还需要一些轻微的微调——而不是另一次1亿美元的训练运行。边际成本曲线随着平台成熟而下降。

这与铁路或电信相反，在那里，每一英里的新轨道或电信基础设施都是昂贵的。在人工智能中，构建引擎是昂贵的。将东西连接到引擎是便宜的，而且变得越来越便宜——在两年内，推理成本已经下降了大约1000倍。对于企业来说，问题不是人工智能是否有回报，而是可以在同一基础设施上堆叠多少用例，直到收入曲线超过成本曲线。

技术团队应该使用什么信号来确定何时切换模型、微调或构建专用小型任务模型？

信号并非完全是技术性的。它们更像是性能驱动或经济驱动的。例如，切换模型或微调模型或构建自定义SLM都可能有效。决定取决于您是否优化延迟或成本、任务执行频率以及构建和部署每个解决方案所需的时间。

如何设计防护栏、监控和治理，使其能够随着使用量的增加而扩展，而不是成为瓶颈？

大多数企业犯的错误是将治理视为一个检查点——人工审查层，附加在人工智能工作流之上。这种方法不具可扩展性。它会在使用量增加的那一刻成为瓶颈。

治理必须嵌入编排层本身。当您的路由基础设施已经评估每个推理调用——哪个模型、哪个任务、什么置信度——添加防护栏的成本是边际的，而不是新的系统。决定处理查询的模型的同一层可以执行策略：在调用之前过滤PII，在调用之后验证输出，自动捕获审计跟踪，按部门分配成本。

关键见解是，企业不会在人工智能系统内部失败。它们在人工智能系统之间失败——在手工移交、升级和异常中。可扩展的治理看起来像一个控制平面，使每个人工智能操作都安全、可审计和可重复执行，这是执行的副产品，而不是对执行的障碍。

您将今天的人工智能格局与从大型机到PC的转变进行了比较。这种去中心化对构建系统层的人工智能初创公司意味着什么？

我们目前处于人工智能的主机阶段。来自OpenAI、Anthropic和Google的大型集中式前沿模型对于集中努力和展示人工智能可以做什么是必要的。这个阶段已经完成。能力已经被充分理解。但是，就像计算机没有保持集中一样，人工智能也不会保持集中。我们正在进入PC时代——一个去中心化的生态系统，其中较小的专用模型在工作附近运行。

支出数据已经反映了这一点。企业人工智能投资现在几乎均匀地分配在基础设施和应用程序之间，应用程序份额增长得更快。扩张是横向的——跨人力资源、法律、营销、运营、财务——而不是垂直地进入更大的模型。

对于在系统层构建的人工智能初创公司来说，这是一个千载难逢的机会。在集中式世界中，模型提供商捕获了大部分价值。在去中心化的世界中，价值转移到解决编排、路由、评估和专用化挑战的公司——在规模上部署异构模型生态系统的运营挑战中。

我的预测是，大约25％的人工智能推理需要前沿模型。这些公司会做得很好——那是一个几万亿美元的市场。但75％将在开源和小型专用任务模型上运行。我们训练了一个40亿参数的模型，它在特定的CRM任务上击败了前沿模型，它的运行成本如此之低，几乎是免费的。那是未来——它需要一个完全新的系统层来管理它。

这个类比贯穿始终：大型机厂商做得很好，但真正的财富创造发生在PC生态系统中。同样的事情也会发生在人工智能中。

展望五年，您是否认为前沿模型提供商将捕获大部分价值，还是大多数经济影响将来自围绕它们构建的编排、优化和应用系统？

我认为人工智能推理市场将是世界历史上最大的市场之一。这意味着前沿模型实验室将表现非常出色，仍然会有巨大的机会为周围的公司提供服务。当您拥有万亿美元的市场时，解决这些市场中的小边缘案例可以变成价值十亿美元的公司。

感谢这次精彩的采访，希望了解更多的读者可以访问NeuroMetric AI，或订阅投资人工智能通讯。