面试
NeuroMetric首席执行官兼联合创始人Rob May访谈系列
罗布·梅NeuroMetric 的首席执行官兼联合创始人是一位经验丰富的企业家和投资者，在云计算、人工智能初创公司和风险投资领域拥有丰富的经验，目前领导 Neurometric AI，同时担任董事总经理。 HalfCourt Ventures他曾投资超过100家科技公司。除了运营和投资之外，他还联合创立了人工智能创新者社区，并曾创建并成功退出Backupify等公司，这体现了他跨越多个技术周期的丰富经验。此外，他还因其长期……而广为人知。 投资人工智能 他十多年前开始撰写这份通讯，旨在分析新兴的人工智能趋势、投资策略和市场变化，此后该通讯发展成为一个平台，可以更深入地了解快速发展的人工智能领域。
神经计量人工智能 Neurometric 致力于解决当今人工智能领域最关键的挑战之一：大规模推理的成本和效率。该平台能够动态评估 AI 工作负载，并应用优化策略（例如将小型专用模型与先进的测试时计算技术相结合），从而在显著降低成本的同时提升性能，帮助企业从 AI 部署中获得更高的投资回报率。通过协调工作负载并根据特定任务定制模型使用，Neurometric 旨在显著提升 AI 系统的速度和成本效益，使其在 AI 基础设施、效率和实际可扩展性方面占据领先地位，助力企业从实验阶段迈向生产阶段。
您曾创立并领导多家人工智能公司，通过 HalfCourt Ventures 投资了 100 多家初创公司，此前还创建并成功退出了 Backupify。这些经历如何影响了您对当今人工智能领域持久价值创造的看法？
我认为大多数投资者和创业者都在追逐短期护城河——那些看似显而易见的市场缺口，实际上很快就会被现有公司填补。人工智能将使企业运营简化为一系列概率决策。值得投资或创建的公司，是那些对这些概率做出最佳预估的公司。有时，这种预估来自垂直整合，有时则来自水平扩张——这取决于市场情况。
您在《人工智能投资》简报中指出，模型之间的可互换性越来越强，真正的防御能力转移到了系统层面。那么，真正的“系统护城河”在实践中究竟是什么样的呢？
真正的系统护城河具有三个特性：它会随着使用而增强，它是专门针对客户的，而且无法通过替换更好的模型来复制。
防御能力存在于我所谓的“情境系统”中——这是一种集成架构，它将基础模型与构成公司独特性的所有要素连接起来：数据、工作流程、领域知识和决策历史。该系统从每一次交互中捕获信号——哪些模型在哪些任务中取得成功，延迟在哪些情况下至关重要，以及出现了哪些企业特有的模式——并将这些信息反馈到自身改进中。
关键在于，这会产生一种倍增式的飞轮效应，而非累加式的飞轮效应。你不仅仅是在积累一个可搜索的过往决策日志，而是在生成训练信号，这些信号能够生成专门的模型来改进路径规划，从而捕获更多有价值的数据。每一次推理都会加深护城河。
在实践中，系统护城河表现为深度工作流集成，其转换成本并非来自 API，而是来自业务逻辑的重写。它表现为专有上下文，任何竞争对手都无法复制，因为它是在特定企业内部经过数月生产使用而生成的。它还表现为持续的专业化循环，使系统能够显著提升自身性能。 那个顾客 这是通用模型提供商永远无法做到的。
模型时代赋予了我们原始的能力。系统时代则将这种能力转化为实际价值。
企业应该如何考虑构建包含路由逻辑、升级路径和持续评估的多模型战略，而不是依赖单一的前沿模型？
企业首先需要明白的是，“采用最佳模型”这种策略在规模化应用中注定失败。这相当于让所有查询都由资历最深的工程师来处理。这种方法成本高昂、速度缓慢，而且——出乎意料的是——往往无法产生最佳结果。
这就引出了我所谓的推理“锯齿前沿”：模型性能取决于具体任务且难以预测。前沿模型在特定任务上经常会输给规模更小、更专业的模型。我们看到，复合多模型系统在客户关系管理（CRM）任务上的准确率达到了 72.7%，而前沿模型的准确率只有 58%。性能曲线与参数数量并非完全相关。因此，真正的问题不是“哪个模型最好？”，而是“哪个模型最适合……” 这项具体子任务？“
这种重新构建是真正多模式战略的基础。我会这样指导企业从三个层面思考这个问题。
路由逻辑 首先要绘制推理图谱。记录系统中所有调用 LLM 的位置，并针对每个位置记录任务类型、输入/输出复杂度、延迟要求、准确率阈值和调用次数。这样就能得到一张热力图。你会很快发现，大部分调用都是高频、窄范围的任务——分类、实体提取、意图路由、模板生成——在这些任务中，经过微调的小型模型就能以极低的成本达到甚至超越前沿模型的性能。把成本高昂的前沿调用留给真正需要复杂推理的任务。一个智能体每个任务需要调用 50 次，并不需要每次都使用 GPT-4。
升级路径 关键在于构建智能回退机制，而不仅仅是故障转移。系统需要识别何时较小的模型返回置信度较低的结果，并升级到更强大的模型，或者完全切换到不同的模型策略组合。这就是测试时计算策略的用武之地。有时，正确的答案并非更大的模型，而是采用链式推理、束搜索或N次最佳采样等方法的相同模型。最佳配置不仅取决于模型本身，还取决于与之匹配的推理算法。
持续评估 这是大多数企业完全忽略的关键环节，也是真正防御能力所在。模型选择并非一劳永逸，而是一个持续优化的问题。新模型不断发布，用例不断演变，性能也会悄无声息地下降。你不会知道客服机器人给出的答案质量下降了 40%，是因为你为特定查询类型选择了错误的模型——你只会在三个月后看到客户流失。你需要一个能够持续衡量不同模型-任务组合实际效果的基础设施，并根据实际性能数据（而非基准测试）调整路由。
大多数公司之所以没有做出这种转变，是因为选择前沿模型不会被解雇——这就像人工智能领域的“没人会因为购买IBM而被解雇”一样。供应商生态系统之所以大力推广前沿技术，是因为利润空间巨大。而运行多模型架构所需的编排基础设施——路由逻辑、回退机制、模型管理、可观测性——在大多数公司根本不存在。他们陷入了局部最优解的困境，因为在他们看来，多模型的切换成本和不确定性远高于在前沿推理方面持续投入的巨额资金。
您认为企业在从人工智能试点项目过渡到生产级系统时最常犯的错误是什么？
他们认为自己做出的选择可以一成不变，长期有效。但实际上，人工智能技术栈的每一层都在快速变化。企业需要做出兼具选择性和灵活性的决策。
在哪些类型的工作流程中，您见过规模较小、针对特定任务的模型优于大型前沿模型？这在战略上为何如此重要？
我们几乎在所有常见的日常工作任务中都看到了这一点——例如基础会计、文本摘要、从各种文档中提取实体等等。我们已经针对数百个工作任务探索了结构化学习模型（SLM），如果问题结构正确，它们几乎总是胜出。
您曾撰文探讨过将人工智能应用于新场景的边际成本不断下降的问题。这会对企业采用人工智能的长期经济效益产生怎样的影响？
泡沫论认为人工智能的收入需要对新模型进行成比例的研发投入。事实并非如此。模型已经构建完成，基础设施也已存在。每个新增的应用案例都只是一个简单的提示、一次数据连接，或许还需要一些简单的微调——而不是又一次耗资100亿美元的训练。随着平台的成熟，边际成本曲线会逐渐下降。
这与铁路或电信行业截然相反，铁路和电信行业每铺设一英里轨道都非常昂贵。在人工智能领域，构建引擎本身就成本高昂。连接事物 至 这款引擎成本低廉，而且还在不断降低——推理成本在两年内下降了约1,000倍。对企业而言，问题不在于人工智能是否值得投资，而在于如何在相同的基础设施上叠加尽可能多的用例，才能使收入曲线远超成本曲线。
技术团队应该使用哪些信号来决定何时切换模型、微调模型或构建专门的小任务模型？
这些信号未必是技术性的，更多的是性能或经济效益方面的考量。例如，切换模型、微调模型或构建自定义服务生命周期管理（SLM）都可能有效。最终决策取决于您是追求延迟优化还是成本优化、任务执行频率以及构建和部署每个解决方案所需的时间。
如何设计防护措施、监控和治理机制，使其能够随着使用量的增长而扩展，而不是成为瓶颈？
大多数企业犯的错误是将治理视为一个检查点——在人工智能工作流程之上附加一个人工审核层。这种做法无法扩展。一旦使用量增加，它就会成为瓶颈。
治理必须嵌入到编排层本身。当你的路由基础架构已经评估了每一次推理调用——选择哪个模型、哪个任务、置信度级别——那么添加防护措施的成本微乎其微，无需构建新的系统。决定由哪个模型处理查询的同一层也可以强制执行策略：调用前进行个人身份信息 (PII) 过滤、调用后进行输出验证、自动捕获审计跟踪、按部门分配成本。
关键在于，企业不会失败。 内 人工智能系统。它们会失败。 之间 它们——在交接、升级和例外处理中——都至关重要。可扩展的治理机制就像一个控制平台，它使每一项人工智能操作都安全、可审计且可重复，而这并非执行的障碍，而是执行的副产品。
您曾将当今的人工智能格局比作从大型机到个人电脑的过渡。这种去中心化对于在系统层进行开发的初创公司意味着什么？
我们目前正处于人工智能的大型机阶段。OpenAI、Anthropic 和 Google 等公司开发的大型集中式前沿模型对于集中资源、展示人工智能的潜力至关重要。这一阶段取得了成功，人工智能的能力也得到了充分的理解。但正如计算机技术最终走向了去中心化一样，人工智能也不会。我们正在迈入个人电脑时代——一个去中心化的生态系统，在这个系统中，规模更小、更专业的模型将更贴近实际应用场景运行。
支出数据已经反映了这一点。企业人工智能投资目前几乎平均分配在基础设施和应用领域，而且应用领域的份额增长更快。这种扩张是横向的——跨越人力资源、法务、市场营销、运营和财务等部门——而不是纵向扩展到更大的模型。
对于构建系统层的初创公司而言，这是千载难逢的机遇。在中心化模式下，模型提供商攫取了大部分价值。而在去中心化模式下，价值则流向了那些解决编排、路由、评估和专业化等运营挑战的公司——这些挑战正是大规模部署异构模型生态系统的关键所在。
我预测，大约 25% 的 AI 推理需要使用前沿模型。这些公司不会有太大问题——毕竟潜在市场规模高达数万亿美元。但 75% 的推理将基于开源模型和小型专用任务模型。我们训练了一个拥有 4 亿参数的模型，它在特定的客户关系管理 (CRM) 任务上超越了前沿模型，而且运行成本极低，几乎免费。这就是未来——而它需要一个全新的系统层来管理。
这个类比贯穿始终：大型机供应商虽然盈利颇丰，但真正的财富创造发生在个人电脑生态系统中。人工智能领域的情况也是如此。
展望未来五年，您认为前沿模型提供商将获得大部分价值，还是大部分经济影响将来自围绕这些模型构建的编排、优化和应用系统？
我认为人工智能推理市场将成为世界历史上规模最大的市场之一。这意味着前沿模型实验室将会蓬勃发展，而围绕这些实验室构建业务的公司也将拥有巨大的发展机遇。当市场规模达到万亿美元时，解决这些市场中的一些小问题就可能催生出价值数十亿美元的公司。
