Pathway 获得 5 亿美元融资，估值 5 亿美元，用于扩展后 Transformer AI 的规模

人工智能研究公司 Pathway 已获得额外融资，估值为 5 亿美元，将其总种子资金增加到 3000 万美元，同时准备扩展新一代基于其后 Transformer 架构的模型。

该融资包括 Id4 Ventures、TQ Ventures、Red Bridge Ventures、Kadmos Capital 和 WS Investment Co.（威尔逊桑斯尼投资公司）的参与，后者是威尔逊桑斯尼的投资部门，另外还有 Databricks 首席 AI 科学家 Jonathan Frankle 的参与。Pathway 表示，新资本将主要用于增加计算能力，包括 NVIDIA GB300 系统。

随着融资的到来，Pathway 的 BDH-CQ 推理模型 也发布了新的结果，这使得融资具有更具体的技术背景，而不是仅仅依靠构建更大的基础模型的承诺。Pathway 表示，其 1.5 亿参数的模型在 ARC-AGI-1 评估集上获得了 29.5% 的得分，推理成本仅为每任务 0.0007 美元。

融资到来之际，Pathway 战略性地反对蛮力扩展

当前的前沿模型竞争主要集中在规模上：更大的集群、更多的训练数据、更多的参数和增加的测试计算量。Pathway 采取了不同的方法，认为行业的一些成本和内存限制是架构问题，而不是可以通过增加计算能力来解决的问题。

该论文的中心思想是其 BDH（Dragon Hatchling）架构。Pathway 将 BDH 描述为后 Transformer 设计，旨在将推理、内存和适应性结合在模型本身中，而不是主要依赖于扩展的上下文窗口或外部内存系统。

该架构借鉴了持久状态、稀疏活动、局部交互和连续调整等思想。Pathway 将该设计描述为生物启发式的，而不是直接复制大脑的工作方式。

新的融资为公司提供了更多资源来测试这些特性是否会在 BDH 模型变得更大时继续保持。

Pathway 还增加了 Adam Kurzrok 作为首席产品官。Kurzrok 此前曾在 Google DeepMind 的 Gemini 项目中担任产品经理，将领导围绕 BDH 模型的打包、评估和部署的产品方向。

公司还成立了一个顾问团，包括 Transformer 的共同发明者 Łukasz Kaiser、Frankle、纽约大学教授 Martín Farach-Colton 和经济学家 Jacques Attali。

BDH-CQ 的不同之处

BDH-CQ 是 BDH 架构的扩展，专注于上下文学习和循环潜在推理。

与需要模型将中间推理表示为生成文本不同，BDH-CQ 在连续潜在工作空间中执行迭代计算。推理期间提供的示例更新了循环内存状态，然后系统在内部处理新问题，然后解码其答案。在此过程中，模型的参数保持固定。

这很重要，因为基于标记的推理会随着推理轨迹的长度而变得昂贵。在传统的链式推理方法中，中间步骤是顺序生成的，然后再输入到推理过程的后期阶段。

BDH-CQ 的设计是为了在其内部状态中保持更多的计算，而不是不断地将中间推理转换为语言。

这种区别并不意味着语言推理已经过时。Pathway 正在测试一些推理工作负载是否可以更高效地处理，而无需每个中间计算步骤都被序列化为文本。

ARC-AGI 结果将成本效率置于中心

最值得注意的结果是来自 ARC-AGI-1 的，ARC-AGI-1 是一个基准测试，用于测试 AI 系统是否可以从少量示例中推断转换并将这些规则应用于未见过的输入。

Pathway 的 1.5 亿参数的 BDH-CQ 模型在 ARC-AGI-1 评估集上获得了 29.5% 的得分，计算推理成本约为每任务 0.00070 美元。

Pathway 认为，这使得 BDH-CQ 超出了之前报告的 ARC-AGI-1 的成本效率曲线。

这并不意味着 1.5 亿参数的系统现在具有最高的绝对 ARC 得分。一些更大的推理系统具有更高的得分。相反，Pathway 正在关注模型可以提供的推理性能与每美元推理支出之间的关系。

这可能会变得越来越重要，因为企业将人工智能从偶尔的聊天机器人交互转向代理和其他可能连续执行大量推理操作的系统。

技术结果也显示了 BDH-CQ 的困难

更广泛的评估呈现出比标题基准更细致入微的图景。

在 ConceptARC 中，BDH-CQ 的性能在不同的概念类别中有很大差异。它在几个涉及边界扩展和区分填充区域和未填充区域的任务中表现出色，而复制和排序等领域则更具挑战性。

受控实验产生了类似的模式。

边界传播和复制在测试范围内保持准确，但当排序序列变得更长时，性能会显著下降。嵌套关系问题也变得更加具有挑战性，当所需的嵌套深度增加时。

研究人员还发现，提供更接近目标问题复杂性的示例可以显著提高某些情况下的性能，这表明系统的局限性部分与其从示例中推广的能力有关。

这些弱点很重要，因为 ARC-AGI 仍然是一个专门的视觉推理基准。强大的成本效率并不意味着相同的架构可以在生产工作负载中超越通用语言模型。

相反，结果为一个更窄但可能更有影响力的想法提供了证据：复杂的推理能力可能并不总是需要大量的参数或长序列的生成推理标记。

Pathway 还在为实时 AI 建立基础设施

Pathway 的工作早于其推动后 Transformer 模型的努力。除了 BDH 之外，公司还开发了一个数据处理框架，用于流数据、实时分析、大型语言模型应用和增强生成。

该平台旨在帮助 AI 系统处理不断变化的信息，而不是仅仅依赖静态数据集或定期重建的索引。

这种基础设施背景与 Pathway 的研究方向密切相关。其现有技术专注于保持 AI 应用与不断变化的外部数据同步，而 BDH 探索了是否可以将持久内存和适应性作为模型架构的属性。

这可能对需要在长时间内保持状态并对新信息做出反应的 AI 代理和其他系统很重要。

Pathway 的未来计划

Pathway 计划使用新资本来增加模型容量并训练更广泛的 BDH 模型。

其路线图包括数学推理、ARC-AGI-2 和 ARC-AGI-3，以及开发一个包含潜在推理的大型语言模型。

公司表示，早期预训练实验表明，规模从 10 亿到 600 亿参数的模型表现出类似 Transformer 的扩展行为，同时保留了 BDH 潜在推理方法的特征。

这仍然是一个早期的迹象，而不是证明该架构的优势将在大型、通用模型中持续存在的证据。

Pathway 最终的目标是金融服务、医疗保健和技术等领域，在这些领域，持久内存、不断变化的信息和推理成本可能会变得特别重要，因为 AI 系统转向更长的工作流程。

目前，5 亿美元的估值代表了对行业主导的扩展策略的替代方案的重大押注。更重要的测试将在 Pathway 将 BDH 超越相对受限的推理基准并展示其架构优势是否会在语言、数学、代理和现实世界应用中持续存在时到来。