祖珊娜·斯塔米罗夫斯卡，Pathway 联合创始人兼 CEO – 采访系列

祖珊娜·斯塔米罗夫斯卡，Pathway 联合创始人兼 CEO，是一位研究人员转型的创业者，之前曾从事涌现现象和大规模网络演化的研究。她的项目曾被美国国家科学院认可，她拥有复杂系统博士学位。祖珊娜与 CTO Jan Chorowski 和 CSO Adrian Kosowski 领导的一个团队已经构建了开源 AI 工具，获得了超过 62,000 个 GitHub 星标。

Pathway 正在重新定义 AI 模型的思考方式，旨在创建连续适应和实时处理的系统。其工具和架构使模型能够实时处理、学习和演化。该公司已获得了 Lukasz Kaiser（Transformer 的共同发明者）和著名风险投资公司的支持。

是什么激发了您创立 Pathway 的灵感，您在复杂系统、博弈论和涌现现象方面的背景如何塑造了公司的愿景和技术方向？

我们希望创造出像人类一样思考和适应的 AI。我们意识到这意味着能够连续学习和适应环境数据的 AI 系统。我们实际上已经在“机器忘却”这个话题上获得了相当的关注。除了模型之外，这些系统还需要一个完整的工程层来捕获数据并实时将其输入到动态系统中。

在涌现复杂网络方面的工作中，我开发了一些假设，这些假设最终被直接或几乎直接应用于 BDH。有趣的是，我与我的同事（Adrian，CSO，和 Jan，CTO）打了几个赌，并赢得了几瓶非常好的干邑白兰地。首先，我们相信自然智能是由大脑中神经元和突触的涌现结构和作用产生的（这很明显，没有赌注）。第二，从我的以前的研究中，我知道功能通常会塑造网络（我赢了这个赌注）。第三，网络结构的塑造必须遵循与每个网络位置（在本例中为神经元）“邻域”直接相关的非常局部的规则（我赢了这个赌注）。其他部分来自我对粒子相互作用系统的了解——例如磁性，其中粒子调整其自旋以适应外部场并创建某种“自发秩序”。这是我在图论上的博弈论中使用的数学。

将所有这些放在一起，从公司成立的第一天开始，我们就坚信稀疏性（图状结构）将是 AI 进步的关键一步。考虑时间的概念对于我的背景来说至关重要，因为涌现通常发生在时间上。

当您在 2020 年创立公司时，您最初关于未来 AI 系统应该做出什么不同假设，以及这些观点如何随时间演变？

我们从一开始就坚信 AI 需要实时、适应性和大规模集成。它应该直接从源头学习，使用原始数据。

首先，我们为更传统的机器学习方法做了这件事，并在此过程中构建了允许这些系统在现实世界中轻松部署的工程层。现在，我们已经将这种方法引入了深度学习中。

我们知道时间和结构（网络）将是实现通用人工智能的关键。我们在 2020 年的创始文件中写下了这些内容。

您能否带我们了解一下您正在引入的“后 Transformer”架构，以及它与当前的 Transformer 基础系统有何不同？

我们的新架构，称为 Baby Dragon Hatchling（BDH），正式连接了 Transformer 如何处理信息以及如何在大脑中出现推理。BDH 的行为类似于一个物理系统：一个大脑样计算模型，其中神经元共同努力发现下一个最相关的事实。上下文推理不受工程限制（例如 Transformer 的固定上下文长度），而是随着模型神经元的数量而扩展。

从技术上讲，BDH 与 Transformer 不同之处在于，我们具有线性注意力、稀疏的密钥查询向量，并且没有上下文窗口大小的限制。

这种方法为我们打开了学习和执行、维持长链推理和实时适应的系统的大门。

系统的一个核心特征是局部性：重要数据位于处理它们的位置附近。这最小化了通信并消除了推理模型在推理过程中最痛苦的瓶颈：内存到核心带宽。

您的方法如何从人类推理中汲取灵感，特别是在实现适应性和连续学习而无需重新训练方面？

BDH 将自然智能和自然智能更紧密地联系在一起。

这种架构的灵感来自大脑中神经元和突触的工作方式。它将生物注意力机制映射到机器学习中的计算注意力概念，创建了一个可扩展的桥梁，将 Transformer 与大脑联系起来。

BDH 将注意力置于模型参数附近，将它们呈现为同一脑样系统动态的两个反映，注意力在推理过程中随着新事实的出现而快速变化，模型参数随着系统的长期习惯而缓慢变化。这更接近于我们认为大脑中推理的工作方式。

我们认为 BDH 是设计能够在任务中推理、随着经验改进并在无需重新训练的情况下适应的 AI 系统的里程碑——这些特性我们将其归因于人类推理。

在 AI 中，平衡稳定性和适应性是一个挑战——您如何确保系统可以实时学习而不会丧失过去的知识？

BDH 依赖于其无尺度结构和局部神经元状态来维持推理过程中的稳定性和适应性。这一自然的健康平衡可以轻松地从模型的生命周期中提取和跟踪。

使用 BDH，我们将推理置于智能的基石上。通过当前的工作，我们在大型语言模型中知识作用的假设上取得了进展：它不仅仅是关于什么是“真实的”，而是关于在特定推理链中什么是“有用的”来推进。例如，如果知识是上下文化的，那么突然之间，我们的世界遵循自然法则这一事实与我们知道一个民间故事，其中存在仙女和魔法这一事实之间就没有矛盾了。同样，对于一个模型来说，考虑多个不同的预测假设，带有更多和更少乐观的假设，在单一的思维链中是没有矛盾的。

基于 BDH 的模型在其生命周期中以上下文化的方式获取新事实。它们可以自我纠正，因为它们具有这种能力。通过暴露易于遵循的神经元活动统计和对从上下文到模型参数的知识转移的细粒度控制，架构有助于降低“过时”上下文在不合适的时刻重新出现的风险。

构建一个可以在规模上维持这些功能的实时数据处理引擎需要做出什么样的工程权衡？

Pathway 的企业产品依赖于市场上最快的数据处理引擎。该引擎支撑了我们处理实时输入和对新信息做出反应的低延迟能力。通过当前的 BDH 突破，我们确保这种实时适应性扩展到我们在部署中使用的基础 AI 模型。我们的主要目标是将大规模部署从静态优化转变为能够处理长期推理的基础设施建设。

哪些最令人信服的用例真正需要这一阶段的 AI，而当前的 Transformer 基础系统在哪里存在不足？

许多创新已经扩展了生成性 AI 的功能，以便快速适应新信息并深深依赖于“任务时间”。但是，目前还没有什么能够取代雇用一位非常有才华的人。

快速而直接的答案是，我们正在谈论任何需要超过 2 小时 17 分钟的专家连续工作的任务。这是根据 METER 对 GPT5 的当前限制。

我们与企业设计合作伙伴进行了很好的讨论，他们需要深度个性化、在职学习的模型以及部署的安全性。

BDH 使得企业能够相对轻松地处理复杂的流程，例如：

• 为上市公司结算一个季度
• 在高风险环境中动态生成下一个最佳行动方案，对于销售和国防领域都非常相关
• 投资管理

北约已经在使用 Pathway 的技术来处理实时的军事和社会数据，使得规划系统可以适应不断变化的情况。La Poste 正在使用 Pathway 的实时 AI 来动态管理其运营。对于数据稀缺或敏感的行业，如金融和医疗保健，能够从较少的数据中提供更深入的见解和更可靠的判断的模型将会带来益处。

您能否分享北约、La Poste 或一级方程式等组织如何应用您的技术以及它带来的影响？

北约、La Poste 和一级方程式团队都是 Pathway 技术的早期采用者。

Pathway 为北约提供了强大的创新数据处理技术，以解锁大规模使用的新能力。使用我们的功能性示范工具——增强模拟工具（REST），我们为北约开发了 AI 支持解决方案的基石。使用 Pathway 连接开源数据，加速了情况感知，并将其提升到了北约在 2020 年代成功运营所需的水平。

La Poste 利用 Pathway 来改进与其运输单位相关的流程。使用 Pathway 框架，La Poste 自动预测其运营，并实时生成运输运营的定性分析。使用 Pathway，该公司能够动态优化其物流，减少预计到达时间、处理时间/交货时间，并提高可靠性。此外，他们在运营成本（在某些情况下降低了 50% 的总拥有成本）方面实现了显著的降低。

一级方程式赛车队利用 Pathway 来适应高压力、实时条件下的策略。该公司希望为最终用户创建一个平台，以便他们独立创建用户定义函数（UDF），并满足从电子竞技/模拟赛车到汽车和一级方程式赛车的各种业务需求。Pathway 的实时数据框架使一级方程式赛车队能够以最低延迟（比以前快 90 倍）执行高级数据转换。

在医疗保健或国防等行业中部署适应性系统的最大障碍是什么，您如何解决这些问题？

按照设计，当前的 LLM 生成内容是“新”的，没有真正的判断力——可以称之为“gen”AI。许多高度监管的行业需要治理，并且不愿意在没有可重复性、信任和可观察性的情况下部署 AI 驱动的业务流程。讽刺的是，为了部署 AI，这些企业通常会“降低”功能并引入额外的复杂性，以便于遵守法规。

按照设计，BDH 允许企业观察和适应模型内部发生的事情。这种长时间的“推理”可观察性为企业提供了信任，以处理更长、更复杂的业务流程。BDH 既是可观察的，也是时间轴业务流程感知的。无需完美的、庞大的数据集来学习，无需极长的上下文窗口或用于可观察性的胶水逻辑。

随着 AI 系统开始实时学习和适应，什么样的道德考虑或保障措施是必不可少的？

事实上，具有实时学习经验的系统比当前的 Transformer 基础系统更有可能是安全的。其中一个原因是它们具有自我纠正和更新先入之见的机会，如果它们是错误的。

为了确保此类系统的安全性，需要随着时间的推移提供反馈。这意味着我们需要不断向它们提供新数据，并确保反馈循环，以便它们了解自己的功能效果。这接近于强化学习。

第二，基于 BDH 的模型提供了可解释性，使人类更容易理解其工作原理，从而对其拥有更好的控制权。

为了使“后 Transformer”范式在整个 AI 社区中成为主流，需要什么？

在市场上推出一个极其有用的模型，其推理成本显著降低且速度更快。我们相信在企业中可以实现市场胜利。

感谢这次精彩的采访，希望了解更多的读者可以访问 Pathway。