尼古拉斯·瓦西洛格鲁，RelationalAI 研究副总裁 – 采访系列

尼古拉斯·瓦西洛格鲁 是 RelationalAI 的研究副总裁。他一生致力于构建机器学习软件和领导零售、在线广告和安全领域的数据科学项目。他是 ICLR/ICML/NeurIPS/UAI/MLconf/KGC/IEEE S&P 社区的成员，曾担任作者、审稿人和研讨会及主要会议的组织者。尼古拉斯 领导 RelationalAI 的研究和战略计划，专注于大型语言模型和知识图谱的交叉点。

RelationalAI 是一家企业人工智能公司，致力于构建决策智能平台，帮助组织超越数据分析，实现自动化、高质量的决策。其技术直接集成数据环境，如 Snowflake，结合关系数据库、知识图谱和高级推理系统，创建业务的“语义模型”，编码公司的运营、关系和逻辑。这使得人工智能系统（包括决策代理，如“Rel”）能够推理复杂、相互关联的数据，生成预测和描述性见解，实现企业快速、明智的决策，而无需将数据移出安全的云环境。

您拥有罕见的职业路径，跨越学术机器学习、大规模工业部署和公司领导角色，如 Symantec、Aisera 和现在的 RelationalAI。这些经历如何塑造您对机器学习研究与现实世界系统的看法？

我有幸参与了不同业务领域，从零售和安全到在线广告。这帮助我理解了机器学习和人工智能如何作为共同的分母。我们从 2000 年初就知道，软件正在吞噬世界，数据正在吞噬决策智能，但很少有公司，包括谷歌，相信高级机器学习算法最终会吞噬一切。2008 年，NeurIPS 参会者被认为是书呆子和梦想家，他们不了解现实世界，只是喜欢摆弄玩具。这在某种程度上是正确的，但我相信这将会改变。与其他人不同，我没有放弃积极地参与学术研究向行业的转变。

您的 NeurIPS 分析使用了编码助手，如 Claude Code、OpenAI Codex 和 NotebookLM，来处理整个会议。使用人工智能系统分析人工智能研究本身最让您惊讶的是什么？

令人惊讶的是，构建软件来抓取数据、机器阅读它们并将它们分类到部分甚至总结和解释它们的方式是如此简单。GenAI 系统在讲述故事方面非常出色，但不能讲述故事。NotebookLM 是分析任何领域和提供令人难以置信的结果的女王。然而，您无法控制故事、图形或强调。我了解到工具不适合创建 PowerPoint 演示文稿，因此我不得不使用 HTML 并将它们转换为 PDF。最大的挑战是创建图形——扩散生成太慢、不可靠且昂贵，且无法控制。令人惊讶的是，模型在使用 matplotlib、plotly 和其他 Python 库以编程方式创建 SVG 时非常出色。这种技术可以扩展，但需要多次传递来修复可视化错误。模型将会变得更好。

您的分析中最强的主题之一是从训练时间缩放到推理时间计算的转变。为什么测试时间计算正在成为提高模型性能的如此强大的杠杆？

缩放法则是我们的指南针。增加模型大小和预训练数据已经达到了其容量。第一代缩放法则使我们达到了 GPT-4。它们帮助 OpenAI 启动了 GenAI 革命。我们很快意识到还有另一个维度可以让模型在到达答案之前生成许多令牌。这是另一种提高 LLM 效率的方法。模型大小和推理长度通常被表达为系统 1 和系统 2 思维模式（Daniel Kahneman）。推理跟踪是增加模型容量的另一种方式。如果您思考一下，人类的突破始于直觉（高智商），但成功始终归功于漫长而痛苦的推理。我们看到这种模式：具有长思考窗口的较小模型比 100 倍大的模型表现更好。因此，在 LLM 中，思考比智商更重要。

您强调了从单一模型到能够规划、执行和验证其输出的代理系统的转变。我们离代理人工智能成为可靠的生产范式而不是研究原型还有多远？

我们正在朝着这个方向取得重大进展。最大的问题是可靠性和安全性，以便我们可以信任它们以自治的方式运行。如果您仔细查看 NeurIPS 内容，您将看到可以进行研究、解决数学问题和解决编码问题的自治系统，但您不会看到代理无人驾驶汽车等。Moltbook（人工智能代理的社交网络）最近的经历凸显了自治代理人工智能的问题。然而，使用代理人工智能发现新药物和材料是一个巨大的机会，因此让我们暂时庆祝并关注这一点。

效率似乎是创新的一个主要驱动力，较小的模型通过架构改进和更智能的推理策略实现了具有竞争力的性能。我们是否正在进入一个时代，在这个时代中，效率突破比原始模型大小更重要？

随着人工智能扩展到生产，工程变得更加重要。依赖于前沿模型是不可持续的。对于演示来说，这很好，但公司面临着看到大型模型高昂成本的残酷现实。首次，较小的模型成为了一种更可行的解决方案。行业中有一种默默的力量正在改变现状。到目前为止，NVIDIA (NVDA ) 一直垄断了 GPU 市场，保持了高昂的价格。AMD 正在进入市场，提供高质量的芯片，这将迫使价格下降。能源仍然是一个问题，但我们正在看到一些市场运动。随着前沿实验室变得更加昂贵，在租用的 GPU 上使用较小的模型的解决方案变得更加可行。

您的演讲表明，领域已经从单轴缩放（参数）转变为涉及参数、数据、架构和推理的多维缩放。研究人员和从业者应该如何思考这种新的缩放范式？

对于大多数专业人士来说，架构和参数超出了他们的控制范围。拥有必要资本的模型生产者将推动创新。令牌推理长度将由他们的组织资本支出决定。他们仍然可以控制的是数据。我们将看到更多关注创建、策划和调试数据（大多数时候是推理跟踪）。这是日常运营的重点。当然，他们需要关注 NeurIPS 和其他大型会议，以了解新架构的趋势。

在您的 NeurIPS 合成中，您指出，越来越多的研究重点是人工智能驱动的科学发现，从生物学到气候建模。您是否认为人工智能用于科学是机器学习研究的下一个主要前沿？

我认为这超出了学术研究的范畴。我们正在看下一个黄金热潮。1849 年，美国加利福尼亚州的淘金热达到了巅峰。人们只需要不断地过滤河水来找到黄金。我们现在知道，很多人没有找到黄金，但我们今天看到的是非常真实的。我可以看到一个由两到三个人组成的创业公司使用语言模型来发现新材料、药物和产品组件的巨大浪潮。以最聪明的方式燃烧令牌可以带来巨大的收益。像 Claude Code、OpenAI Codex 和 Google (GOOGL ) Antigravity 这样的编码助手可以为 SaaS 公司去除障碍，留下一代非常有能力的计算机科学家从事科学搜索。如果您为非营利组织如 First Principles 或 Bio[hub] 工作，有机会找到新的物理定律和理论，或在生物学领域做出其他贡献。如果您想产生收入，您将致力于根据科学发明新产品，如制药、材料、电池等。

您的工作还强调了一个日益增长的验证差距，即模型在基准测试中取得强大的成绩，但在简单的现实世界变体中却失败。这种差距揭示了当前大型语言模型的哪些局限性？

它们似乎拥有令人惊叹的记忆力，并且可以很好地推广。基准测试对于研究的开始是很好的。然而，一旦您跨越了某个阈值，您就会学习基准测试，而不是问题。我们多年来一直很好地重置基准测试，使其变得更加具有挑战性，以推动极限。基准测试的问题在于，某个时候，我们开始过度索引并最终作弊。这里的趋势是使竞争对手更加诚实。就我个人而言，我不太关注基准测试，一旦它们发生了几次飞跃。您可以拥有一个很好的产品，但它可能甚至不在排行榜的前十名。我也看到过很多次次的产品，它们在基准测试中表现很好，但实际上并不是很好。

您的演讲表明，小型语言模型与推理缩放和代理架构相结合，可以实现强大的人工智能系统，该系统可以在超大规模数据中心以外运行。这种去中心化是否会重塑人工智能在各个行业的部署方式？

我们看到对边缘部署的强烈关注。我们将看到周围的设备变得更加智能。微软多年来一直在研究 1 位 LLM，它实现了大约 30 倍的压缩，使其能够在单个芯片上运行甚至前沿模型。我们多年来一直跟踪这项工作，进展非常惊人。特别是在可穿戴设备领域。

去年 NeurIPS 中提到的一件事是将弱边缘模型与前沿模型相结合的想法。这使您能够根据带宽调整推理能力，在连续光谱中。NeurIPS 的第一个电信工作坊揭示了在基站上放置 GPU 的趋势，这很有趣，因为基站既不是数据中心，也不是边缘设备。这在计算层次结构中引入了一个新层。

LLM 中溢出的另一个东西是分布式模型训练（我指的是独立实体训练自己的模型，用户将它们像乐高积木一样组合起来，构建更大、更强大的模型）。这是一个非常有前途的模块化架构。这就是大型模型的训练方式。不同的团队构建专用模型，最后，他们像乐高积木一样将它们连接起来。

在分析了成千上万份 NeurIPS 论文后，您认为人工智能研究社区在哪里准确预测了进展，在哪里可能忽略了最重要的即将到来的转变？

研究社区不做预测。研究人员有自己的驱动力、好奇心、资金、偶然性和当然还有直觉。他们总是可能会错过有趣的方向，但几乎可以肯定，某个人会在某个时候找到它并捡起来。这种情况是预期的，也是健康的。高管、投资者和工程师需要识别出现的趋势，以便他们可以做出正确的决定并下注。五年分析窗口中，有些趋势被提前识别出来，而有些信号被忽略了。对于其中一些信号，仍然有时间赶上 alpha 波浪。

数据市场是我多年来一直关注的东西，它们今年终于实现了飞跃。缺失的组件是归属。我们现在可以在飞行中识别为 LLM 竞争做出贡献的训练数据。这意味着您可以支付股息。这对于出版商来说是一个被忽视的机会，他们正在与前沿模型进行集体诉讼。其中一些人不得不屈服于平面许可协议，而我相信他们有机会从归属模型中获得更可持续的收入。

机器人领域即将发生一场革命。NVIDIA 和其他公司宣布的世界模型实现了非常准确和可扩展的物理模拟。因此，预计人工智能将变得更加物理化。

变压器架构最终与状态空间模型（如 RNN、mamba 等）合并，产生了令人惊叹的小型 LLM。我们现在知道变压器的确切局限性，这在性能中起着重要作用，但我们仍然缺乏下一步。变压器已经被证明是坚韧且具有弹性的。我们不知道的是，是否会是人类或变压器设计下一个 LLM 的新架构！变压器统一了 NLP 中所有零碎的架构（是的，不要忘记 GenAI 起源于基本的 NLP 任务，例如实体分类）。它适用于数学，这一年它适用于表格，但它还没有适用于物理。我数过了 15 多种不同的架构。因此，统一物理的新架构也可能是取代变压器的架构，在 AGI 的旅程中。

感谢您这次精彩的采访，希望了解更多的读者可以访问 RelationalAI。