斯蒂夫·内姆泽（Steve Nemzer），TELUS Digital高级总监，人工智能增长与创新 – 采访系列

斯蒂夫·内姆泽，TELUS Digital高级总监，人工智能增长与创新，领导着推进人工智能训练数据和基础设施的倡议，以支持下一代人工智能系统。他的工作包括开发深度研究模型、强化学习环境、世界模型数据、主权人工智能倡议和人工智能风险缓解框架，强调负责任的人工智能实践，如解决数据偏差和支持人工智能训练员的公平工作条件。早在他的职业生涯中，内姆泽创立了VeriTest Labs，帮助早期技术领导者，包括微软、英特尔、甲骨文和太阳微系统，建立繁荣的第三方软件生态系统，直到该公司被狮桥收购。

TELUS Digital是一家全球技术服务公司，帮助组织设计、构建和运营数字平台和人工智能驱动的解决方案。跨越数十个国家，公司提供诸如人工智能训练数据和注释、数字产品工程和客户体验管理等服务。其平台和服务支持各个行业的企业，包括技术、金融、医疗保健、电信和游戏，帮助他们现代化运营和部署高级人工智能能力。

考虑到您在人工智能测试、数据验证和负责任部署方面的背景，您如何看待从语言驱动的生成人工智能向世界模型的转变，世界模型旨在推理现实世界的情况和结果，特别是在您当前的TELUS Digital角色中？

大型语言模型（LLM）本质上是模式预测系统。它们通过预测基于从大型静态语料库中学习的模式的下一个标记来生成响应。虽然这看起来像推理，但模型实际上并没有模拟行动如何改变世界的状态。

世界模型采取了不同的方法。与预测下一个单词或标记不同，世界模型旨在通过模拟状态转换来预测系统的下一个状态。这使得系统能够模拟环境如何对行动做出反应。在实践中，这为假设性推理打开了大门，模型可以在做出决定之前评估不同的可能结果。

这种转变也改变了我们对负责任部署的思考方式。与传统的生成人工智能系统相比，人们更多地关注偏差和幻觉等问题。随着模型转向推理环境和行动，其他风险变得更加突出。

例如，组织需要考虑“模拟到现实”的差距，即在模拟环境中学习的行为可能无法直接转化为现实世界条件。分布转移也成为一个关键问题，因为模型在部署中遇到的环境可能与它们训练的数据不同。

这是测试和验证变得至关重要的地方，这也是我在TELUS Digital中的一个主要重点。随着人工智能系统超越语言生成，转向与环境交互并做出决策的系统，组织需要严格的评估框架，以确保模型在现实世界条件下可靠地运行。

许多人熟悉大型语言模型，但很少有人了解世界模型。在简单的术语中，世界模型试图解决大型语言模型根本上难以解决的问题是什么？

世界模型是一种可以预测“接下来会发生什么”的系统，给定当前状态和行动。公式是：状态 + 行动 → 下一个状态

如果我拿着一个苹果并放开它，世界模型会预测苹果会掉下来。它不仅仅知道苹果的“外观”或人们“关于”掉落苹果的说法——它基于对物理的理解预测后果。一个成熟的世界模型会预测，如果我在国际空间站上做同样的事情，与在地球表面上做同样的事情相比，会发生什么。

这与大型语言模型不同。大型语言模型预测：“给定此序列的标记，下一个标记是什么？”它是基于文本训练的——人们对世界的写作，而不是世界本身。它可以告诉你苹果掉落的原因是因为它读过关于它的内容。但是它没有一个内部的物理引擎来模拟掉落。

换句话说，大型语言模型擅长统计预测序列中下一个单词，但理解现实世界超出了语言描述和凝聚力。世界模型旨在了解情况如何一步一步地演变，给定当前状态和即将发生的行动，什么是下一个状态，什么是约束。

世界模型通常被描述为使人工智能系统能够在采取行动之前模拟结果。这种情况在实践中是什么样子，我们离看到它在研究环境之外可靠地发挥作用还有多远？

回答这个问题的挑战在于“世界模型”这个术语被相当宽松地使用，其含义往往取决于上下文。一个简单的世界模型定义是，它们允许代理模拟其当前状态环境并预测未来状态，推理下游后果。研究人员往往根据其表示和处理方法对世界模型进行更细致的分类。有潜在世界模型，它们将环境的“本质”提取到一个紧凑的空间中。有生成世界模型，它们“理解”物理学以创建逐帧的视觉表示，还有联合嵌入预测架构（JEPA）模型，它们从过去的行动中预测结果。

潜在世界模型已经离开研究实验室，并在诸如自动驾驶、仓库运营、工业运营和农业等应用中提供帮助。生成世界模型出现在合成数据创建、游戏引擎开发、自主驾驶用例、具身人工智能用例和建筑渲染等领域。

JEPA方法，由行业领袖如Yan LeCun倡导，预测结果在抽象表示空间中而不是生成像素。机器人长期以来一直局限于受控环境，但JEPA正在改变这一点，允许机器人转向开放式、现实世界的环境。自动驾驶汽车是一个很好的例子——一些自动驾驶汽车使用Genie 3生成超逼真、交互式模拟以进行训练和更好地处理罕见事件，如施工区。

显然，为了扩大这些模型的规模并将它们推出沙盒环境，需要更多的安全性和可靠性测试。

从企业角度来看，您预计世界模型将首先在哪里提供有意义的价值，无论是在机器人、自主决策系统、数字孪生还是更抽象的商业环境中？

我的直觉是数字孪生可能会首先提供实际价值。复制现实世界系统的状态，以便我们可以在采取行动之前测试场景。例如，在供应链系统中，制造商可以建立其零部件合作伙伴网络的孪生体。模拟可以由传感器数据、日志、遥测数据提供输入，并回答诸如“如果霍尔木兹海峡关闭会发生什么？”这样的问题。因此，我们可以在实际改变物流之前测试重新路由货物。这有助于我们从监控实时系统转变为模拟实时系统。

世界模型为机器人提供的有意义的价值也正在同步推进。让机器人了解物理的基本属性，例如在拾取物体时表面的摩擦力，将推动具身人工智能的部署。

您的大部分职业生涯都集中在数据集收集、注释和验证上。当从静态文本训练转向教导系统了解世界如何随时间变化时，数据挑战如何变化？

使世界模型可用的数据收集情况需要从昨天的大型语言模型训练方法中进行重大转变。首先，我们没有大量的预训练数据可用，来自Common Crawl的数百万字节和数十亿个网页。一些机器人研究人员推测，我们只有1/1000所需的数据来训练物理智能和世界模型，以达到GPT2等性能点。

因此，构建这些数据集需要一些时间。在具身人工智能的例子中，我们需要数百万小时的注释自我中心多传感器数据集。一些数据是远程操作的，另一些来自合成环境，如Isaac Sim。在TELUS Digital，我们已经从文本转向多模态和多传感器数据集和模拟数据集。当然，我们的计算机视觉数据收集和注释背景在这方面帮助了我们很多年。

除了预训练数据和注释精调数据的稀缺性之外，还会有其他训练挑战，例如扩大强化学习的规模。可能需要新的变革性范式，如GPT和强化学习概念，来加速世界模型训练方法的突破。

世界模型会影响决策，而不仅仅是生成输出。与生成人工智能系统相比，这会引入什么样的新安全或治理风险？

存在许多安全和治理风险，因为世界模型本质上是为了支持代理操作而设计的。因此，与今天的人工智能代理相同的担忧在世界模型情景中仍然适用。我们需要人工监督所有重要的决策，无论是与交通安全、职业安全、医疗保健、财务还是日常活动相关的决策。

一个特定于世界模型的例子是模拟训练数据与现实世界环境之间的差距。一个微小的表面变化可能会使现实世界对于在模拟中训练良好的机器人来说变得混乱。

另一个风险与人类行为有关。随着系统变得越来越自主，人类将开始严重依赖它，最终监督可能会变得松懈，系统将无法获得必要的重新校准。

偏差和信任仍然是人工智能采用的主要障碍。随着人工智能系统开始在复杂的现实世界或社会环境中建模和采取行动，这些问题如何演变？

从一般公众到C-suite，人们对人工智能模型的信任和信心已经很低，我不认为这种情况会在短期内有太大变化。

人们担心人工智能权力集中在少数人手中，人工智能会抢走工作，人工智能偏差会使代表性不足的群体处于不利地位，模型会做出影响人们健康、职业和财务的决定，模型会在未经许可的情况下使用知识产权，以及对人工智能深度伪造的担忧已经很高。高管们担心处理工作岗位转变、数据隐私和监管合规性，以及在人工智能“军备竞赛”中落后于竞争对手。

最近关于政府向人工智能基础模型构建者施压的新闻，要求他们放松使用条款，例如关于自主武器或大规模监视的内容，只会加剧这些担忧。世界模型基于的更智能和更自主的机器人的更广泛部署也会产生同样的效果。

另一方面，我们正在看到人工智能采用的广泛口袋和信心。一个例子是编码代理的方式已经在过去的几个月里爆发式增长。软件开发经理对编码代理有很高的信任度，软件开发的方式正在从PRD开发到发布后回归测试发生着根本性的变化。软件开发的世界正在以极快的速度发展，很多都是由于对高性能编码代理的信任。随着用户在其他用例中对人工智能的信心增长，我预计采用率也会以类似的方式爆发。

建立信任的解决方案包括在训练阶段使用多样化的数据集和环境，以及在部署之前作为安全防护的广泛红队测试和压力测试。积极的监管监督也是必须的。有些人建议，基础模型构建者在发布新模型之前应该提供“社会影响报告”，类似于环境影响报告（EIRs）。

在TELUS Digital，大部分工作涉及为真正的企业和真正的用户部署人工智能。世界模型的想法如何与实际问题交汇，例如透明度、工作岗位影响和维持客户信任？

为了澄清，TELUS Digital既与基础模型构建者合作，也与部署人工智能模型的企业合作。我们的工作领域是端到端的：

关于实际问题的提问与之前关于信任的问题有关。让我们来看看工作岗位信任的问题。随着世界模型启用的人工智能变得更加普遍，高管需要与员工、承包商和客户保持透明。需要清晰的沟通来说明模型的优点、如何训练它们、用什么数据训练它们、有什么防护措施，以及哪里需要人工监督。企业领导者需要向当前工作人员展示新模型的价值，例如做所有的苦力活。他们需要为可能转移到新出现的工作岗位的受影响工人展示转型路径，因为世界模型人工智能正在日益自动化地完成以前的工作。白领工人正在实时处理这件事，很多体力劳动工作在未来几年里会受到世界模型人工智能启用的自动化的影响。

人工智能研究人员和公众之间的认知差距越来越大。组织如何以建立信任的方式传达像世界模型这样的进步，而不夸大其能力？

同样，这归结为对模型局限性的透明度以及它们擅长什么。沟通如何训练模型以减轻潜在偏差。什么人工监督机制已经到位。一些现实世界的演示和长期研究可以大大增加公众和工作人员的信心。

最后，您认为现在需要纠正的一个关于人工智能世界模型的常见误解是什么，无论是过于乐观还是过于谨慎？

在有限的范围内，普通公众了解世界模型，一个误解是世界模型需要了解所有物理和科学知识才能有效。世界模型将比预期更快地推出，因为个别用例可以被缩小。一个自主车辆只需要了解交通动态和道路相关的物理学，并了解当前状态条件（例如，靠近小学或附近有高剪影的SUV）将如何影响其视觉和决策。一个自主车辆不需要了解支配烘焙蛋白酥的物理学才能运行。

感谢这次精彩的采访，读者可以通过访问TELUS Digital网站来了解更多信息。