面试
TELUS Digital人工智能增长与创新高级总监Steve Nemzer——访谈系列
史蒂夫·内姆泽内姆泽先生是TELUS Digital人工智能增长与创新高级总监，负责领导多项旨在推进下一代人工智能系统训练数据和基础设施的计划。他的工作包括开发用于深度研究模型、强化学习环境、世界模型数据、自主人工智能计划和人工智能风险缓解框架的数据集，并着重关注负责任的人工智能实践，例如解决数据集偏差和支持人工智能训练人员的公平工作条件。在其职业生涯早期，内姆泽先生创立了VeriTest Labs，帮助包括微软、英特尔、甲骨文和Sun Microsystems在内的早期技术领导者构建蓬勃发展的第三方软件生态系统，之后该公司被Lionbridge收购。
TELUS 数字 是一家全球技术服务公司，致力于帮助企业设计、构建和运营数字化平台及人工智能解决方案。公司业务遍及数十个国家，提供人工智能训练数据和标注、数字产品工程以及客户体验管理等服务。其平台和服务支持包括科技、金融、医疗保健、电信和游戏在内的各行各业的企业实现运营现代化并部署先进的人工智能功能。
鉴于您在人工智能测试、数据验证和负责任的部署方面的背景，您如何看待从语言驱动的生成式人工智能向旨在推理现实世界情况和结果的世界模型的转变，尤其是在您目前在 TELUS Digital 的职位上？
大型语言模型（LLM）本质上是模式预测系统。它们通过预测下一个词元来生成响应，而预测依据是已从大型静态语料库中学习到的模式。虽然这看起来像是在进行推理，但实际上该模型并没有模拟行为如何改变世界的状态。
世界模型采用了一种不同的方法。它们并非预测下一个词或词元，而是通过对状态转换进行建模来预测系统的下一个状态。这使得系统能够模拟环境如何响应行为而演变。在实践中，这为假设推理打开了大门，模型可以在做出决策之前评估不同的可能结果。对于交互式系统而言，这可以支持更可靠的决策和规划。
这种转变也改变了我们对负责任部署的思考方式。传统的生成式人工智能系统主要关注偏见和幻觉等问题。随着模型逐渐发展到能够推理环境和行为，其他风险也变得更加突出。
例如，组织需要考虑“模拟与现实”之间的差距，即在模拟环境中学习到的行为可能无法完全转化为现实世界的行为。分布偏移也成为一个关键问题，因为模型在部署过程中遇到的环境可能与训练数据有所不同。
正因如此，测试和验证才显得至关重要，这也是我在TELUS Digital工作中的主要职责。随着人工智能系统从语言生成发展到与环境交互并做出决策，各组织需要严格的评估框架来确保模型在真实环境下可靠运行。
许多人熟悉大型语言模型，但了解世界模型的人却少得多。简单来说，世界模型试图解决的是什么问题，是大型语言模型从根本上难以解决的？
世界模型是一个能够根据当前状态和动作预测“接下来会发生什么”的系统。公式为：状态 + 动作 → 下一个状态
如果我手里拿着一个苹果，然后松手，世界模型会预测苹果会掉下来。它不仅仅知道苹果“长什么样”或者人们对苹果掉落的“说法”——它还会基于对物理学的理解来预测后果。一个更复杂的世界模型能够预测，如果我在国际空间站上做同样的事情，会发生什么，而不是在地球表面。
这与逻辑逻辑模型（LLM）不同。LLM 的预测是：“给定这一系列词元，下一个词元是什么？” 它基于文本进行训练——即人类对世界的描述，而非世界本身。它可以告诉你苹果掉下来会下落，因为它读过相关的文本。但它没有模拟苹果下落的内部物理引擎。
换句话说，语言逻辑模型（LLM）擅长通过统计方法预测问题答案中的下一个词，但理解真实世界远不止于语言描述和连贯性。世界模型旨在理解情境如何逐步演变，在当前状态和即将发生的动作下，下一个状态是什么，以及存在哪些约束条件。
世界模型通常被描述为使人工智能系统能够在采取行动之前模拟结果。这在实践中是什么样的？我们距离在研究环境之外看到它可靠地发挥作用还有多远？
回答这个问题的难点在于，“世界模型”这个术语的使用相当宽泛，其含义往往会随上下文而变化。一个简单的世界模型定义是：它们允许智能体模拟其当前环境状态并预测未来状态，并推断后续后果。研究人员倾向于根据世界模型的表示和处理方法对其进行更细致的分类。例如，潜在世界模型将环境的“本质”提炼到一个紧凑的聚焦空间中；生成式世界模型“理解”物理定律，从而逐帧创建视觉表示；还有联合嵌入预测架构（JEPA）模型，它根据过去的行为预测结果。
潜在世界模型已经走出实验室，开始应用于自动驾驶、仓储运营、工业运营和农业等领域。生成式世界模型则出现在游戏引擎开发的合成数据创建、自动驾驶应用、具身人工智能应用（例如模拟类人动作的视频）以及建筑渲染等领域。
JEPA 方法备受业界领军人物如颜乐存的推崇，它预测的是抽象表示空间中的结果，而非生成像素。机器人此前大多局限于受控环境，但 JEPA 正在改变这一现状，使机器人能够适应开放式的真实世界环境。自动驾驶汽车就是一个很好的例子——一些自动驾驶汽车正在利用 Genie 3 生成高度逼真的交互式模拟环境，用于训练并更好地应对诸如施工区域等罕见事件。
显然，要将这些模型从沙盒环境转移到现实世界中，还需要进行更多的安全性和可靠性测试。
从企业的角度来看，您认为世界模型会在哪些领域率先带来有意义的价值，是机器人、自主决策系统、数字孪生，还是更抽象的商业环境？
我的直觉是，数字孪生技术很可能首先带来实际价值。它能够复制真实世界系统的状态，让我们在采取行动之前测试各种场景。例如，在供应链系统中，制造商可以构建其零部件合作伙伴网络的孪生模型。该仿真模型可以利用传感器数据、日志和遥测数据进行输入，并回答诸如“如果霍尔木兹海峡关闭会发生什么？”之类的问题。这样，我们就可以在实际改变物流之前测试重新安排运输路线的方案。这有助于我们从监控实时系统过渡到模拟实时系统。
世界机器人模型所蕴含的深刻价值正同步发展。如果机器人能够理解物理的基本属性，例如拾取物体时表面的摩擦力，这将极大地推动具身人工智能的部署。
您的职业生涯主要集中在数据集的收集、标注和验证上。从静态文本训练转向教系统如何理解世界随时间变化的行为时，数据挑战会发生哪些变化？
世界模型赋能所需的数据收集现状，需要对以往的LLM训练方法进行重大变革。首先，我们缺乏海量的预训练数据，例如来自Common Crawl的PB级数据和数十亿个网页数据。一些机器人研究人员推测，我们目前的数据量仅为训练物理智能和世界模型所需数据的千分之一，而要达到例如GPT-2那样的性能水平，数据量可能非常有限。
因此，构建这些数据集需要一些时间。就具身人工智能而言，我们需要数百万小时的带标注的以自我为中心的多传感器数据集。其中一些来自远程操作，一些来自合成环境，例如 Isaac Sim。在 TELUS Digital，我们已经从文本数据集转向多模态数据集、多传感器数据集和模拟数据集。当然，我们在计算机视觉领域强大的数据收集和标注背景也为此提供了帮助。多年来，我们一直处于该领域的前沿。
除了预训练数据和带标注的微调数据匮乏之外，强化学习在规模化应用过程中还会面临许多其他训练挑战。或许需要像GPT和RL概念这样具有变革性的新范式（此处并无双关之意），才能加速全球模型训练方法效率的突破。
世界模型不仅生成输出，还会影响决策。与生成式人工智能系统相比，这会带来哪些新的安全或治理风险？
由于世界模型本质上是为了支持智能体运行而设计的，因此存在诸多安全和治理风险。所以，我们对当今一代人工智能智能体的所有担忧，在世界模型场景中依然适用。我们需要对所有重要决策进行人工监督，无论这些决策涉及交通安全、职业安全、医疗保健、金融还是日常活动。
以世界模型为例，仿真训练数据与真实世界环境之间存在差距。即使是训练有素的机器人，在仿真环境中也难以应对微观表面变化带来的挑战。
另一个风险与人的行为有关。随着系统变得越来越自主，人类将开始过度依赖它，监管可能会变得松懈，最终导致系统无法进行必要的重新校准。
偏见和信任问题仍然是人工智能普及应用的主要障碍。当人工智能系统开始在复杂的现实世界或社会环境中进行建模和行动时，这些问题又会如何演变？
从普通民众到企业高管，人们对人工智能模型的信任度和信心已经很低，而且我认为短期内这种情况不会有太大改变。
人们对人工智能权力过于集中在少数人手中、人工智能抢走工作、人工智能的偏见使弱势群体处于不利地位、模型做出影响个人健康、职业和财务的决策、模型未经许可使用知识产权以及人工智能深度伪造技术的担忧已经非常强烈。企业高管们担心如何应对劳动力转型、数据隐私和监管合规问题，以及在人工智能“军备竞赛”中落后于竞争对手。
最近有关政府向人工智能基础模型构建者施压，要求其放宽关于自主武器或大规模监控等领域使用条款的新闻报道，只会加剧人们的担忧。更智能、更自主的基于世界模型的机器人的更广泛部署也会造成同样的问题。
另一方面，我们看到人工智能在某些领域得到了广泛的应用和认可。例如，编码代理在过去几个月里迅速发展。软件开发经理对编码代理非常信任，软件开发方式也发生了根本性的转变，从产品需求文档（PRD）的开发到发布后的回归测试，无一例外。软件开发领域正以惊人的速度发展，这很大程度上归功于人们对高性能编码代理的信任。随着用户对其他应用场景的信心不断增强，我预计人工智能的应用也将以类似的方式迅速普及。
建立信任的解决方案包括在训练阶段使用多样化的数据集和环境，以及在部署前进行广泛的红队演练和压力测试，作为安全保障。积极主动的监管也必不可少。有人建议，应强制要求基础模型构建者在发布新模型之前提供类似于环境影响报告（EIR）的“社会影响报告”。
在TELUS Digital，大部分工作都涉及为真实企业和真实用户大规模部署人工智能。像世界模型这样的理念如何与透明度、对员工的影响以及维护客户信任等实际问题相交织？
需要说明的是，TELUS Digital 既与上游的基础模型构建者直接合作，也与下游部署人工智能模型的企业合作。我们的业务范围涵盖整个系统：
关于实际操作方面的问题与之前关于信任的探讨密切相关。我们不妨来看看员工信任问题。随着基于世界模型的AI日益普及，高管需要对员工、承包商和客户保持透明。他们需要清晰地沟通这些模型的优势、训练方法、训练所用数据、已采取的保障措施以及人工监督的环节。企业领导者需要向现有员工展示新模型的价值，例如，它们可以承担工作中所有繁琐的体力劳动。此外，他们还需要为受影响的员工指明转型路径，帮助他们找到新的工作岗位，因为以往的工作越来越多地由基于世界模型的AI完成。白领员工正在实时应对这些问题，随着基于世界模型的自动化技术的扩展，未来几年许多体力劳动岗位也将受到影响。
人工智能研究人员的理解与公众的认知之间存在越来越大的差距。组织机构如何才能在不夸大自身能力的前提下，以建立信任的方式传达诸如世界模型之类的最新进展？
归根结底，关键在于模型局限性和优势的透明度。要说明如何训练模型以减少潜在偏差，以及现有的人工监督机制。一些模型功能和应用案例的实际演示，再加上长期研究，能够极大地提升公众和员工的信心。
最后，您认为目前关于人工智能世界模型的一个常见误解（无论是过于乐观还是过于谨慎）是什么？需要立即纠正吗？
由于公众对世界模型的了解有限，一种误解是世界模型需要理解 所有 为了有效运行，自动驾驶汽车无需掌握物理学和科学知识。全球通用的自动驾驶模型将比预期更快推出，因为其应用场景可以缩小范围。自动驾驶汽车只需了解交通动力学和道路相关的物理原理，以及当前状况（例如靠近小学或附近有大量高大SUV）将如何影响其视野和决策。自动驾驶汽车无需掌握制作舒芙蕾所需的物理原理即可运行。
感谢您的精彩采访，想要了解更多信息的读者可以访问 TELUS 数字.
