访谈
马洛斯·C·马查多，阿尔伯塔大学兼职教授、Amii 研究员、CIFAR AI 讲席教授 – 访谈系列
将 Unite.AI 添加到您在 Google 上的首选来源
马洛斯·C·马查多（Marlos C. Machado）是阿尔伯塔机器智能研究所（Amii）的驻所研究员、阿尔伯塔大学兼职教授及 Amii 研究员，并担任加拿大 CIFAR AI 讲席教授。他主要研究强化学习，在巴西米纳斯吉拉斯联邦大学（UFMG）获得学士和硕士学位，在阿尔伯塔大学获得博士学位，期间推动了通过选项（options）进行时间扩展探索的理念。
他于 2021 至 2023 年在 DeepMind、2019 至 2021 年在 Google (GOOGL ) Brain 担任研究员，对强化学习作出重要贡献，尤其是利用深度强化学习控制 Loon 的平流层气球。他的研究发表于 Nature、JMLR、JAIR、NeurIPS、ICML、ICLR 和 AAAI 等顶尖期刊及会议，也获得 BBC、Bloomberg TV、The Verge 和 Wired 等媒体报道。
我们在埃德蒙顿举行的 2023 年年度 AI 大会 Upper Bound 上进行了采访。大会由 Amii（阿尔伯塔机器智能研究所）主办。
你主要研究强化学习，是什么吸引你选择这种机器学习方法？
我喜欢强化学习通过交互来学习的理念。在我看来，这很自然，某种程度上像人类的学习方式。我不想把 AI 拟人化，但直觉上，你尝试做事，有的结果好、有的不好，于是学会做带来更好结果的事。让我着迷的是，智能体真的与世界交互，可以提出假设，再检验假设。
这意味着它能发现新的行为。著名例子是 AlphaGo 的第 37 手，纪录片谈到它时，人们说那是创造力。那是一招前所未见、令人惊讶的棋，并不是从现成资料中找到的，而是通过与环境交互发现的。我们控制平流层气球的项目也出现过类似情况。
有些涌现行为让所有人印象深刻：我们从没想到，但它很巧妙。强化学习特别适合发现这类行为，因为能交互。一个难题是反事实：如果我当时采取另一种行动，结果会怎样？在很多机器学习研究场景中，你对此无能为力；强化学习却可以在下次遇到相同情况时试一试。我很喜欢这种交互性。
当然，我也不会否认那些很酷的应用带来的吸引力。回顾几十年前强化学习最早的成功案例，它们同样让我觉得这个领域很有意思。
你最喜欢的早期应用是什么？
有两个著名例子：斯坦福大学用强化学习控制直升机，以及九十年代达到世界冠军水平的双陆棋程序 TD-Gammon。因此读博士时，我特意去 IBM 跟随 Gerald Tesauro 实习，他就是 TD-Gammon 项目的负责人，这让我觉得很棒。
有趣的是，刚开始时我并不完全了解强化学习。申请研究生时，我只知道想做机器学习，于是浏览许多教授的网站和研究介绍，觉得某些方向很有趣。回头看，我在不了解领域的情况下选中了强化学习的著名教授，不是因为他们有名，而是因为他们描述的研究吸引我。我当时只是想：“这个网站很不错，我想跟这位老师、那位老师一起工作。”
也就是说，你很自然地发现了他们。
没错。回头看，很多都是我很早以前申请合作的人。甚至还没弄清自己要做什么时，读到别人在论文中介绍某项研究，我就觉得值得读一读。这样的兴趣总是把我带回强化学习。
在 Google Brain 时，你参与平流层气球的自主导航。为什么它适合为难以覆盖的地区提供互联网？
我不是这方面的专家，这是 Alphabet (GOOG ) 旗下 Loon 的设想。通常我们建天线提供网络，比如在埃德蒙顿建一座，可以覆盖半径五六公里。在纽约市中心，可能服务数百万人；但若要服务亚马逊雨林里一个只有约 50 人的部落，建天线的经济成本就很难合理化，进入当地本身也很困难。
在人口稀少且难以抵达的地区投入大量基础设施，经济上不划算。气球的想法是：如果天线能非常高，比如高达 20 公里呢？我们不会建这样的天线，却可以把气球放在那里。覆盖半径若扩大十倍，面积就能扩大一百倍。放在森林或丛林中间，也许就能服务多个原本各需一座天线的部落。
这正是项目动机之一。我记得 Loon 的口号不是连接“下一个十亿人”，而是连接“最后十亿人”，也就是最难覆盖的人群，非常有雄心。
你们需要解决哪些导航问题？
气球没有推进装置，导航方式类似热气球：上升或下降，找到朝所需方向吹的气流，顺风移动；不想再往那个方向走，就换高度找另一股风。但 Loon 的气球并非热气球，而是飞在平流层中的固定容积气球。
从导航角度说，它只能上升、下降或保持高度，必须寻找能把自己带到目标区域的风。挑战很多。首先要留在目标区域提供互联网，同时气球依靠太阳能，还得保留足够电力。这是多目标优化：既要到达合适区域，也要节能。
深入看，你只知道当前位置的风，不知道上方 500 米的风。这就是部分可观测性。虽然有预报，风向却可能错到 90 度。我们面对数百层不同气流，还要考虑风速、风向、模型以及预报的不确定性和可信程度，是极高维的问题。
项目完成后，一个难处甚至是如何向别人传达它到底多难。它不是屏幕上直观看到的东西，而是数百个维度、各层风况，以及上次测到某层风是什么时候。还要同时考虑电量、时刻和目标位置，信息非常多。
机器学习具体学习什么？只是风的规律和温度吗？
我们有风场模型，它是机器学习系统，但不是强化学习。利用各高度的历史数据来建模。这里说“我们”，其实我没有参与那部分；Loon 在 Google Brain 加入前已经完成。模型还要解决如何在不同高度之间插值，例如知道两年前某处的风，但不知道再高十米是什么情况。
他们用高斯过程来建模，也发表过相关论文。我们从强化学习角度出发，既有很好的气球动力学模拟器，也有风场模拟器。然后假设回到 2010 年：我们有那年全球的粗粒度风场数据，再叠加机器学习模型和高斯过程，还可以加入噪声及其他变化。
这样结合气球动力学和风场，利用历史环境，就构成了一个模拟器。
就像回到过去的数字孪生。
没错。我们设计奖励函数，让气球尽量留在目标区域并节约电力。它通过与模拟世界交互来学习。我们不能完整地建模天气和风，却能假设处于过去，利用历史资料学习导航。基本决策就是上升、下降还是保持高度；综合周围情况，最终目的是为那个区域提供互联网。
与游戏环境相比，在现实世界部署强化学习有哪些挑战？
我觉得有几个挑战，而且不一定是游戏与现实的区别，更是基础研究与应用研究的区别。游戏也可以做应用研究，例如把模型发布给数百万玩家。一个主要挑战是工程。研究常用游戏，因为它包含许多我们关心的属性，同时约束比较明确，便于验证。与其说更安全，不如说它是我们更了解、限制更清晰的环境。
研究本身未必必须完全不同，但现实部署有额外挑战，比如安全约束。我们必须确保气球不会做危险的事，强化学习智能体不会学到未预见、后果不良的行为。游戏里最坏可能只是输掉一局，现实里则不一样。
还有整个产品的工程技术栈，不能像研究者独自验证游戏那样自由实验。你必须熟悉额外的系统。团队规模也不同，Loon 有几十甚至上百人。虽然我们只与其中少数人合作，但他们还有控制室与航空人员沟通，我们原来对此一无所知，涉及的利益相关方更多。
另外，算法依赖的假设到了现实可能不成立，必须解决。现实不像自己研究的受限游戏那样友好。
我喜欢讲一个例子。拿到资料一两周后，我们告诉 Loon 工程师：“问题解决了，准确率百分之百。”他们笑着说不可能，因为有时根本没有合适的风。仔细检查才发现，算法让气球到区域中央，不断上升直到爆裂，然后残骸落在区域里，再也不离开。显然这不是我们想要的。虽然发生在模拟中，但也提醒我们加上约束，比如不得升到会爆裂的高度。
若只在游戏中研究，很容易忽略这些现实约束以及方案与其他系统的相互作用。进入现实后才发现行为有后果，必须考虑，这是主要难点之一。
另一个是实验周期。游戏按下开始，最坏一周就有结果；平流层气球的验证却不同。我常说我们是在平流层做 A/B 测试。对方案有信心后，还要确认它在统计上更好。我记得我们让 13 个气球在太平洋上空飞了一个多月，才验证出效果确实更好。时间尺度完全不同，尝试机会少得多。
不像游戏，可以同时运行上百万次相同实验。
是的，训练时我们可以利用模拟，虽然模拟器比游戏慢得多，但工程上还能处理。到了现实世界，就完全不同了。
你目前在研究什么？
现在我在阿尔伯塔大学，有一个包含很多学生的研究组，他们让我能探索更多方向。我特别兴奋的是持续学习。通常机器学习会进行一轮计算，利用模拟器或数据集训练模型，然后部署，希望表现不错。很多时候这完全够用，但现实可能太复杂，无论模型多大，都无法预先涵盖所有情况，因此必须适应。
例如，我们参与水处理厂项目，研究强化学习如何辅助人类决策，或自主控制水处理。水质可能几小时内就变了。即使用前一天的数据每天训练模型并迅速部署，几小时后它也可能因数据漂移而失效。环境不是静态的，上游可能发生森林火灾，也可能开始融雪。若要事先完整建模，几乎得模拟整个世界。
人类也不会这样做，而是适应并继续学习：“原来的做法失效了，我得学别的方法。”许多现实应用需要永久持续学习，这并非机器学习的标准模式。通常我们批量训练，部署模型，再过几天或几周更新，但这些时间尺度有时与现实变化不匹配。
难题是如何永远持续学习、改进并适应。我们发表过一些论文，现有方法，包括很多业内最佳方案，若不是停止训练后部署，而是让它不断学习，表现会很快恶化。固定模型已经取得许多成功，也会继续使用，但作为研究者，我认为持续学习是一个前沿。
强化学习特别适合探索这一点，因为很多算法本来就随数据到来进行处理，天然具备持续学习的形式。这不代表它们已经做到或擅长这样做，但提供了许多有趣的研究问题。
你最期待持续学习的哪些未来应用？
这是价值十亿美元的问题，我一直在寻找这些应用。作为研究者，提出正确问题就完成了一大半工作。强化学习常由问题推动，比如平流层里的五个气球要怎么控制，然后在解决中取得科学进展。我目前与 Adam White、Martha White 等人合作，他们领导水处理厂项目。这令我兴奋，因为问题甚至很难用语言完整描述，现有语言技术的成功并不能直接搬过去。
水的浊度、温度等经常变化，而且时间尺度不同，持续学习不可避免。社会价值也巨大，很难想象有什么比为人们提供饮用水更重要。在加拿大北部等人口稀少地区，有时甚至缺少水处理厂操作人员。目的不一定是取代他们，而是让我们在缺乏人力时也能完成原本做不到的事情。
这是极具挑战性的研究。我们没有模拟器，也没有条件获得，因此必须尽量利用数据、在线学习。另一个我还没有深入研究但感兴趣的方向是建筑制冷，涉及天气、气候变化和实际影响。比如今天这里有几百人，和上周很不一样，还应该使用同样的控制策略吗？目前往往只有恒温器；其实可以更聪明地适应，有的房间人多，有的人少。
这类高维、难以凭直觉理解的控制系统，有很多改进现有方法的机会。
有些地方高达 75% 的用电来自空调，所以这很有意义。
没错。家中已经有利用机器学习、从用户行为学习的产品；在大型建筑里可以做得更精细。佛罗里达、巴西等地需求很大，数据中心冷却也是一个方向，有些公司已经在尝试。听起来像科幻，但根据需求持续学习和适应，能显著影响这类高维控制问题。
就像气球项目，我们展示了强化学习，尤其深度强化学习，能依据传感器学到比人类设计更复杂的决策。人设计响应曲线时，可能想的是线性或二次关系；神经网络却能学到各种非线性，从而做出更细致、有时很有效的决策。
感谢这次精彩采访。想了解更多的读者，可以访问以下资源：
