人工智能日益聪明，保持一致却越来越难

我整个职业生涯都在努力理解智能。我学习神经科学，是因为我对人工智能感兴趣，也觉得先了解大脑如何运作是个不错的起点。先理解智能，再谈“人工”智能。这段训练让我养成了一个习惯。每当一种新能力或新技术出现，我首先会提出一个实际问题：它真正能做什么？又能解决哪些现实问题？

作为一名人工智能从业者，我很少为人工智能领域的头条新闻喝彩。我会拨开喧嚣，不只关注突破，也会审视新能力的局限。

从平淡无奇的工具到攸关成败的可靠性

早在2020年，人工智能安全议题的讨论正被炒作推向高潮，当时我给出了一些直截了当的建议：把人工智能当作一种工具——它很强大，但终究还是工具。专注于那些不那么炫目的应用场景。在任务层面开展工作，因为当时这项技术已经足够可靠，能够提供帮助。我所设想的乐观前景，就是这些平淡却实用的工具。

几年后，智能体浪潮开始兴起，我仍用同样的视角看待它，结果并不信服。智能体系统的实力取决于其底层任务，而当时我还没看到这些系统要发挥效用所必需的任务级可靠性。

然而，炒作愈演愈烈。去年年初我参加RSA时，言论与实质之间的差距依然显而易见。人们甚至对“智能体”一词都没有共同的理解；每个人都有不同的定义和看法。我还担心一个结构性问题。假设有十个智能体，每个的准确率约为95%。把它们串联起来，让一个智能体的输出成为下一个的输入。到了链条末端，准确率就会降至约60%。可靠性经不起层层叠加。那时，我开始思考智能体系统，但我仍然担心它们是否值得信赖，能否正常工作并带来实质性改变。

后来，编程智能体迅速改进，让我改变了看法。

在我发表那篇相关文章后的几个月内，惊人的进步速度让我明白了一件事：对于若干现实任务而言，可靠性问题终将得到解决。更好的模型，加上围绕它们构建的更完善工程工具链，将会弥补我一直担心的差距。我所担忧的能力上限也会随之提高。

就在那时，真正的问题清晰地浮现出来，而这并不是我此前一直关注的问题。一旦你能够信任单个智能体，就不会在部署第一个之后停下脚步。你会部署许多个。它们成群部署在各个职能领域，各有所长，各司其职。随之而来的一个新问题与可靠性毫无关系：如果每个智能体都完成了它被设计来执行的任务，那么整个智能体群是否仍能实现组织的预期目标？

组织需要本体感觉

身体即使四肢健全，若缺乏本体感觉——也就是持续感知身体各部分的位置和活动状态的内在能力——仍无法自如行动。小脑的作用不只是对这些反馈作出反应，它还会进行预测。当大脑发出运动指令时，它会预想该动作应当产生怎样的感觉，再将这一预期与实际感受进行核对。两者之间的差异会形成信号，用来调整接下来的动作。熟练的运动就是不断预测结果、纠正偏差的循环。

由智能体群协同运作的组织，也需要具备同样的自我感知能力。它必须持续了解各个系统的状态，以及这些系统偏离预期状态的程度。若缺乏这种内在觉察，能力出众的各个部分也无法汇合成协调一致的行动。这并不是一种可以事后添加到身体上的感知机制，用来提升安全性；身体要能够行动，就必须具备这种能力。

有一个经过充分研究的案例，讲述了一位名叫Ian Waterman的男子失去了身体大部分部位的这种感觉。他学会了重新活动，但只能通过观察自己，用眼睛引导每一步和每一次伸手。这样确实可行，但既令人筋疲力尽，也很脆弱。只要关掉灯，他就完全无法协调动作。通过人工审计和定期审查来管理智能体的组织，就处于同样的境地。它只能靠持续付出巨大努力，弥补从未建立起来的感知能力，而这种补救的成本甚至超过了它所取代的机制。环境一旦变化，整个系统就会崩溃。

还有一种更奇特的失灵，也值得一提。神经科学家V S Ramachandran在一本引人入胜的著作中描述了这种现象。肢体被截除后，大脑并不会沉寂。它仍会为缺失的肢体产生信号，而当事人也会清晰地感受到这些信号。治理也可能以同样的方式失灵。如果通过重组或疏于管理，剥除了监督职能中的实质判断力，这项职能并不会因此停止运作。审查仍会完成，指标仍会产生。组织依然感觉自己受到了监督，但监督背后的判断力早已被掏空。此时，我在2020年提出的关于透明度的建议再次浮现：没有透明度，就谈不上监督；而一个只营造出有人监督的表象的系统，也不可能真正透明。

一致性成为稀缺资源

智能正变得越来越廉价。很快，它就会进入每一项工作流程和每一种工具。在这样的世界里，稀缺资源是协同性——连接各个系统独立运作与企业目标之间的鲜活纽带。协同性是连接分布式智能、使其始终朝着同一目标协同运作的纽带。

我花了多年时间研究，大脑如何让众多部分协同运作、成为一个整体。智能体时代向企业提出了同一个问题。自2020年以来，目标从未改变。依然乏味，却很有用。如今，值得打造的那件乏味而有用的东西，正是协同性本身。