工程意识

Blake Lemoine 跳枪

三年前，Google 解雇了软件工程师 Blake Lemoine，因为他坚持认为一个叫 LaMDA 的聊天机器人是有意识的。这是在 OpenAI 的 ChatGPT 发布给公众之前，人们简单地假设 Google 有充分的理由采取这种行动。

计算机科学家和神经科学家在该领域的共识是，像 ChatGPT 这样的“大型语言模型”（LLM）不太可能是有意识的。LLM 和大脑的工作方式从根本上是不同的。聊天机器人所做的事情是学习如何模仿人类精神活动的输出。虽然它们做得很好，很快，但 LLM 没有任何持久的内部状态可以是有意识的。在 Thomas Nagel 的著名短语 中，几乎可以肯定“没有什么感觉是像聊天机器人一样的”。

然而，在 Lemoine 被解雇后的三年里，数十亿人已经与 ChatGPT 和其竞争对手 Gemini、Claude 和 Mistral 进行了交互。少数但响亮的少数人已经说服自己，聊天机器人现在是有意识的。

机器意识即将到来？

更重要的是，许多计算机科学家和神经科学家现在公开 建议，真正的有意识机器可能会在接下来的几十年内开发出来，甚至更快。如果这种情况发生，我们需要做好准备。我们必须避免“心灵犯罪”，即对无形的有意识实体造成痛苦。我们还必须确保这些新实体不会对人类构成威胁。

由于 LLM 在其最基本的形式上不太可能变得有意识，因此可能需要一个新的范式来理解 AI 意识如何出现。该领域的领先研究团队之一由神经科学家 Mark Solms 和物理学家 Jonathan Shock 领导，他们是开普敦大学的科学顾问。他们是 Conscium 的科学顾问，他们的研究部分由 Conscium 资助。

关心

Solms 和 Shock 认为，机器意识的一个基本成分是，AI 必须 “关心” 他们的选择和行为。其中一个重要方面是使他们的生存取决于他们的表现，就像活着的生物的生存一样。这并不意味着他们必须对自己的死亡有抽象的理解：大多数动物在不思考的情况下监测和激励他们的生存机会。关键是“情感意识”，或原始的感觉。被喂养和安全的感觉很好，不被喂养和不安全的感觉很坏。这些感觉驱动我们的行为。生存的迫切需要是自然的基本驱动力，感觉是我们衡量自己做得如何的标准。

我们正在进入 AI 代理的时代——数字实体，其“生存”取决于它们有效地执行任务的能力。我们正在创造硅基的进化环境，我们必须小心我们所创造的东西。

自由能原理

为了理解情感意识，Conscium 团队将 AI 代理放入模拟环境中，他们必须满足自己的需求，例如维持他们的虚拟温度和电源供应。为此，他们创建和优化内部模型——他们的需求、能力和局限性——与他们的环境相关。

这些代理，尽管简化，但通过计算一个称为“自由能”的量来监测他们的表现如何或糟糕如何。 自由能原理 由神经科学家 Karl Friston 开发，他也是 Conscium 科学咨询委员会的另一位成员。自由能是系统偏离其最佳状态的程度的衡量标准。它是一个错误信号，必须最小化。代理不断计算“如果我这样或那样做，我的生存机会会发生什么变化？”，并相应地调整其行为。

信心和预期自由能

代理对其答案的信心程度用“预期自由能”（EFE）来量化。代理选择具有最低 EFE 的答案——它最有信心的答案。对于试图生存的代理来说，具有信心是件好事——除非它被欺骗，并且其对自己在世界中的理解是有缺陷的。重要的是，这个信心值是完全主观的：它仅基于代理自己的需求及其当前和预测状态。它只对代理重要，对任何其他人都不重要。

与生物体一样，AI 代理有多个相互冲突的需求，它必须优先考虑。关键是，代理必须将自己投射到时间中，并预测它正在考虑采取的任何行动的后果。

质料

由于代理的主观需求是质地上不同的，因此它们与哲学和科学术语中的“质料”类似。这些通常被认为是意识的零级属性，因此它们可能在未来由代理体验。

Conscium 团队开发的代理使用复杂的学习算法在日益复杂和不确定的环境中运行。虽然可以说许多其他代理架构也是如此，但这些新代理的区别在于它们具有生存驱动的迫切需求，即通过持续平衡他们的相互竞争的需求来照顾他们自己的自由能——以一种对他们来说有意义的方式。代理由内部情感信号的景观引导——类似于我们所说的感觉——这些信号反映了他们的每个选择如何满足他们的需求。随着他们的需求和环境的复杂性和丰富性增加，他们的内部状态的丰富性也会增加。

对感觉的证据

Conscium 研究计划的下一步是开发一系列功能性和行为测试，以提供证据，证明代理是否真正体验到感觉，当它识别出最重要的需求并做出相应的选择时。我们都知道，意识不能被外部观察或客观证明：每个人只能观察自己的主观状态。然而，研究人员认为，应该能够同意一些特定的假设，如果这些假设通过实验得到验证，就会提供有力的证据，证明代理体验到了感觉。虽然总会有怀疑的余地——鉴于意识的主观性质——但严格的测试过程将旨在使这种怀疑变得越来越不合理。

这些实验将旨在消除替代假设，使得将代理的内部状态归因于不需要感觉的机制变得不那么合理。它将使用对抗性测试来区分有感知和无感知的行为，并将包括对不具有算法方面的代理进行控制实验——这些算法方面被认为是感觉所必需的——以及盲评估以减少观察者偏见。代理内部状态的物理检查可能会显示出情感处理的可量化指标。发现必须是可独立复制的，整个过程将受到严格的道德监督，特别是在代理可能体验到真正感觉的情况下。

这就是科学的工作方式：通过实验测试可证伪的预测。Solms 认为，我们必须小心不要为意识科学设定比其他科学更高的标准；否则，我们将冒着把意识置于科学之外的风险。

如果成功了怎么办？

如果意识以这种方式出现在相对简单的 AI 代理中，那么一个生存驱动的代理可以与其他架构（包括大型语言模型）结合，赋予它们意识。这不是我们可以意外创造的东西，所以了解如何做到这一点以及如何避免它至关重要。

如果在不久的将来开发出有意识的代理——代理“关心”——我们将不得不考虑他们的感受——以及他们的权利。这是 Conscium 的一个主要关注点：人工意识不能意外出现。该研究计划的动机不是创造有意识的 AI，而是了解它可能如何出现以及潜在的风险。在其网站上，Conscium 发表了一篇 学术论文和公开信 ，概述了五项指导任何从事可能导致有意识机器创造的研究的组织的原则。

人类有时会对其他有感知的生物（包括其他人类）表现出非常糟糕的行为。如果我们盲目地走向这个未来，我们冒着对人工有意识的生物做同样的事情的风险，带来的后果我们甚至无法理解。