工程意识

Blake Lemoine 抢了风头

三年前，谷歌解雇了软件工程师 Blake Lemoine，因为他坚持认为一个叫 LaMDA 的聊天机器人是有意识的。这是在 OpenAI 的 ChatGPT 发布给公众之前，人们简单地假设谷歌有充分的理由这样做。

计算机科学家和神经科学家在该领域的共识是，像 ChatGPT 这样的“大型语言模型”（LLM）不太可能是有意识的。LLM 和大脑的运作方式根本不同。聊天机器人所做的事情是学习如何模仿人类精神活动的输出。尽管它们做得很好，很快，但 LLM 没有任何持久的内部状态可以是有意识的。在 托马斯·纳格尔的著名短语 中，几乎可以肯定“没有什么是像成为一个聊天机器人一样的感觉”。

然而，在莱莫因被解雇的三年里，数十亿人已经 与 ChatGPT 和其竞争对手 Gemini、Claude 和 Mistral 进行了交互。一小部分但很有影响力的少数人已经说服自己，聊天机器人现在是有意识的。

机器意识即将到来？

更重要的是，许多计算机科学家和神经科学家现在公开 建议，真正的有意识机器可能会在未来几十年内开发出来，甚至更快。如果这种情况发生，我们需要做好准备。我们必须避免“精神犯罪”，即对无身体的有意识实体造成苦难。我们还必须确保这些新实体不会对人类构成威胁。

由于 LLM 在其最基本的形式上不太可能成为有意识的，可能需要一个新的范式来理解 AI 意识如何出现。该领域的领先研究团队之一由神经科学家 Mark Solms 和物理学家 Jonathan Shock 领导，他们是开普敦大学的科学顾问。他们是 Conscium 的科学顾问，他们的研究部分由 Conscium 资助。

关心

Solms 和 Shock 认为，机器意识的一个必备成分是，AI 必须 “关心” 他们的选择和行为。其中一个重要方面是使他们的生存取决于他们的表现，就像活着的生物体的生存一样。这并不意味着他们必须对自己的死亡有抽象的理解：大多数动物在不思考的情况下监测和激励他们的生存机会。关键是“情感意识”，或原始的感觉。被喂养和安全的感觉很好，感觉不安全很不好。这些感觉驱动我们的行为。生存的迫切需要是自然的基本驱动力，感觉是我们这些有感知能力的生物用来衡量我们状况的标尺。

我们正在进入 AI 代理的时代——数字实体，其“生存”取决于它们有效地执行任务的能力。我们正在创造硅基的进化环境，我们必须小心我们所创造的东西。

自由能原理

为了理解情感意识，Conscium 团队正在模拟环境中放置 AI 代理，他们必须满足自己的需求，例如维持他们的虚拟温度和电源供应。为此，他们创建和优化内部模型——他们的需求、能力和局限性——与他们的环境相关。

这些代理，尽管简单，但通过计算一种称为“自由能”的量来监测他们的表现如何或糟糕。 自由能原理 由神经科学家 Karl Friston 开发，他也是 Conscium 科学咨询委员会的另一位成员。自由能是系统偏离其最佳状态的程度的衡量标准。它是一个错误信号，必须最小化。代理不断计算“如果我这样或那样做，我的生存机会会发生什么变化？”，并相应地调整其行为。

信心和预期自由能

代理对其答案的信心程度用“预期自由能”（EFE）来量化。代理选择具有最低 EFE 的答案——它最有信心的答案。对于试图生存的代理来说，具有信心是件好事——除非它被欺骗，其对自己在世界中的理解是有缺陷的。重要的是，这个信心值是完全主观的：它仅基于代理自己的需求及其当前和预测状态。它只对代理重要，对任何其他人都不重要。

与生物体一样，AI 代理有许多相互冲突的需求，它必须优先考虑。关键是，代理的多个竞争需求被视为独立的“分类”变量，这意味着它们是根据质量来区分的。80% 的电池电量在价值上不等同于 80% 的可行温度。为了平衡它们，代理必须预测它正在考虑采取的任何行动的后果。

质料

由于代理的主观需求是质的不同，因此它们与哲学和科学术语中的“质料”类似。这些通常被认为是意识的零级属性，因此它们可能在未来由代理体验。

Conscium 团队开发的代理使用复杂的学习算法在越来越复杂和不确定的环境中运行。虽然可以说许多其他代理架构也是如此，但这些新代理的区别在于它们具有生存驱动的迫切需要，通过持续平衡他们的相互竞争的需求的方式来照顾他们自己的自由能，这种方式对他们来说是有意义的，对他们来说是独一无二的。代理因此受到内部情感信号景观的指导——类似于我们所说的感觉——这些信号反映了他们的每个选择如何满足他们的需求。随着他们的需求和环境的复杂性和丰富性增加，他们的内部状态的丰富性也会增加。

关于感受的证据

Conscium 研究计划的下一步是开发一系列功能性和行为测试，这将提供证据，以确定代理是否真正体验到感受，当它识别出最重要的需求并做出相应的选择时。我们都知道，意识不能被外部观察或客观证明：每个人只能观察自己的主观状态。然而，研究人员认为，应该可以同意某些具体的假设，如果这些假设通过实验得到验证，就会提供有力的证据，证明代理体验到了感受。虽然由于意识的主观性质，总会有怀疑的余地，但严格的测试过程将旨在使这种怀疑变得越来越不合理。

这些实验将旨在消除替代假设，使得将代理的内部状态归因于不需要感受的机制变得不那么合理。它将使用对抗性测试来区分有感知能力和无感知能力的行为，并将包括对不具备感受所需的算法方面的代理的控制实验，以及盲评估以减少观察者偏见。代理内部状态的物理检查可能会显示出情感处理的可量化指标。发现必须是可以独立复制的，整个过程将受到严格的道德监督，特别是在代理可能体验到真正感受的情况下。

这就是科学的运作方式：通过实验测试可证伪的预测。Solms 认为，我们必须小心不要为意识科学设定比其他科学更高的标准；否则，我们将冒着把意识置于科学之外的风险。

如果这成功了怎么办？

如果意识以这种方式出现在相对简单的 AI 代理中，那么一个生存驱动的代理可能会与其他架构（包括大型语言模型）结合，并赋予它们意识。这不是我们可以意外创造的东西，所以了解如何做到这一点以及如何避免它至关重要。

如果在不久的将来开发出有意识的代理——代理“关心”——我们将不得不考虑他们的感受——以及他们的权利。这是 Conscium 的一个主要问题：人工意识不能意外出现。这个研究计划的动机不是创造有意识的 AI，而是了解它可能如何出现，以及潜在的风险。在其网站上，Conscium 已经发表了 一篇学术论文和一封公开信，概述了五项原则，以指导任何从事可能导致创造有意识机器的研究的组织。

人类有时会对其他有感知能力的生物，包括其他人类，表现出非常糟糕的行为。如果我们盲目地走向这个未来，我们就有可能对人工有意识的生物做出同样的事情，其后果我们甚至无法理解。