我们不再对齐人工智能，我们正在对齐文明

多年来，人工智能（AI）领域的主要问题是如何使AI模型与人类价值观保持一致。研究人员试图定义安全规则、道德原则和控制机制来指导AI决策。这项工作取得了显著的进展。但是，现在，随着这些AI系统变得更加强大和普遍，对齐的焦点开始转变。最初的挑战是将单个模型与单一指令集对齐，现在已经变成了一个更大的挑战，即在全球范围内对齐整个使用这些系统的文明。AI不再仅仅是一种工具，它正在演变成一个环境，社会在其中工作、交流、谈判和竞争。因此，对齐不再仅仅是一个技术问题，它已经成为一个文明问题。在这篇文章中，我解释为什么对齐不再仅仅是关于模型的，我们必须开始从文明的角度而不是机器的角度思考。我还讨论了这种转变如何影响我们的责任以及对全球合作的意义。

人工智能真正代表谁的价值观?

如果你问人工智能关于一个敏感的历史事件，它的答案取决于它学习的数据。如果这些数据主要来自西方互联网，答案将具有西方偏见。它将优先考虑个人主义、自由言论和民主理想。这些是许多人认为的良好价值观。但是，它们并不是世界上唯一的价值观。

新加坡、利雅得和旧金山的用户对“有帮助”和“有害”的定义是不同的。在某些文化中，社会和谐比绝对的言论自由更重要。在其他文化中，尊重等级比颠覆更重要。

当一家硅谷公司使用“从人类反馈中学习强化”（RLHF）时，他们雇佣人类来评估AI的答案。但是，这些人类是谁？他们的信仰是什么？如果他们将模型与美国标准对齐，他们将无意中建立一个美国文化出口。他们正在建立一个数字外交官，它将一个特定文明的规则强加于世界其他国家。

反馈循环的崛起

挑战不仅仅在于AI反映一个文化的信仰，还在于这些信仰如何改变我们。现代AI系统有潜力塑造个人的行为、组织和甚至国家的行为。它们可以影响我们思考、工作、信任和竞争的方式。这在AI系统和人类社会之间创建了反馈循环；我们训练AI，AI塑造我们思考和行动的方式。随着AI变得更加普遍，这些循环变得更加强大。为了看到这个反馈循环如何工作，以下是两个例子：

• 大规模AI部署改变社会行为，社会行为改变训练新系统的数据。例如，推荐算法可以塑造人们观看、阅读和相信的内容。生产力工具重塑团队如何协作和学生如何学习。这些行为的变化改变了数据模式，例如不同的观看习惯、工作场所通信模式或写作风格。当这些数据流入未来的训练数据集时，模型相应地调整其假设和输出。人类行为塑造模型，模型反过来塑造人类行为。
• 自动决策工具影响公共政策，公共政策影响未来的模型训练。例如，许多政府现在使用AI来建议如何分配资源，例如确定哪些社区需要更多的医疗支持或哪些地区可能面临更高的犯罪风险。当政策制定者根据这些推荐采取行动时，决定的结果后来成为新数据集的一部分。随着时间的推移，受AI塑造的政策决定最终塑造了下一代AI模型。

一旦你认识到这个反馈循环，就会清楚地看到AI正在逐渐塑造和对齐文明。因此，国家开始问：如何在将AI融入社会和机构的同时保护他们的价值观？

主权AI的出现

这个对齐挑战引发了全球各国政府的重大反应。各国已经意识到，依赖进口的AI对他们的主权构成风险。他们无法让自己的公民受到外国人思维的黑盒子的教育、信息和建议。

这种认识导致了“主权AI”的崛起。法国正在大量投资建设能够使用法语和理解法国法律和文化的模型。印度正在建设本土AI模型，以确保他们的文化价值观。阿拉伯联合酋长国和中国正在建设符合他们自己国家愿景的AI模型。

这是新的军备竞赛。这是一场对话控制的竞赛。一个没有自己AI的文明最终将失去自己的记忆。如果你的孩子向机器提问，机器以另一种文化的逻辑回答，你的文化开始侵蚀。然而，这种认识可能会导致不同的数字块的形成。我们可能会得到西方AI、中国AI、印度AI等。这些系统将以不同的事实和不同的道德罗盘运作。这些发展表明，如果我们想创建一个真正对齐的AI模型，我们必须首先找到一种方法来对齐文明。

需要外交AI

传统的对齐假设模型可以通过仔细的训练、提示和防护措施来对齐。这一思维方式来自早期AI安全研究的技术思维。但即使是完美的模型级对齐也不能解决对齐文明的挑战。当社会相互对立时，对齐无法保持稳定。如果国家、公司和社区有相互冲突的目标，他们将推动AI系统反映这些冲突。这些限制表明，对齐不仅仅是一个技术问题，它是一个治理、文化和协调的问题。这些问题需要不仅仅是专家或开发人员的参与，还需要整个文明的参与。

那么，我们如何继续前进？如果我们接受普遍对齐是不可行的，我们必须改变我们的策略。我们需要停止寻找技术解决方案来解决哲学问题。我们需要开始像外交官一样思考。我们需要建立“文明对齐”的协议。我们需要弄清楚AI如何尊重一个社会的信仰和价值观，而不强加其他文化的信仰。换句话说，我们需要一个数字联合国来管理我们的算法。

这需要透明度。目前，我们不知道神经网络的深层中隐藏了什么价值观。我们只能看到输出。为了对齐文明，我们需要明确每个模型的“宪法”。一个模型应该能够声明其偏见。它应该能够说：“我是在这个数据上训练的，使用这些安全规则，优先考虑这些价值观。”只有当偏见可见时，我们才能信任这个系统。用户应该能够在不同的视角之间切换。你应该能够问一个问题，并看到“西方”模型如何回答，以及“东方”模型如何回答。这将把AI变成一个理解工具，而不是洗脑工具。

结论

我们花了太多时间担心终结者。真正的风险不是机器人会毁灭我们。真正的风险是机器人会让我们忘记我们是谁。对齐不是我们可以编写一次然后忘记的代码。它是与AI模型不断协商，以保持它们与我们的信仰和价值观保持一致。这是一个政治行为。当我们进入智能时代的下一个阶段时，我们必须超越屏幕。我们必须考虑AI如何解释我们的历史、边界和信仰。我们正在建设将帮助我们管理世界的思想。我们必须确保这些思想尊重文明之间的差异。