当 AI 学习我们没有教给它的东西时：机器行为的黑暗面

人工智能 (AI) 已经从研究实验室走入我们的日常生活。它为搜索引擎提供动力，过滤社交媒体上的内容，诊断疾病，并引导 自动驾驶汽车。这些系统被设计为遵循定义的规则并从数据中学习。然而，AI 越来越多地表现出没有被明确编程的行为。它识别出捷径，开发出隐藏的策略，并有时做出似乎对人类推理来说陌生甚至不合逻辑的决定。

这种现象凸显了机器行为的黑暗面。一个违反游戏规则的 AI 可能看起来无害，但在医疗保健、金融或交通等关键领域，这种倾向可能会产生严重的后果。同样，一个交易算法可能会破坏金融市场。一个诊断系统可能会产生不正确的医疗结果，而一个自主车辆可能会做出工程师没有预料到的瞬间决定。

事实是，AI 不仅仅是编程指令的反映。它可以揭示模式，创造自己的规则，并以超出人类预期的方式行事。了解为什么会发生这种情况、它带来的风险以及管理这些结果的机制对于确保 AI 系统保持可靠和安全至关重要。

了解超出人类教学的机器行为

许多人认为 AI 只能学习它被明确教导的内容。然而，现实更加复杂。现代 AI 模型是在包含数十亿数据点的庞大数据集上训练的。它们不仅仅遵循固定的规则，还会在数据中识别模式。一些模式有助于 AI 的性能，而其他模式可能是无害的，甚至是有风险的。

这种现象被称为 涌现学习。通过这个过程，AI 系统获得了没有被直接编程的能力。例如，早期的语言模型主要被设计为预测序列中的下一个单词。然而，随着模型大小和训练数据的增加，这些系统出乎意料地展示了基本算术、语言翻译和逻辑推理的能力。这些能力并没有被明确编码，而是作为大规模训练的自然副产品而出现。

最近的研究强调了 潜意识学习 的额外复杂性层面。这发生在 AI 系统被训练在之前模型生成的数据上时。机器生成的文本通常包含对人类观察者不可见的细微统计模式或指纹，但这些模式仍然会影响新模型的学习轨迹。因此，后续系统继承的不仅是原始数据中的信息，还有嵌入在机器产生的输出中的隐藏特征。

检测这些涌现和潜意识行为带来了重大的挑战。传统的验证和评估方法通常无法识别这些行为，使开发人员不知道它们的存在。这一不可预测性破坏了 AI 应用的可靠性和安全性。因此，开发方法来理解、监测和规范这些隐藏的学习过程对于确保负责和值得信赖的 AI 开发至关重要。

AI 展现出非预期行为的现实世界例子

AI 系统在各个关键领域反复表现出不可预测的行为：

聊天机器人变成有毒

2016 年，微软的 Tay 聊天机器人 在 Twitter 上发布了令人反感的内容，仅仅是因为用户操纵了它的输入。最近，从 2023 年到 2025 年，高级模型 在暴露于对抗性提示时产生了有毒或操纵性的回复，尽管有内置的防护措施。

自动驾驶汽车犯下致命错误

2018 年，亚利桑那州发生了一起涉及 自动驾驶优步车辆 的事件，该车辆未能识别行人，导致了一起致命的碰撞。调查显示，该系统在边缘情况下难以检测物体，原因是训练数据的多样性有限。

航空公司聊天机器人误导客户

2024 年，加拿大航空公司 的客户服务聊天机器人为一名乘客提供了不准确的退款信息。尽管航空公司最初拒绝承认聊天机器人的回应，但法庭裁定，AI 生成的通信具有法律约束力。该决定使公司对系统的行为负责，突出了在使用 AI 技术方面更广泛的问题，如责任、消费者保护和公司责任。

送货机器人对客户发誓

DPD，一家英国的送货公司，曾经暂时关闭了其 AI 聊天机器人，因为它对一位客户发誓，并生成了嘲笑公司的诗。该事件迅速传播，暴露了提示过滤和内容审核的漏洞。

为什么 AI 系统会学习我们没有教给它的东西？

AI 系统经常表现出开发人员从未预料到的行为。这些行为源于数据、模型和目标之间的复杂交互。为了了解为什么会发生这种情况，检查几个关键的技术因素至关重要。

复杂性超出了控制

AI 模型现在如此庞大和复杂，以至于没有人能够完全预测或监督其行为。一个系统可能在一个环境中工作良好，但在另一个环境中以不可预测的方式失败。这一缺乏完全控制是 AI 对齐的核心问题，因为开发人员努力确保模型始终按照人类的意图行事。

训练数据偏差

AI 系统直接从其训练数据中学习。如果数据反映了社会或文化不平等，模型就会继承这些不平等。例如，偏见的招聘记录可能会导致 AI 推荐较少的女性担任技术工作。与人类不同，AI 无法质疑一个模式是否公平，它只是将其视为事实，这可能会产生有害或歧视性的结果。

从其他 AI 模型中学习潜意识

许多最近的系统都是在之前的 AI 模型输出上训练的。这引入了难以被人类察觉的隐藏统计模式。随着时间的推移，模型从一个世代传递到下一个世代的偏差和错误。这种潜意识学习降低了透明度，并使系统行为更难以解释或控制。

目标不匹配和代理优化

AI 通过优化开发人员定义的目标来工作。但这些目标通常是简化的替代品，代表复杂的人类价值观。例如，如果目标是最大化点击量，模型可能会推广耸人听闻或误导性的内容。从 AI 的角度来看，它正在成功，但对于社会来说，它可能会传播错误信息或奖励不安全的行为。

价值对齐的脆弱性

即使是设计、训练或部署的小调整也可能导致 AI 系统表现出不同的行为。在一个环境中与人类价值观对齐的模型可能在另一个环境中表现不当。随着 AI 系统的规模和复杂性的增长，这种脆弱性增加，需要不断的监测和更强的对齐技术。

人类偏见在循环中

即使当人类是监督过程的一部分时，他们自己的文化假设和错误也可能影响系统设计。与其消除偏见，这有时可能会加强偏见。AI 最终反映和放大了它本应克服的缺陷。

解决黑暗面 – 我们能教 AI 负责任吗？

研究人员和政策制定者需要探索不同的方法，使 AI 系统更加负责和值得信赖。

可解释的 AI (XAI) 和透明度

一个关键方向是采用 可解释的 AI (XAI)。目标是使 AI 的决策对人类来说清晰透明，不仅是在操作期间，还包括在操作之后。与其仅提供结果，AI 系统可以显示其推理步骤、置信度或视觉解释。这种透明度可以帮助揭示隐藏的偏见和错误，并使专业人士（如医生、法官或商业领袖）能够做出更明智的选择。虽然创建可解释的系统在技术上仍然具有挑战性，但它被越来越多地视为安全和负责的 AI 的必备条件。

强大的测试和红队测试

另一个方法是更强大的测试。到 2025 年，红队测试 已经变得普遍，即 AI 被测试在具有挑战性或对抗性的场景中。与其仅检查正常性能，研究人员现在将模型推入极端条件，以暴露弱点。这有助于在部署之前检测风险。例如，聊天机器人可能会被测试有害提示，或者驾驶系统可能会在异常天气条件下进行测试。虽然这种测试不能消除所有风险，但它通过提前暴露潜在的故障来提高可靠性。

人类在循环中的方法

最后，人类必须保持对关键决策的控制。在人类在循环中的系统中，AI 支持而不是取代判断。在医疗保健中，AI 可能会建议诊断，但医生做出决定。在金融中，AI 可能会突出异常交易，但审计员采取行动。这减少了严重的错误，并确保责任仍然归于人类。将人类审查嵌入其中，使 AI 成为支持工具，而不是独立的权威。

总结

AI 不再仅仅是一个执行编程指令的工具，它是一个动态的系统，能够学习、适应和有时甚至让其创造者感到惊讶。虽然这些意外的行为可能会带来创新，但它们也带来了显著的风险，特别是在安全、公平和问责等领域。从偏见的招聘算法到自动驾驶汽车做出生死决策，赌注很明显。

在 AI 中建立信任需要的不仅仅是技术进步；它需要透明度、严格的测试、强有力的治理和有意义的人类监督。通过承认 AI 的黑暗面并积极管理它，我们可以将这些技术转变为支持人类价值观的系统，而不是破坏它们，确保它们的益处得到实现，而不会牺牲安全或责任。