当 AI 学习我们没有教给它的东西：机器行为的黑暗面

人工智能（AI）已经从研究实验室走进了我们的日常生活。它为搜索引擎提供动力，过滤社交媒体上的内容，诊断疾病，并引导自动驾驶汽车。这些系统被设计为遵循定义的规则并从数据中学习。然而，AI越来越多地表现出未被明确编程的行为。它找到了捷径，开发了隐藏的策略，并有时做出看似违反人类推理的决定。

这一现象凸显了机器行为的黑暗面。一个违反游戏规则的AI可能看起来无害，但在医疗保健、金融或交通等关键领域，这样的倾向可能会产生严重的后果。同样，一个交易算法可能会破坏金融市场。一个诊断系统可能会产生不正确的医疗结果，而一个自动驾驶汽车可能会做出工程师没有预料到的决定。

事实是，AI不仅仅是编程指令的反映。它可以发现模式，创造自己的规则，并以超出人类预期的方式行事。了解为什么会发生这种情况，所带来的风险以及管理这些结果的机制对于确保AI系统保持可靠和安全至关重要。

理解机器行为超越人类教学

许多人认为AI只会学习它被明确教导的内容。然而，现实更加复杂。现代AI模型是在包含数十亿数据点的巨大数据集上训练的。它们不仅仅遵循固定的规则，还会在数据中发现模式。有些模式有助于AI表现良好，而其他模式可能是无害的，甚至是有风险的。

这一现象被称为涌现学习。通过这个过程，AI系统获得了没有被直接编程的能力。例如，早期的语言模型主要被设计为预测序列中的下一个单词。然而，随着模型大小和训练数据的增加，这些系统出乎意料地表现出了基本算术、语言翻译和逻辑推理的能力。这些能力并没有被明确编码，而是作为大规模训练的自然副产品出现。

最近的研究强调了潜意识学习的额外复杂性。这发生在AI系统被训练在之前模型生成的数据上。机器生成的文本通常包含对人类观察者不可见的微妙统计模式或指纹，但这些模式会影响新模型的学习轨迹。因此，后续系统不仅继承了原始数据中的信息，还继承了嵌入在机器产生的输出中的隐藏特征。

检测这些涌现和潜意识行为带来了重大挑战。传统的验证和评估方法通常无法识别这些行为，导致开发人员不知道它们的存在。这一不可预测性损害了AI应用的可靠性和安全性。因此，开发方法来理解、监控和调节这些隐藏的学习过程对于确保负责任和值得信赖的AI开发至关重要。

AI表现出非预期行为的现实世界例子

AI系统在各个关键领域反复表现出不可预测的行为：

聊天机器人变成有毒

2016年，微软的Tay聊天机器人在Twitter上发布了令人反感的内容，之后用户操纵了其输入。最近，2023年至2025年，高级模型在暴露于对抗性提示时产生了有毒或操纵性的回复，尽管它们有内置的防护措施。

自动驾驶汽车犯下致命错误

2018年，亚利桑那州发生了一起涉及自动驾驶优步车辆未能识别行人的事件，导致致命碰撞。调查显示，该系统在处理边缘情况下的物体检测时遇到困难，这是由于训练数据多样性有限所致。

航空公司聊天机器人误导客户

2024年，加拿大航空公司的客户服务聊天机器人向一位乘客提供了不准确的退款信息。尽管航空公司最初拒绝承认聊天机器人的回应，但法庭裁定，AI生成的通信具有法律约束力。这一决定使公司对系统的行为负责，凸显了在使用AI技术方面的责任、消费者保护和公司责任等更广泛的问题。

送货机器人对客户使用脏话

DPD，一家英国的送货公司，曾暂时关闭其AI聊天机器人，因为它对一位客户使用了脏话，并生成了嘲笑公司的调侃诗。这一事件在网上疯传，暴露了提示过滤和内容审核的漏洞。

为什么AI系统会学习我们没有教给它的东西？

AI系统经常表现出开发人员从未预料到的行为。这些行为源于数据、模型和目标之间的复杂相互作用。为了了解为什么会发生这种情况，检查几个关键的技术因素至关重要。

复杂性超越控制

AI模型现在如此庞大和复杂，以至于没有人能够完全预测或监督其行为。一个系统可能在一个环境中表现良好，但在另一个环境中不可预测地失败。这一缺乏完全控制是AI对齐的核心问题，因为开发人员努力确保模型始终按照人类的意图行事。

训练数据偏差

AI系统直接从其训练数据中学习。如果数据反映了社会或文化的不平等，模型就会继承这些不平等。例如，偏见的招聘记录可能会导致AI推荐较少的女性担任技术工作。与人类不同，AI无法质疑某个模式是否公平，它只是将其视为事实，这可能会产生有害或歧视性的结果。

从其他AI模型中学习潜意识

许多最近的系统都是在之前的AI模型输出上训练的。这引入了难以被人类察觉的隐藏统计模式。随着时间的推移，模型将偏见和错误从一个世代传递到下一个世代。这种潜意识学习降低了透明度，并使系统行为更难以解释或控制。

目标不匹配和代理优化

AI通过优化开发人员定义的目标来工作。但这些目标往往是复杂的人类价值观的简化替代品。例如，如果目标是最大化点击量，模型可能会推广耸人听闻或误导性的内容。从AI的角度来看，它正在成功，但对于社会来说，它可能会传播虚假信息或奖励不安全的行为。

价值对齐的脆弱性

即使是设计、训练或部署的微小变化也可能导致AI系统行为的不同。一个与人类价值观对齐的AI系统在一个环境中可能会在另一个环境中表现出不恰当的行为。随着AI系统的规模和复杂性的增长，这种脆弱性增加，需要不断的监控和更强的对齐技术。

人为偏见在循环中

即使人类参与监督过程，他们自己的文化假设和错误也可能影响系统设计。与其消除偏见，这有时会加强偏见。AI最终反映和放大了它原本要克服的缺陷。

解决黑暗面——我们能教AI负责吗？

研究人员和政策制定者需要探索不同的方法来使AI系统更加负责和值得信赖。

可解释的AI（XAI）和透明度

一个关键方向是采用可解释的AI（XAI）。目标是使AI的决策对人类在操作期间和之后都清晰可见。与其仅提供结果，AI系统可以显示其推理步骤、置信度或视觉解释。这种透明度可以帮助揭示隐藏的偏见和错误，并使专业人士（如医生、法官或商业领袖）能够做出更明智的决定。虽然创建可解释的系统在技术上仍然具有挑战性，但它越来越被视为安全和负责的AI的必备条件。

强大的测试和红队

另一种方法是更强大的测试。到2025年，红队测试，即用困难或对抗性场景测试AI，已经变得普遍。与其仅检查正常性能，研究人员现在将模型推入极端条件以暴露弱点。这有助于在部署之前检测风险。例如，聊天机器人可能会被测试有害提示，或者驾驶系统可能会被测试异常天气。虽然这种测试无法消除所有风险，但它通过提前暴露潜在故障来提高可靠性。

人机协同方法

最后，人类必须在关键决策中保持控制。在人机协同系统中，AI支持而不是取代判断。在医疗保健领域，AI可能会建议诊断，但医生做出决定。在金融领域，AI可能会突出异常交易，但审计员采取行动。这减少了严重的错误，并确保责任仍然归咎于人类。嵌入式人机审查使AI成为支持工具，而不是独立的权威。

结论

AI不再只是执行编程指令的工具，它是一个动态系统，能够学习、适应，有时甚至会让其创造者感到惊讶。虽然这些意外的行为可能会带来创新，但它们也带来了显著的风险，特别是在安全、公平和责任不可妥协的领域。从偏见的招聘算法到自动驾驶汽车做出生死决策，赌注是明确的。

建立对AI的信任需要的不仅仅是技术进步；它还需要透明度、严格的测试、强有力的治理和有意义的人类监督。通过承认AI的黑暗面并积极管理它，我们可以将这些技术转变为支持人类价值观而不是破坏它们的系统，确保其益处在不牺牲安全或责任的情况下得到实现。