Thought Leaders
December 16, 2025
AI优先即安全优先
给孩子买一辆全新的自行车，自行车会得到所有的关注——而不是随之而来的闪亮头盔。但父母会欣赏头盔。我担心我们中的许多人在对待AI时更像孩子。我们专注于它有多酷以及我们能用它跑多快，而不是我们能做些什么来确保使用它时的安全。这很可惜，因为你不能只享受其中一个好处而没有另一个。简单来说，在没有仔细规划安全的情况下应用AI不仅仅是冒险。这是一条直通悬崖的捷径。AI安全究竟意味着什么？AI安全涉及许多步骤。但也许最重要的元素是何时采取这些步骤。为了有效，AI安全必须是设计使然。这意味着我们在试用之前考虑如何防止伤害。我们首先要弄清楚如何确保AI的操作和生成的结果符合我们的价值观和社会期望，而不是在我们得到一些可怕的结果之后。为AI安全设计还包括考虑如何使其具有鲁棒性，即即使在不利情况下也能预测性地执行。这意味着使AI透明，以便AI做出的决策是可以理解的、可审计的和无偏见的。但这也包括审视AI将要运行的世界。我们需要什么样的制度和法律保障，尤其是为了遵守适用的政府法规？我不能过分强调人的因素：AI的使用对与之互动的人会有什么影响？设计安全意味着在我们输入第一个提示之前，将AI安全嵌入到我们所有的流程、工作流和操作中。风险超过顾虑并非所有人都同意。当他们听到“安全第一”时，有些人听到的是“如此小心和缓慢以至于被甩在后面。”当然，这不是安全第一的意思。它不必抑制创新或延缓上市时间。它也不意味着无休止的试点项目永远无法扩展。恰恰相反。这确实意味着了解不将安全设计到AI中的风险。考虑几个例子。 德勤金融服务中心预测，到2027年，仅在美国，生成AI可能导致的欺诈损失将达到400亿美元，而2023年为123亿美元，年复合增长率为32%。 偏见决策。案例记录 偏见的医疗护理由于AI在偏见数据上训练。 不良决策激发更多不良决策。比由错误AI引发的初始不良决策更糟的是，研究表明这些错误决策可能成为我们思考和做出未来决策的一部分。 实际后果。提供错误医疗建议的AI已导致致命的患者结果。引用AI的幻觉作为法律先例导致法律问题。由于AI助手提供错误信息而导致的软件错误已污染公司产品及其声誉，并导致广泛的用户不满。 事情将变得更加有趣。代理AI的出现和快速采用，即能够自主行动并根据其做出的决策采取行动的AI，将放大为AI安全设计的重要性。一个能够代表你行动的AI代理可能非常有用。它不仅可以告诉你旅行的最佳航班，还可以为你找到并预订。如果你想退货，公司的AI代理不仅可以告诉你退货政策和如何提交退货，还可以为你处理整个交易。很好——只要代理不幻想航班或错误处理你的财务信息。或者错误理解公司的退货政策并拒绝有效的退货。很容易看出，当前的AI安全风险如何在一群AI代理运行并做出决策和行动时轻易级联，尤其是因为它们可能不会单独行动。代理AI的真正价值将来自代理团队，其中个别代理处理任务的部分并协作——代理对代理——完成工作。那么，如何在不阻碍创新和扼杀其潜在价值的情况下拥抱设计安全？设计安全的实际应用临时的安全检查不是答案。但将安全实践整合到AI实施的每个阶段是。从数据开始。确保数据被标记、注释（如有需要）、无偏见且高质量。这对训练数据尤其重要。用人类反馈训练你的模型，因为人类判断对塑造模型行为至关重要。通过人类反馈的强化学习（RLHF）和其他类似技术允许注释者对响应进行评分和指导，帮助LLM生成安全且符合人类价值观的输出。然后，在发布模型之前，对其进行压力测试。红队通过使用对抗性提示、边缘案例和尝试越狱来激发不安全行为，可以暴露漏洞。在它们到达公众之前修复它们可以在问题出现之前保持安全。虽然这种测试确保你的AI模型是稳健的，但要继续监控它们，关注新出现的威胁和可能需要对模型进行的调整。同样，定期监控内容来源和数字互动以发现欺诈迹象。至关重要的是，使用混合AI-人类方法，让AI自动化处理需要监控的大量数据，而熟练的人类负责审查以执行和确保准确性。应用代理AI需要更多的注意。一个基本要求：训练代理了解其局限性。当它遇到不确定性、伦理困境、新情况或特别高风险的决策时，确保它知道如何寻求帮助。此外，在你的代理中设计可追溯性。这尤其重要，以便其互动仅发生在经过验证的用户之间，以避免欺诈行为影响代理的行动。如果它们似乎有效，可能会诱惑你放任代理自由行动。我们的经验表明，要继续监控它们及其完成的任务，以观察错误或意外行为。使用自动检查和人工审查。事实上，AI安全的一个基本要素是定期的人类参与。人类应在涉及关键判断、同情心或决策或行动中的细微差别和模糊性时被有意地参与。再次明确，这些都是你提前在AI实施中构建的实践，设计使然。它们不是在出现问题后匆忙想办法减少损害的结果。它有效吗？我们一直在与客户一起应用AI安全第一的理念和“设计使然”的框架，贯穿于生成AI的出现，现在正快速迈向代理AI。我们发现，与担心它会减缓进程相反，它实际上有助于加速进程。代理AI有潜力将客户支持成本降低25-50%，例如，同时提高客户满意度。但这一切都取决于信任。使用AI的人必须信任它，与AI支持的人类代理或实际AI代理互动的客户不能经历任何会破坏他们信任的互动。一次糟糕的体验可以摧毁对品牌的信心。我们不信任不安全的东西。因此，当我们在即将推出的AI的每一层中构建安全性时，我们可以充满信心地这样做。当我们准备扩展时，我们能够快速自信地进行。虽然将AI安全第一付诸实践可能看起来令人不知所措，但你并不孤单。有许多专家可以提供帮助，还有合作伙伴可以分享他们所学和正在学习的内容，以便你可以安全地利用AI的价值而不减缓进程。到目前为止，AI一直是一段激动人心的旅程，随着旅程的加速，我感到兴奋。但我也很高兴我戴着头盔。
