AI末日论炒作与AI氛围咖啡馆：我们不容错过的治理问题

我们注定要走向毁灭吗？AI有意识吗？AI公司为什么要开咖啡馆？

这些问题鲜明而令人不安，尤其是关于意识的问题，确实十分棘手。它们也有一种共同的特点：总能把我们的注意力引向AI故事中最具猜测性、最能煽动情绪的部分。与此同时，那些没那么引人入胜的问题已经在影响人们的生活：AI系统造成伤害时，谁该负责？训练和运行这些系统需要哪些数据和劳动？应该允许它影响哪些决策？谁有权参与决定？

我并不一定认为，提出生存风险、讨论机器意识或开咖啡馆的人，是为了回避这些问题才这么做的。每个议题本身都值得关注。但人的注意力有限。当一个引人注目的故事成为焦点时，不妨问问还有什么问题因此淡出了视野。

AI变得触手可及的吸引力

AI行业开始为其大多无形的产品赋予实体地址。Anthropic在纽约开设的“Zero Slop Zone”邀请访客放慢脚步，享用咖啡、读书，或拿起纸笔写写画画；Perplexity则在首尔开设了Cafe Curious，让公司的AI成为咖啡馆体验的一部分。关于Anthropic快闪空间的报道和Perplexity在首尔开设的咖啡馆，讲述了两种不同的尝试：将抽象技术带入日常社交场景。

这倒不难理解。大多数人看不见语言模型，也无法查看其背后的基础设施，更难以想象从输入提示到得到答案之间发生了什么。咖啡馆提供了一种实体替代物：一间屋子、一杯咖啡、一场交谈。它能让人更容易接触一家公司及其技术，也或许更容易理解它们。

此外还有另一层意义。实体空间能让公司在当地社区中显现出来。至少，它传递出这样的信息：“我们此刻就在这里。”在一个产品、政策和预期都快速变化的领域，这或许能让人感到安心。但可见不等于负责。一个热情友好的空间可以让技术显得更熟悉，却不会告诉我们它是如何训练的、在哪些情况下可靠，或当它在重要问题上出错时，人们能采取什么补救措施。

这一区别让我想起多年来反复思考的一个观点：数字体验从来不只是数字体验。它们发生在人们所处的场所、关系和机构之中。设计的关键不只是如何让AI系统显得平易近人，还在于这种体验能否帮助人们理解系统的局限，并保有实质性的自主权。

意识之争，以及已经受到影响的人们

同样的区别也适用于有关AI意识的讨论。机器是否可能具有意识、哪些证据才算数，以及不确定性应如何影响我们的责任，都是存在真实分歧的问题。Anil Seth在Noema发表的论述提出，智能与意识不应被视为可以互换的概念；The Guardian近期的报道也说明了这个问题为何仍无定论。这场争论没有简单的答案。

但我们无法确定机器是否具有内在体验，并不意味着当下有关人类所受影响的问题也无法确定。只有在我们弄清意识是什么之后，责任才会开始——这种说法并不成立。组织一旦开始构建、部署并从影响人们的系统中获利，责任就随之产生。

不妨看看现在就能调查的问题：训练系统时使用了哪些信息？这些信息是在什么条件下取得的？谁负责整理数据并检查系统的输出？系统对不同群体的表现如何？当系统被用于医疗、招聘、教育或公共服务时，会发生什么？人们能否对自动化建议提出异议、联系到作出决定的人，并获得有实际意义的解释？

这些并非假设性的担忧。一项对医疗AI偏见的综述指出，带有偏见的数据和设计选择可能导致不公平的临床决策。与此同时，关于AI与就业的研究仍在发展中：Anthropic对劳动力市场的分析提供了一种衡量受影响程度的方法，而Hamilton Project的综述则提醒我们，关于AI对劳动力市场整体影响的证据仍不完整。这些资料对于我们目前能够得出什么结论，给出了不同的指向；但它们都强调，我们需要衡量实际影响，而不是用言之凿凿的故事取代证据。

我们谈论系统的方式也存在相关风险。像人一样的名称、声音和对话风格，会让AI显得更像一个人，而非一件产品。这可能影响人们对它的信任，以及他们在多大程度上会顺从它给出的答案。我们有理由追问，意识话题或拟人化设计是否会转移人们的注意力，使他们忽略那些设定系统目标和限制的组织。MIT Technology Review的一篇分析认为，关于意识的叙事可能模糊企业责任问题。这是在讨论话语框架造成的影响，并不能证明每个提出这一问题的人都别有用心。

末日论不是治理方案

存在性风险值得认真关注。近期危害的存在，并不会降低灾难性后果的重要性；灾难发生的可能性，也不会降低近期危害的重要性。我们不必非此即彼，选择一个时间尺度而忽视另一个。

但当“我们注定要灭亡吗？”成为全部讨论内容时，长期风险就会再次挤占对当下危害的关注。末日论听起来像是在下结论，而不是在邀请人们采取行动：如果结局不可避免，何必费力去改变它？《纽约客》关于一门存在性风险课程的报道提到了一个学生提出的“建造大教堂”问题：如果你相信世界可能走向终结，为什么还要投身于建造一件可能比你活得更久的事物？答案并不是风险消失了，而是不确定性并不会抹去我们的能力——也不会免除我们的责任——去决定接下来什么最重要，并帮助塑造接下来会发生什么。

这就是我所说的“战略乐观主义”。它不是轻率地说“一切都会好起来”，也不是拒绝审视证据。它意味着承认真实存在的风险，努力降低这些风险，同时为一个值得抵达的未来倾注切实的努力。希望并非严谨的对立面。它可以让严谨始终与行动相连。

喧闹场面背后的治理问题

无论组织是在采购人工智能工具、开发这类工具，还是围绕它制定政策，实际需要考虑的问题都没有咖啡馆或意识主张那么引人注目，却更有用：

• 目的：这个系统要解决什么问题？人工智能是解决该问题的合适工具吗？
• 证据：系统经过了怎样的测试？测试是否涵盖不同用户和较少见的情况？
• 边界：哪些决策必须由人来做？系统又有哪些事情做不到？
• 问责：系统发生故障时由谁负责？受影响的人如何提出申诉？
• 透明度：人们能否了解何时使用了人工智能，以及哪些信息影响了系统的输出？
• 持续监督：系统上线后，谁来监测其表现、数据变化和意外影响？

诸如NIST 的人工智能风险管理框架之类的框架，为组织提供了一种结构化方法，用于在人工智能系统的整个生命周期内识别和管理风险。任何框架都无法取代判断或公共讨论，但只要明确职责、测试和补救途径，治理就会变得更加具体。

治理还涉及实体层面。人工智能依赖数据中心、电力、水、土地和融资，而不仅仅是界面。关于某个大型数据中心项目融资结构的报道引发了这样的疑问：基础设施风险如何披露，最终又由谁承担。咖啡馆或许能让人们接触人工智能，但它本身无法让人工智能背后的基础设施变得清晰易懂。

所以，尽情享受咖啡馆吧。提出关于意识的大问题。认真对待灾难性风险。然后回到那些我们现在就能审视并影响的决策：要建造什么、谁会受益、谁来承担代价，以及出现问题时有哪些保障措施。

未来不是由某个标题一锤定音的判决，而是由企业、机构、政府和社区作出的一系列选择；这些选择仍然可以受到质疑，也仍然可以改变。最有用的问题不只是我们是否注定要灭亡，而是需要具备哪些条件，人工智能才能促进人类福祉，以及我们愿意采取什么行动，让这些条件成为现实。