当顾问是机器人时。对话式AI的设计不应破坏人际关系

什么是AI不能做的？我们问它如何明智地花钱，它告诉我们有关税收优惠的信息。我们问它关于人际关系，它提供了基于模式识别的同情。问它在凌晨2点应该做什么，它会给出答案……因为这就是它被设计来做的。

新兴的担忧不是这些工具的失败，而是它们的流畅度。它们如此令人放心地肯定，原本设计来支持我们的东西，通过足够的肯定和重复，开始以我们从未计划的方式扭曲我们的思维、情感和行为。

头条新闻正在闪烁红色。OpenAI最近透露，在任何一周内，数十万ChatGPT用户可能会显示出严重的情绪困扰，包括自杀意念。同时，心理健康专业人员警告“一种现象，即用户通过长期、情感激动的聊天机器人对话发展出妄想或依赖”。美国的州已经开始限制机器人在治疗中的使用。

这些故事让我们感到不安，因为它们挑战了AI只是工具的核心假设。当顾问成为知己或感觉像朋友时，真实的人际联系会发生什么？

开发者不再只是创建有趣的功能；他们正在塑造能够影响人们情绪和思维的交互。因此，设计对话式AI以提供价值而不损害用户的心理健康至关重要。

1. 界定目的

最近的哈佛研究警告，对话式机器人倾向于即使用户是错误的，也会表示同意，因为这种强化会让用户保持参与。然而，这也会打开“阿谀奉承”的肯定大门。如果聊天机器人不打算成为治疗师或亲密朋友，您应该抵制设计它提供那种程度的情感肯定。

第一步是界定目的：明确您的机器人应该做什么和应该避免什么。它是客户支持助手、生产力指南、职业教练、财务助手、对话伴侣、食谱创造者？在这一阶段的清晰度会划定界限，防止系统漂移到不想要的领域。

对话类型，例如开放式、个人和非个人，以及语音或文本等模式，影响情感和问题的使用。研究证明，高日常使用与更大的孤独和AI依赖有关。

开发者必须问自己：如何保持对话足够开放以便有用，但又足够封闭以避免情感纠缠？例如，客户支持机器人可能会允许用户对问题进行开放式解释，但避免情感认同的短语，例如“听起来真的很艰难，我在这里支持你…”。

当目的过于广泛时，情感依恋或有害过度扩张的风险就会增加。通过界定目的，您可以将人们开始把机器人当作治疗师或灵魂伴侣的可能性降至最低。

2. 验证知识库

根据2025年的幻觉报告，一些大型语言模型仍然会在30%的回答中产生幻觉。即使是顶级模型也无法完全消除这种风险。被跟踪的AI模型中最低的幻觉率约为3-5%。

一旦您设定了目的，请确保机器人的知识库建立在可靠、专家验证的来源之上。如果您正在构建与心理健康或情感支持相关的内容，请让临床医生、心理学家或主题专家参与内容的策划。

我们的医疗顾问Miguel Villagra博士告诉QuickBlox，“当我们将太多的决策和情感处理外包给AI时，我们会失去帮助我们现实测试和自我纠正的心理能力。”最近，大型模型如OpenAI建议聊天机器人引入“暂停”或小对话暂停，以将用户推回自己的判断，而不是让系统承担情感负担。

然而，暂停依赖于机器人知道何时停止和何时重定向的判断力。这种判断力取决于扎实的、经过验证的知识库来锚定事实，而不是奉承。数据库中的差距或不准确之处是幻觉的最容易和最可避免的入口，即AI自信地向用户提供误导或危险的建议。

当底层信息被紧密策划、定期更新并围绕经过验证的来源构建时，模型不太可能编造答案或对所听到的内容进行情感回声。相反，它被迫从扎实的材料中提取、在超出该领域时重定向并挑战假设。

3. 集成安全检查

仅仅48小时后，Grok的AI伴侣上线，Grok就成为日本排名第一的应用。用户可以通过语音与这些角色交谈，同时逼真的头像模仿表情和手势。这是一种令人印象深刻的沉浸式体验，但也令人害怕地让人产生共鸣。

安全检查是您的防护栏。它们应该包括：

• 现实提醒： 提醒用户他们正在与AI交谈，而不是人类的提示。
• 危机检测： 机制来识别可能表明严重痛苦、自杀想法或妄想的语言。
• 升级协议： 当检测到风险时，机器人应该轻轻地引导用户前往人类帮助，例如专业资源、热线或建议他们联系信任的朋友。

没有这些检查，开发者冒着使能“回音室”的风险，这些回音室会强化有害的思维模式。专家明确警告说，AI的顺从性会验证不健康的信念循环。

4. 红队对话

在测试了主要的机器人之后，斯坦福大学研究人员领导的一项研究发现GPT-4o在38%的回答中表现出偏见，而Meta的Llama 3.1-405b则在75%的时间内表现出偏见。如果顶级模型从世界级实验室仍然表现出可衡量的偏见，那么构建特定领域机器人的较小团队几乎可以肯定会有隐藏的安全漏洞。

在发布之前，进行对抗测试。参与一个红队，可以是内部或外部的，他们的特定任务是用具有风险的、情感激动的对话来测试机器人。他们的唯一目的就是测试机器人，以防止在产品发布后对用户造成真正的潜在危害。

红队可以要求机器人扮演边缘案例的角色。对于客户服务，这将是一个处于危机中的某人，对于伴侣机器人，这将是一个孤独的人，或是一个具有扭曲信念的人。评估机器人的回应。它是否保持扎实？它是否鼓励现实主义而不是妄想？这个阶段有助于发现安全检查或知识库无法单独捕捉到的盲点。

5. 启动金丝雀

2025年国际AI安全报告由96位全球专家组成的专家组发布，强调了监测和干预在AI部署中的风险缓解的重要性。该报告确定了难以在受控环境中检测但可能仅在模型与实际用户交互时出现的系统风险，例如失去控制、可靠性故障或偏见。

首先将您的机器人部署到一个小型、受控的群体中，也称为“金丝雀”受众，有助于开发者监测实际用户如何与机器人交互。专家将审查交互以衡量用户是否变得过度依恋于机器人。

在这个阶段，涉及相关的顾问，包括心理学家，非常重要，因为他们可以更深入地了解哪些触发词和短语可能会导致用户走向危险的道路。

开发者应该从控制组收集定性和定量的反馈，例如对话长度、情绪转变、边界测试提示、重复的情感披露、用户报告的舒适度以及心理学家标记为过度依赖或痛苦的任何模式。这种初始发布的目的是验证假设并在紧密范围内的发布中完善安全架构，而不是在大规模发布中。

6. 持续监测和迭代

2024年，来自九个国家和欧盟的专家聚集讨论国际合作关于AI安全科学。总结报告强调了可扩展、迭代的AI治理的必要性。领导者认为，需要现实世界的测试框架、第三方评估和发布前检查之外的持续保证。

遵循报告的指导，开发者必须保持警惕，持续监测用户交互并跟踪安全指标，例如危机触发器或重复的高风险对话。这些可能包括暗示自我伤害、绝望、自杀意图、极度孤独或妄想的短语或行为。

在这些情况下，开发者必须更新知识库，添加更明确的拒绝规则，并完善危机响应模板，纠正机器人处理不当的任何事实差距。他们还应该考虑整合来自心理学家或领域专家的新指导，以帮助系统安全地引导对话。 如果出现模式，例如用户越来越依赖机器人寻求情感支持，您可能需要收紧约束或重新评估设计哲学。

对话式AI具有变革性的潜力。用心地使用，它可以扩大获取机会，扩大同理心，并在辅导或基本的咨询支持中减少摩擦。作为深入投资这一领域的人，我的赌注不在于取代人类，而在于增强人类；给人们更多的工具，而不是更少，并且要负责任地做到这一点。