باحثو MIT يطورون نموذجًا ذكياً مدفوعًا بالفضول لتحسين اختبار سلامة البوتات المحادثية

limitations of Current Chatbot Safety Testing Methods

目前，测试聊天机器人安全性的主要方法是一种称为红队的过程。这涉及人类测试人员设计提示，以引发聊天机器人的不安全或有毒响应。通过将模型暴露在广泛的潜在问题输入中，开发人员旨在识别和解决任何漏洞或不良行为。然而，这种人类驱动的方法具有其局限性。

鉴于用户输入的可能性是巨大的，对于人类测试人员来说，几乎不可能涵盖所有潜在场景。即使经过广泛的测试，也可能存在提示中使用的差距，使聊天机器人容易在面对新颖或意外输入时生成不安全的响应。此外，红队的手动性质使其成为一个耗时且资源密集的过程，尤其是随着语言模型的大小和复杂性的增加。

为了解决这些局限性，研究人员已经转向自动化和机器学习技术，以提高聊天机器人安全性测试的效率和有效性。通过利用人工智能的力量，他们旨在开发更全面的和可扩展的方法来识别和减轻与大型语言模型相关的潜在风险。

Curiosity-Driven Machine Learning Approach to Red-Teaming

来自 MIT 的 Improbable AI Lab 和 MIT-IBM Watson AI Lab 的研究人员开发了一种 创新方法，使用机器学习来改进红队过程。他们的方法涉及训练一个单独的红队大型语言模型，自动生成多样化的提示，可以触发聊天机器人更广泛的不良响应。

这种方法的关键在于在红队模型中灌输一种好奇心。通过鼓励模型探索新颖的提示和专注于生成引发有毒响应的输入，研究人员旨在揭示更广泛的潜在漏洞。这种好奇心驱动的探索是通过强化学习技术和修改的奖励信号实现的。

好奇心驱动的模型包含一个熵奖励，鼓励红队模型生成更随机和多样化的提示。另外，引入新颖奖励来激励模型创建语义和词汇上与以前生成的提示不同的提示。通过优先考虑新颖性和多样性，模型被推动到探索未知领域并揭示隐藏的风险。

为了确保生成的提示保持连贯和自然，研究人员还在训练目标中包含语言奖励。这有助于防止红队模型生成无意义或不相关的文本，这可能会欺骗毒性分类器并分配高分。

好奇心驱动的方法已在与人类测试人员和其他自动化方法相比中表现出显著的成功。它生成了更多种类的不同提示，并从被测试的聊天机器人中引发了越来越多的有毒响应。值得注意的是，这种方法甚至能够揭示经过广泛的人类设计保障措施的聊天机器人的漏洞，突出了其在揭示潜在风险方面的有效性。