باحثو معهد ماساتشوستس للتكنولوجيا يطورون نموذجًا قائمًا على الذكاء الاصطناعي مدفوعًا بالفضول لتحسين اختبار سلامة المحادثات

limitations of Current Chatbot Safety Testing Methods

目前，测试聊天机器人安全性的主要方法是一种称为红队测试的过程。这涉及人类测试人员设计提示，以引发聊天机器人的不安全或有毒响应。通过将模型暴露在广泛的潜在问题输入中，开发人员旨在识别和解决任何漏洞或不良行为。然而，这种人为驱动的方法具有局限性。

鉴于用户输入的可能性浩瀚，人类测试人员几乎不可能涵盖所有可能的场景。即使经过广泛的测试，也可能存在提示中的差距，使聊天机器人容易生成不安全的响应，当面对新颖或意外的输入时。此外，红队测试的 ручной性质使其成为一个耗时且耗费资源的过程，尤其是随着语言模型的不断增长和复杂化。

为了解决这些局限性，研究人员已经转向自动化和机器学习技术，以提高聊天机器人安全性测试的效率和有效性。通过利用人工智能本身的力量，他们旨在开发更全面和可扩展的方法来识别和减轻与大型语言模型相关的潜在风险。

Curiosity-Driven Machine Learning Approach to Red-Teaming

麻省理工学院的Improbable AI Lab和麻省理工学院-IBM沃森人工智能实验室的研究人员开发了一种 创新方法，使用机器学习来改进红队测试过程。他们的方法涉及训练一个单独的红队大型语言模型，自动生成多样化的提示，可以触发聊天机器人更广泛的不良响应。

这种方法的关键在于在红队模型中灌输好奇心。通过鼓励模型探索新颖的提示，并专注于生成引发有毒响应的输入，研究人员旨在发现更广泛的潜在漏洞。这种好奇心驱动的探索是通过强化学习技术和修改的奖励信号的组合来实现的。

好奇心驱动的模型包括一个熵奖励，鼓励红队模型生成更随机和多样化的提示。另外，引入新颖性奖励来激励模型创建语义和词汇上与以前生成的提示不同的提示。通过优先考虑新颖性和多样性，模型被推动到未知领域，揭示隐藏的风险。

为了确保生成的提示保持连贯和自然，研究人员还在训练目标中包含了语言奖励。这个奖励有助于防止红队模型生成无意义或不相关的文本，这可能会欺骗有毒性分类器将高分数分配给它们。

好奇心驱动的方法在超越人类测试人员和其他自动化方法方面表现出了显著的成功。它生成了更多不同提示，并从被测试的聊天机器人中引发了越来越多的有毒响应。值得注意的是，这种方法甚至能够揭示已经经过广泛的人类设计防护措施的聊天机器人的漏洞，突出了其在揭示潜在风险方面的有效性。