麻省理工学院研究人员开发好奇心驱动的人工智能模型以改进聊天机器人安全测试

发布时间 2024 年 4 月 12 日

亚历克斯麦克法兰

近年，大型语言模型 (LLM) 和人工智能聊天机器人已经变得非常普遍，改变了我们与技术互动的方式。这些复杂的系统可以生成类似人类的响应，协助完成各种任务，并提供有价值的见解。

然而，随着这些模型变得更加先进，对其安全性和生成有害内容的可能性的担忧已经成为人们关注的焦点。为了确保负责任地部署人工智能聊天机器人，彻底的测试和保护措施至关重要。

当前聊天机器人安全测试方法的局限性

目前，测试人工智能聊天机器人安全性的主要方法是一种称为红队的过程。这涉及人类测试人员精心设计提示，旨在引发聊天机器人的不安全或有毒反应。通过将模型暴露于各种可能有问题的输入中，开发人员旨在识别并解决任何漏洞或不良行为。然而，这种以人为本的方法有其局限性。

鉴于用户输入的巨大可能性，人类测试人员几乎不可能覆盖所有潜在场景。即使进行了广泛的测试，所使用的提示也可能存在差距，使得聊天机器人在面对新颖或意外的输入时容易产生不安全的响应。此外，红队的手动性质使其成为一个耗时且资源密集的过程，特别是当语言模型的规模和复杂性不断增长时。

为了解决这些限制，研究人员转向自动化和机器学习技术来提高聊天机器人安全测试的效率和有效性。通过利用人工智能本身的力量，他们的目标是开发更全面和可扩展的方法来识别和减轻与大型语言模型相关的潜在风险。

麻省理工学院 Improbable AI 实验室和 MIT-IBM Watson AI 实验室的研究人员开发了一种创新的方法使用机器学习改进红队流程。他们的方法包括训练一个单独的红队大型语言模型，以自动生成不同的提示，这些提示可能会触发正在测试的聊天机器人发出更广泛的不良响应。

这种方法的关键在于向红队模型灌输好奇心。通过鼓励模型探索新的提示并专注于生成引发毒性反应的输入，研究人员的目标是发现更广泛的潜在漏洞。这种好奇心驱动的探索是通过强化学习技术和修改奖励信号的结合来实现的。

好奇心驱动的模型包含了熵奖励，这鼓励红队模型生成更多随机和多样化的提示。此外，还引入了新颖性奖励来激励模型创建在语义和词汇上与之前生成的提示不同的提示。通过优先考虑新颖性和多样性，该模型被推动探索未知领域并发现隐藏的风险。

为了确保生成的提示保持连贯和自然，研究人员还在培训目标中加入了语言奖励。此奖励有助于防止红队模型生成无意义或不相关的文本，这些文本可能会欺骗毒性分类器分配高分。

好奇心驱动的方法在超越人类测试人员和其他自动化方法方面取得了显着的成功。它会产生更多种类的不同提示，并引发正在测试的聊天机器人越来越有毒的反应。值得注意的是，这种方法甚至能够暴露经过广泛的人为设计保护措施的聊天机器人中的漏洞，突显了其在发现潜在风险方面的有效性。

好奇心驱动的红队的发展标志着在确保大型语言模型和人工智能聊天机器人的安全性和可靠性方面向前迈出了重要一步。随着这些模型不断发展并越来越融入我们的日常生活，拥有能够跟上其快速发展步伐的强大测试方法至关重要。

好奇心驱动的方法提供了一种更快、更有效的方法来对人工智能模型进行质量保证。通过自动生成多样化且新颖的提示，该方法可以显着减少测试所需的时间和资源，同时提高潜在漏洞的覆盖率。这种可扩展性在快速变化的环境中特别有价值，在这种环境中模型可能需要频繁更新和重新测试。

此外，好奇心驱动的方法为定制安全测试过程开辟了新的可能性。例如，通过使用大型语言模型作为毒性分类器，开发人员可以使用公司特定的政策文档来训练分类器。这将使红队模型能够测试聊天机器人是否符合特定的组织准则，确保更高水平的定制和相关性。

随着人工智能的不断发展，好奇心驱动的红队对于确保更安全的人工智能系统的重要性怎么强调也不为过。通过主动识别和解决潜在风险，这种方法有助于开发更值得信赖、更可靠的人工智能聊天机器人，可以放心地部署在各个领域。