人工智能
强化学习的多面性：塑造大型语言模型
近年来，大型语言模型（LLMs）已显著重新定义了人工智能（AI）领域，使机器能够以令人惊叹的熟练程度理解和生成类似人类的文本。这一成功在很大程度上归功于机器学习方法的进步，包括深度学习和强化学习（RL）。虽然有监督学习在训练LLMs中发挥了至关重要的作用，但强化学习已成为一种强大的工具，可以将其能力提升到简单的模式识别之外。
强化学习使LLMs能够从经验中学习，根据奖励或惩罚优化其行为。强化学习的不同变体，例如从人类反馈中学习的强化学习（RLHF）、具有可验证奖励的强化学习（RLVR）、群体相对政策优化（GRPO）和直接偏好优化（DPO），已被开发出来，以微调LLMs，确保它们与人类偏好保持一致并提高其推理能力。
本文探讨了各种强化学习方法，它们塑造了LLMs，检查了它们的贡献和对AI开发的影响。
理解AI中的强化学习
强化学习（RL）是一种机器学习范式，其中代理通过与环境交互来学习做出决定。它不仅仅依赖标记数据，代理采取行动，接收反馈以奖励或惩罚的形式，并相应地调整其策略。
对于LLMs，强化学习确保模型生成的响应与人类偏好、道德准则和实际推理保持一致。目标不仅是产生语法正确的句子，还要使它们具有用途、有意义，并符合社会规范。
从人类反馈中学习的强化学习（RLHF）
在LLM训练中使用的最广泛的RL技术之一是 RLHF。它不仅仅依赖预定义的数据集，RLHF通过将人类偏好纳入训练循环来改进LLMs。该过程通常涉及：
- 收集人类反馈：人类评估者评估模型生成的响应，并根据质量、连贯性、有用性和准确性对其进行排名。
- 训练奖励模型：这些排名然后被用来训练一个单独的奖励模型，该模型预测人类会更喜欢哪个输出。
- 使用RL进行微调：LLM使用此奖励模型来根据人类偏好改进其响应。
这种方法已被用于改进模型，如ChatGPT和Claude。虽然RLHF在使LLMs与用户偏好保持一致、减少偏见和提高其遵循复杂指令的能力方面发挥了至关重要的作用，但它需要大量的人类注释者来评估和微调AI输出，这是一个资源密集的过程。这一限制导致研究人员探索替代方法，例如 从AI反馈中学习的强化学习（RLAIF） 和 具有可验证奖励的强化学习（RLVR）。
RLAIF：从AI反馈中学习的强化学习
与RLHF不同，RLAIF依赖于AI生成的偏好来训练LLMs，而不是人类反馈。它通过使用另一个AI系统（通常是LLM）来评估和排名响应，创建一个自动奖励系统来指导LLM的学习过程。
这种方法解决了与RLHF相关的可扩展性问题，其中人类注释可能很昂贵且耗时。通过使用AI反馈，RLAIF增强了一致性和效率，减少了由主观人类意见引入的可变性。虽然RLAIF是一种有价值的方法，可以在大规模上改进LLMs，但它有时会强化AI系统中现有的偏见。
具有可验证奖励的强化学习（RLVR）
虽然RLHF和RLAIF依赖于主观反馈，但RLVR利用客观、可编程验证的奖励来训练LLMs。这种方法对于具有明确正确性标准的任务特别有效，例如：
- 数学问题解决
- 代码生成
- 结构化数据处理
在RLVR中，模型的响应使用预定义的规则或算法进行评估。一个可验证的奖励函数确定响应是否满足预期标准，正确答案赋予高分，错误答案赋予低分。
这种方法减少了对人类标记和AI偏见的依赖，使训练更加可扩展和成本有效。例如，在数学推理任务中，RLVR已被用于改进模型，如 DeepSeek的R1-Zero，使其能够在没有人类干预的情况下自我改进。
优化LLMs的强化学习
除了上述用于指导LLMs如何接收奖励和从反馈中学习的技术外，RL中另一个至关重要的方面是模型如何根据这些奖励采纳（或优化）其行为（或策略）。这就是高级优化技术的用途。
RL中的优化本质上是更新模型的行为以最大化奖励的过程。虽然传统的RL方法在微调LLMs时往往会出现不稳定性和低效率，但已经开发了新的方法来优化LLMs。以下是用于训练LLMs的领先优化策略：
- 近端策略优化（PPO）： PPO是最广泛使用的RL技术之一，用于微调LLMs。RL中一个主要挑战是确保模型更新会提高性能而不会突然、剧烈地改变可能降低响应质量的内容。PPO通过引入受控的策略更新来解决这个问题，逐渐和安全地改进模型的响应以保持稳定性。它还平衡了探索和利用，帮助模型发现更好的响应同时强化有效的行为。另外，PPO是样本高效的，使用较小的数据批次来减少训练时间同时保持高性能。这一方法被广泛 使用 在模型中，如ChatGPT，确保响应保持有用、相关且符合人类期望而不会过度拟合特定的奖励信号。
- 直接偏好优化（DPO）： DPO是另一种RL优化技术，专注于直接优化模型的输出以符合人类偏好。与依赖复杂奖励建模的传统RL算法不同，DPO直接优化模型基于二进制偏好数据——这意味着它只确定一个输出是否比另一个输出更好。该方法依赖人类评估者对模型为特定提示生成的多个响应进行排名。然后，它对模型进行微调以增加在未来生成排名较高的响应的概率。DPO在获取详细的奖励模型困难的场景中特别有效。通过简化RL，DPO使AI模型能够在没有复杂RL技术相关的计算负担的情况下改进其输出。
- 群体相对政策优化（GRPO）： 最近开发的RL优化技术之一是GRPO。虽然像PPO这样的典型RL技术需要一个值模型来估计不同响应的优势，这需要大量的计算能力和内存资源，但GRPO通过使用同一提示的不同生成的奖励信号来消除对单独值模型的需求。这意味着它不是将输出与静态值模型进行比较，而是将它们相互比较，从而大大减少计算开销。GRPO的一个最值得注意的应用是在 DeepSeek R1-Zero 中，这是一个完全没有使用有监督微调就发展出了高级推理能力的模型，实现了自我进化。
结论
强化学习在改进大型语言模型（LLMs）方面发挥着至关重要的作用，通过增强其与人类偏好的对齐并优化其推理能力。像RLHF、RLAIF和RLVR这样的技术提供了各种基于奖励的学习方法，而像PPO、DPO和GRPO这样的优化方法提高了训练效率和稳定性。随着LLMs的不断发展，强化学习的作用变得越来越关键，使这些模型更加智能、道德和合理。
