AI 模型与平台

欧瑞卡:通过大型语言模型实现人级奖励设计

Kunal Kejriwal
将 Unite.AI 添加到您在 Google 上的首选来源
要点EUREKA利用大型语言模型生成奖励代码,在机器人操作任务中表现优于人工设计的函数。
查看更多
  • EUREKA利用大型语言模型生成奖励代码,在机器人操作任务中表现优于人工设计的函数。
  • 该框架采用进化搜索和环境即上下文提示技术,无需人工工程即可迭代改进奖励函数。
  • EUREKA提出了一种基于上下文学习的无梯度强化学习人类反馈方法,实现了从反馈中生成符合人类意图的奖励机制。

近年来,大型语言模型(LLM)取得了长足进步,能够出色地为连续的高层决策任务进行语义规划。然而,让它们充分发挥潜力、学习复杂的底层操控任务仍然很困难。即便学习简单技能或编写文本提示,现有模型往往也需要大量领域知识,因此其表现与人类的灵巧操作水平仍有明显差距。

为缩小这一差距,英伟达(NVDA )、加州理工学院、宾夕法尼亚大学等机构的开发者提出了EUREKA,一种由LLM驱动、旨在达到人类水平的奖励设计算法。它利用代码编写、上下文改进和零样本生成等能力优化奖励代码。将这些代码与强化学习结合,可以帮助智能体学习复杂技能和完成操控任务。

本文从开发角度介绍EUREKA的结构、运作方式及奖励函数生成结果。开发者称,这些函数能够超越人类设计的奖励。我们还将讨论它如何通过无需梯度的上下文学习,为基于人类反馈的强化学习(RLHF)提供新方法。

EUREKA:简介

GPT-3和GPT-4等先进LLM擅长高层连续决策中的语义规划,但学习转笔等底层灵巧操作仍需要改进。研究者发现,只要人类设计者精心构建奖励函数,强化学习就能在灵巧操作及其他领域取得稳定成果。真实任务中的稀疏奖励使学习困难,而奖励塑形可以提供必要的渐进式学习信号。不过,奖励函数很难设计,欠佳的设计经常导致意料之外的行为。

EUREKA的全称是Evolution-driven Universal REward Kit for Agent,即演化驱动的通用智能体奖励工具包。其主要贡献包括:

  1. 在奖励函数设计方面达到人类水平。
  2. 无需手工奖励工程即可有效解决操控任务。
  3. 采用新的无需梯度的上下文学习方法,生成更符合人类意图、性能更好的奖励函数,为传统RLHF提供替代途径。

为提高通用性,开发者采用三项关键设计:演化搜索、以环境作为上下文,以及奖励反思。首先,直接将环境源代码作为上下文,在零样本设置下生成可执行奖励函数。随后,通过演化搜索逐轮提出一批候选奖励,并改进其中最有潜力的方案。最后,奖励反思根据策略训练统计,将奖励质量总结为文字,支持更有针对性的自动修改。下图概述了流程。

EUREKA:模型架构与问题设定

奖励塑形的目标,是为难以直接优化的真实奖励函数(例如稀疏奖励)生成经过调整的奖励函数。设计者只能通过查询访问真实奖励,因此EUREKA将任务定义为奖励生成,也就是以奖励设计问题(RDP)为基础的程序合成。

RDP由包含状态空间的世界模型、奖励函数空间、转移函数和动作空间等组成。学习算法针对奖励生成策略,在马尔可夫过程中评估策略的标量表现,相关评价只能通过策略查询获得。RDP的目标是输出能使策略取得最高适应度分数的奖励函数。EUREKA使用代码定义问题中的各个组成部分,并根据描述任务的字符串生成奖励函数代码,以最大化适应度。

其三个基本算法组件分别是:演化搜索,迭代提出并改进候选奖励;环境上下文,在零样本设置下生成可执行奖励;奖励反思,支持细粒度改进。算法伪代码如下。

以环境作为上下文

现有方法通常要求输入环境规格来设计奖励,EUREKA则直接提供不含奖励代码的原始环境代码,让LLM将世界模型作为上下文。这有两个主要优点。其一,代码模型已在C、C++、Python、Java等原生代码上训练,直接使用熟悉的语法和风格有助于输出代码。其二,源代码通常揭示环境的语义和适合奖励函数使用的变量。因此,EUREKA只需通用奖励设计说明和格式提示,就能要求LLM直接返回更易执行的Python代码。

演化搜索

演化搜索用于应对奖励次优和执行错误。每轮从LLM获得多个独立输出;在独立同分布假设下,增加采样数量能以指数方式降低一轮候选奖励全部出错的概率。

下一步使用上一轮可执行奖励,在上下文中对其进行变异,并根据文字反馈提出改进的奖励函数。结合上下文改进与LLM的指令遵循能力,变异算子可以表达为文本提示,利用策略训练的文字总结修改现有奖励代码。

奖励反思

为了让奖励变异有据可依,需要评估奖励质量并将其表达成文字。单独提供任务适应度分数虽然能衡量整体表现,却无法说明各组成部分的贡献,也不能解释函数为何有效或无效。EUREKA因此使用自动反馈,将策略训练动态总结为文本。奖励程序还必须分别公开各个组成部分,让系统在训练过程的策略检查点跟踪每个奖励分量的标量值。

这种流程虽然容易构建,却十分重要,因为奖励优化的效果依赖所用算法。即使优化器相同,改变强化学习算法的超参数也可能改变奖励的表现。奖励反思因此能帮助系统有选择地、更有效地修改奖励代码,使生成的函数与强化学习算法更协调。

训练与基线

EUREKA的训练评估主要包括策略学习和奖励评价指标。

策略学习

每项任务最终生成的奖励函数,都使用相同的强化学习算法和同一组超参数进行优化。这组参数经过调整,能使人类设计的奖励良好运作。

奖励评价指标

由于不同任务的指标在尺度和语义上不同,EUREKA报告相对于人类奖励归一化后的分数,以便根据真实任务指标整体比较系统与专家设计奖励的表现。

主要基线有三种:L2R、人类奖励和稀疏奖励。

L2R

L2R采用两阶段LLM提示方法生成模板化奖励。第一个模型根据自然语言描述的环境和任务填写模板;第二个模型将这一“动作描述”转换为代码,调用手工编写的奖励API基本组件来构建函数。

人类奖励

这一基线采用强化学习研究人员原先编写的奖励函数,代表高水平的人类奖励工程成果。

稀疏奖励

这一基线类似任务适应度函数,用于评价系统生成奖励的质量。

结果与发现

评估内容包括与人类奖励的比较、随迭代产生的改进、生成新奖励的能力、针对性改进,以及人类反馈的利用。

EUREKA超越人类奖励

下图汇总了不同基准上的结果。在Dexterity和Isaac任务中,EUREKA达到或超过人类奖励的表现。L2R在低维任务上表现相近,但在高维任务中差距明显。

持续迭代改进

EUREKA的重要特点,是每轮迭代都能继续改进表现。下图展示了这一趋势。

利用上下文演化奖励搜索,系统持续生成更好的奖励,逐步改善并最终超越人类奖励的表现。

生成新的奖励

研究者计算了所有Isaac任务中EUREKA奖励与人类奖励的相关性,并将其与人类归一化分数绘制成散点图。每个点代表一项任务中的一个EUREKA奖励。结果显示,多数生成函数与人类奖励的相关性较弱,却取得更好表现。

支持针对性改进

为检验奖励反思的重要性,开发者进行消融实验,移除反思,仅保留反馈提示中的数值快照。在Isaac任务中,这使平均归一化分数下降约29%。

利用人类反馈

除了自动设计奖励,EUREKA还引入无需梯度的上下文学习方法,将不同输入用于RLHF,以生成更符合人类意图且性能更好的奖励函数。实验有两个重要发现:

  1. EUREKA能够从人类奖励函数中受益并进一步改进。
  2. 在奖励反思中使用人类反馈,可以引导符合人类意图的行为。

上图显示,无论初始人类奖励质量如何,以其初始化都能显著提高系统表现和效率。这表明基础奖励的质量不会明显限制其上下文奖励改进能力。

上图说明,系统不仅能产生更符合人类意图的策略,还能通过纳入人类反馈来修改奖励。

结语

EUREKA是一种由LLM驱动、旨在达到人类水平的奖励设计算法。它利用代码编写、上下文改进和零样本生成来优化奖励代码,再与强化学习结合,学习复杂技能和操控任务。无需人工干预或特定任务的提示工程,它就在多种任务上实现了人类水平的奖励生成。其重要优势还包括通过课程学习方式学习复杂任务。

整体表现和通用性表明,将演化算法与大型语言模型结合,可能形成可扩展、通用的奖励设计方法。这一思路也可能适用于其他开放式搜索问题。

Kunal Kejriwal 是一名专注于 Python、PostgreSQL、Redis 以及 GCP 和 AWS 上云基础设施的后端工程师。拥有三年构建和扩展生产系统的经验,他撰写关于 AI 基础设施、分布式系统以及部署机器学习工作负载背后架构的文章。