AI 模型与平台
欧瑞卡:通过大型语言模型实现人级奖励设计
要点EUREKA利用大型语言模型生成奖励代码,在机器人操作任务中表现优于人工设计的函数。
查看更多
- EUREKA利用大型语言模型生成奖励代码,在机器人操作任务中表现优于人工设计的函数。
- 该框架采用进化搜索和环境即上下文提示技术,无需人工工程即可迭代改进奖励函数。
- EUREKA提出了一种基于上下文学习的无梯度强化学习人类反馈方法,实现了从反馈中生成符合人类意图的奖励机制。
近年来,大型语言模型(LLM)取得了长足进步,能够出色地为连续的高层决策任务进行语义规划。然而,让它们充分发挥潜力、学习复杂的底层操控任务仍然很困难。即便学习简单技能或编写文本提示,现有模型往往也需要大量领域知识,因此其表现与人类的灵巧操作水平仍有明显差距。
为缩小这一差距,英伟达(NVDA )、加州理工学院、宾夕法尼亚大学等机构的开发者提出了EUREKA,一种由LLM驱动、旨在达到人类水平的奖励设计算法。它利用代码编写、上下文改进和零样本生成等能力优化奖励代码。将这些代码与强化学习结合,可以帮助智能体学习复杂技能和完成操控任务。
本文从开发角度介绍EUREKA的结构、运作方式及奖励函数生成结果。开发者称,这些函数能够超越人类设计的奖励。我们还将讨论它如何通过无需梯度的上下文学习,为基于人类反馈的强化学习(RLHF)提供新方法。
EUREKA:简介
GPT-3和GPT-4等先进LLM擅长高层连续决策中的语义规划,但学习转笔等底层灵巧操作仍需要改进。研究者发现,只要人类设计者精心构建奖励函数,强化学习就能在灵巧操作及其他领域取得稳定成果。真实任务中的稀疏奖励使学习困难,而奖励塑形可以提供必要的渐进式学习信号。不过,奖励函数很难设计,欠佳的设计经常导致意料之外的行为。

EUREKA的全称是Evolution-driven Universal REward Kit for Agent,即演化驱动的通用智能体奖励工具包。其主要贡献包括:
- 在奖励函数设计方面达到人类水平。
- 无需手工奖励工程即可有效解决操控任务。
- 采用新的无需梯度的上下文学习方法,生成更符合人类意图、性能更好的奖励函数,为传统RLHF提供替代途径。
为提高通用性,开发者采用三项关键设计:演化搜索、以环境作为上下文,以及奖励反思。首先,直接将环境源代码作为上下文,在零样本设置下生成可执行奖励函数。随后,通过演化搜索逐轮提出一批候选奖励,并改进其中最有潜力的方案。最后,奖励反思根据策略训练统计,将奖励质量总结为文字,支持更有针对性的自动修改。下图概述了流程。

EUREKA:模型架构与问题设定
奖励塑形的目标,是为难以直接优化的真实奖励函数(例如稀疏奖励)生成经过调整的奖励函数。设计者只能通过查询访问真实奖励,因此EUREKA将任务定义为奖励生成,也就是以奖励设计问题(RDP)为基础的程序合成。
RDP由包含状态空间的世界模型、奖励函数空间、转移函数和动作空间等组成。学习算法针对奖励生成策略,在马尔可夫过程中评估策略的标量表现,相关评价只能通过策略查询获得。RDP的目标是输出能使策略取得最高适应度分数的奖励函数。EUREKA使用代码定义问题中的各个组成部分,并根据描述任务的字符串生成奖励函数代码,以最大化适应度。
其三个基本算法组件分别是:演化搜索,迭代提出并改进候选奖励;环境上下文,在零样本设置下生成可执行奖励;奖励反思,支持细粒度改进。算法伪代码如下。

以环境作为上下文
现有方法通常要求输入环境规格来设计奖励,EUREKA则直接提供不含奖励代码的原始环境代码,让LLM将世界模型作为上下文。这有两个主要优点。其一,代码模型已在C、C++、Python、Java等原生代码上训练,直接使用熟悉的语法和风格有助于输出代码。其二,源代码通常揭示环境的语义和适合奖励函数使用的变量。因此,EUREKA只需通用奖励设计说明和格式提示,就能要求LLM直接返回更易执行的Python代码。
演化搜索
演化搜索用于应对奖励次优和执行错误。每轮从LLM获得多个独立输出;在独立同分布假设下,增加采样数量能以指数方式降低一轮候选奖励全部出错的概率。
下一步使用上一轮可执行奖励,在上下文中对其进行变异,并根据文字反馈提出改进的奖励函数。结合上下文改进与LLM的指令遵循能力,变异算子可以表达为文本提示,利用策略训练的文字总结修改现有奖励代码。
奖励反思
为了让奖励变异有据可依,需要评估奖励质量并将其表达成文字。单独提供任务适应度分数虽然能衡量整体表现,却无法说明各组成部分的贡献,也不能解释函数为何有效或无效。EUREKA因此使用自动反馈,将策略训练动态总结为文本。奖励程序还必须分别公开各个组成部分,让系统在训练过程的策略检查点跟踪每个奖励分量的标量值。

这种流程虽然容易构建,却十分重要,因为奖励优化的效果依赖所用算法。即使优化器相同,改变强化学习算法的超参数也可能改变奖励的表现。奖励反思因此能帮助系统有选择地、更有效地修改奖励代码,使生成的函数与强化学习算法更协调。
训练与基线
EUREKA的训练评估主要包括策略学习和奖励评价指标。
策略学习
每项任务最终生成的奖励函数,都使用相同的强化学习算法和同一组超参数进行优化。这组参数经过调整,能使人类设计的奖励良好运作。
奖励评价指标
由于不同任务的指标在尺度和语义上不同,EUREKA报告相对于人类奖励归一化后的分数,以便根据真实任务指标整体比较系统与专家设计奖励的表现。
主要基线有三种:L2R、人类奖励和稀疏奖励。
L2R
L2R采用两阶段LLM提示方法生成模板化奖励。第一个模型根据自然语言描述的环境和任务填写模板;第二个模型将这一“动作描述”转换为代码,调用手工编写的奖励API基本组件来构建函数。
人类奖励
这一基线采用强化学习研究人员原先编写的奖励函数,代表高水平的人类奖励工程成果。
稀疏奖励
这一基线类似任务适应度函数,用于评价系统生成奖励的质量。
结果与发现
评估内容包括与人类奖励的比较、随迭代产生的改进、生成新奖励的能力、针对性改进,以及人类反馈的利用。
EUREKA超越人类奖励
下图汇总了不同基准上的结果。在Dexterity和Isaac任务中,EUREKA达到或超过人类奖励的表现。L2R在低维任务上表现相近,但在高维任务中差距明显。

持续迭代改进
EUREKA的重要特点,是每轮迭代都能继续改进表现。下图展示了这一趋势。

利用上下文演化奖励搜索,系统持续生成更好的奖励,逐步改善并最终超越人类奖励的表现。
生成新的奖励
研究者计算了所有Isaac任务中EUREKA奖励与人类奖励的相关性,并将其与人类归一化分数绘制成散点图。每个点代表一项任务中的一个EUREKA奖励。结果显示,多数生成函数与人类奖励的相关性较弱,却取得更好表现。

支持针对性改进
为检验奖励反思的重要性,开发者进行消融实验,移除反思,仅保留反馈提示中的数值快照。在Isaac任务中,这使平均归一化分数下降约29%。
利用人类反馈
除了自动设计奖励,EUREKA还引入无需梯度的上下文学习方法,将不同输入用于RLHF,以生成更符合人类意图且性能更好的奖励函数。实验有两个重要发现:
- EUREKA能够从人类奖励函数中受益并进一步改进。
- 在奖励反思中使用人类反馈,可以引导符合人类意图的行为。

上图显示,无论初始人类奖励质量如何,以其初始化都能显著提高系统表现和效率。这表明基础奖励的质量不会明显限制其上下文奖励改进能力。

上图说明,系统不仅能产生更符合人类意图的策略,还能通过纳入人类反馈来修改奖励。
结语
EUREKA是一种由LLM驱动、旨在达到人类水平的奖励设计算法。它利用代码编写、上下文改进和零样本生成来优化奖励代码,再与强化学习结合,学习复杂技能和操控任务。无需人工干预或特定任务的提示工程,它就在多种任务上实现了人类水平的奖励生成。其重要优势还包括通过课程学习方式学习复杂任务。
整体表现和通用性表明,将演化算法与大型语言模型结合,可能形成可扩展、通用的奖励设计方法。这一思路也可能适用于其他开放式搜索问题。












