AI 모델 및 플랫폼
EUREKA: 인간 수준의 보상 설계를 위한 대규모 언어 모델 코딩
핵심 포인트EUREKA는 로봇 매니퓰레이션 작업에서 인간이 설계한 기능을 능가하는 보상 코드를 생성하기 위해 LLM을 사용합니다.
더 보기
- EUREKA는 로봇 매니퓰레이션 작업에서 인간이 설계한 기능을 능가하는 보상 코드를 생성하기 위해 LLM을 사용합니다.
- 이 프레임워크는 진화 탐색과 환경을 맥락으로 한 프롬프팅을 통해 수동 엔지니어링 없이 보상 함수를 반복적으로 개선합니다.
- EUREKA는 RLHF를 위한 그래디언트 프리 인-컨텍스트 학습 방법을 도입하여 피드백으로부터 인간에 부합하는 보상 생성을 가능하게 합니다.
최근 대규모 언어 모델(LLM)의 발전을 보면 순차적인 고수준 의사결정에서 의미 기반 계획자로 뛰어난 성과를 내는 것은 놀랍지 않습니다. 그러나 복잡한 저수준 조작 기술을 학습하는 데 모델의 잠재력을 충분히 활용하기는 여전히 어렵습니다. 단순한 기술을 가르치거나 텍스트 프롬프트를 만드는 데도 상당한 분야별 전문성이 필요하며, 인간의 손재주와는 큰 격차가 있습니다.
Nvidia (NVDA ), 칼텍, 펜실베이니아대학교 등의 개발자들은 이 격차를 줄이기 위해 EUREKA를 소개했습니다. LLM을 활용해 인간 수준의 보상 설계를 목표로 하는 알고리즘입니다. 코드 작성, 문맥 내 개선, 예시 없는 생성 능력을 결합해 보상 코드를 최적화합니다. 강화학습과 결합된 코드는 복잡한 기술과 조작 과제를 학습하는 데 쓰입니다.
이 글에서는 개발 관점에서 EUREKA의 구조와 작동 방식, 개발자들이 인간이 만든 것보다 우수하다고 주장하는 보상 함수의 생성 결과를 살펴봅니다. 또한 기울기를 사용하지 않는 문맥 내 학습이 인간 피드백 기반 강화학습(RLHF)에 제공하는 새로운 접근법을 설명합니다.
EUREKA 소개
GPT-3와 GPT-4 같은 첨단 LLM은 고수준 의사결정의 의미 기반 계획에서 뛰어납니다. 하지만 손가락으로 펜을 돌리는 것과 같은 저수준 조작 기술은 개선이 필요합니다. 사람이 보상 함수를 신중하게 설계하면 강화학습은 이런 기술과 다른 분야에서도 좋은 결과를 냅니다. 보상은 바람직한 행동을 위한 학습 신호를 제공합니다. 실제 과제에서 보상이 희소하면 학습하기 어렵지만, 보상 형성은 점진적인 신호를 줄 수 있습니다. 다만 함수 설계는 매우 어렵고, 불완전한 설계는 의도하지 않은 행동을 낳습니다.

EUREKA는 Evolution-driven Universal REward Kit for Agent의 약자로, 다음 세 가지를 목표로 합니다.
- 보상 함수 설계에서 인간 수준의 성능을 달성합니다.
- 수작업 보상 설계 없이 조작 과제를 효과적으로 해결합니다.
- 기존 RLHF 대신 기울기 없는 문맥 내 학습으로 성능이 좋고 인간의 목표에 더 부합하는 보상을 생성합니다.
범용성을 뒷받침하는 세 가지 설계는 진화적 탐색, 환경을 문맥으로 활용하는 방식, 보상에 대한 성찰입니다. 먼저 환경 소스 코드를 문맥으로 제공해 예시 없이 실행 가능한 보상 함수를 생성합니다. 이어 각 반복에서 후보 묶음을 제안하고 가장 유망한 후보를 진화적 탐색으로 개선합니다. 마지막으로 정책 학습 통계에서 보상 품질을 텍스트로 요약하고, 이를 활용해 보상을 자동으로 정밀하게 수정합니다. 다음 그림은 전체 흐름이며 이후 절에서 자세히 설명합니다.

모델 구조와 문제 설정
보상 형성은 희소 보상처럼 직접 최적화하기 어려운 본래 목표 함수에 대해 학습하기 좋은 보상 함수를 구성하는 것입니다. 설계자는 질의를 통해서만 원래 함수에 접근할 수 있습니다. EUREKA는 따라서 보상 설계 문제(Reward Design Problem, RDP)를 바탕으로 프로그램 합성 형태의 보상 생성을 사용합니다.
RDP는 상태 공간을 갖는 세계 모델, 보상 함수 공간, 전이 함수, 행동 공간으로 구성됩니다. 학습 알고리즘은 마르코프 과정에서 정책을 생성하고, 정책 질의로 접근하는 스칼라 적합도 값으로 정책의 품질을 평가합니다. 목표는 학습된 정책이 적합도를 최대화하도록 하는 보상 함수입니다. EUREKA는 각 구성 요소를 코드로 지정합니다. 과제를 설명하는 문자열이 주어지면 적합도를 최대화할 보상 함수 코드를 생성합니다.
핵심 요소는 후보 제안과 개선을 반복하는 진화적 탐색, 예시 없는 실행 가능한 보상 생성을 위한 환경 코드 문맥, 세밀한 개선을 위한 보상 성찰입니다. 다음은 알고리즘의 의사 코드입니다.

환경을 문맥으로 활용
일반적으로 LLM의 보상 설계에는 환경 명세가 필요합니다. EUREKA는 보상 코드를 제외한 원래 환경 코드를 직접 문맥으로 제공합니다. 장점은 두 가지입니다. 코드 모델은 C, C++, Python, Java 등으로 학습되어 익숙한 문법과 스타일에서 더 좋은 코드를 생성합니다. 또한 소스 코드는 환경의 의미와 과제에 맞는 보상 함수에 사용할 변수를 드러냅니다. 따라서 일반적인 형식과 보상 설계 조언만으로 실행 가능한 Python 코드를 직접 반환하도록 요청할 수 있습니다.
진화적 탐색
진화적 탐색은 불충분한 보상과 실행 오류를 해결합니다. 각 반복에서 LLM으로부터 여러 독립적인 후보를 얻습니다. 표본이 독립적이고 동일한 분포를 따른다면 표본 수가 늘수록 모든 후보에 오류가 있을 확률은 지수적으로 낮아집니다.
다음 단계에서는 이전 반복의 실행 가능한 함수를 문맥 안에서 변형하고, 텍스트 피드백을 바탕으로 개선한 함수를 제안합니다. 문맥 내 개선과 LLM의 지시 준수 능력을 활용해 변이 연산을 텍스트 프롬프트로 지정할 수 있습니다. 정책 학습 요약이 기존 보상 코드의 수정을 안내합니다.
보상 성찰
정밀한 수정에는 보상의 품질을 평가하고 말로 표현하는 과정이 필요합니다. 숫자로 된 적합도는 전체 결과를 보여주지만 왜 성공하거나 실패했는지 설명하지 않습니다. EUREKA는 자동 피드백으로 정책 학습의 변화를 텍스트로 요약합니다. 각 보상 함수는 구성 요소도 개별적으로 제시해야 하며, 전체 학습 과정의 확인 지점에서 각 요소의 스칼라 값을 추적합니다.

이 절차는 간단하지만 보상 최적화가 알고리즘에 의존하기 때문에 중요합니다. 보상 함수의 효과는 선택한 강화학습 알고리즘에 직접 영향을 받습니다. 같은 최적화기를 쓰더라도 하이퍼파라미터가 달라지면 결과가 달라질 수 있습니다. EUREKA는 보상을 선택적으로 수정하고 학습 알고리즘과 더 잘 맞는 함수를 합성할 수 있습니다.
학습과 비교 기준
주요 구성 요소는 정책 학습과 보상 평가 지표입니다.
정책 학습
각 과제의 최종 보상 함수는 동일한 강화학습 알고리즘과, 사람이 설계한 보상에 맞춰 조정된 동일한 하이퍼파라미터로 최적화됩니다.
보상 평가 지표
과제마다 척도와 의미가 다르므로 인간 결과로 정규화한 점수를 보고합니다. 실제 목표 지표를 기준으로 전문가가 만든 보상과 종합적으로 비교할 수 있습니다.
세 가지 주요 비교 기준은 L2R, Human, Sparse입니다.
L2R
L2R은 템플릿 기반 보상을 생성하는 2단계 LLM 프롬프트 방식입니다. 첫 모델이 자연어로 지정된 환경과 과제를 바탕으로 템플릿을 채웁니다. 두 번째 모델은 이 동작 설명을 수작업으로 작성된 보상 API의 기본 연산을 호출해 보상 함수를 만드는 코드로 변환합니다.
Human
강화학습 연구자가 작성한 원래 보상 함수로, 고도화된 인간의 보상 설계를 대표합니다.
Sparse
적합도 함수와 유사한 희소 보상으로, 생성된 보상의 품질을 평가하는 데 사용합니다.
결과
평가는 인간 보상과의 비교, 반복에 따른 개선, 새로운 보상 생성, 정밀한 개선, 인간 피드백 활용을 포함합니다.
인간이 설계한 보상을 능가
그림은 여러 벤치마크의 종합 결과입니다. EUREKA는 Dexterity와 Isaac 과제 모두에서 인간 보상과 같거나 더 좋은 결과를 냅니다. L2R은 저차원 과제에서는 비슷하지만 고차원 과제에서는 상당한 차이가 있습니다.

반복에 따른 지속적 개선
매 반복마다 성능이 향상된다는 점은 중요한 특징입니다. 결과를 다음 그림에 제시합니다.

문맥 내 진화적 탐색으로 더 좋은 보상을 계속 만들고, 결국 인간이 설계한 보상의 성능을 넘어섭니다.
새로운 보상 생성
새로움은 모든 Isaac 과제에서 인간 보상과 EUREKA 보상의 상관관계를 계산해 평가합니다. 상관관계와 인간 기준 정규화 점수를 산점도로 나타내며 각 점은 한 과제의 EUREKA 보상입니다. 시스템은 주로 인간 보상과 상관성이 낮으면서도 더 좋은 결과를 내는 함수를 생성합니다.

정밀한 개선
보상 성찰의 중요성을 확인하기 위해 개발자들은 해당 요소를 제거하고 피드백을 시점별 수치로만 제한하는 제거 실험을 수행했습니다. Isaac 과제에서 평균 정규화 점수는 약 29% 하락했습니다.
인간 피드백 활용
자동 설계 외에도 기울기 없는 문맥 내 학습을 RLHF에 적용합니다. 다양한 입력을 반영해 더 효과적이고 인간 목표에 부합하는 보상을 생성합니다. 두 가지 중요한 관찰은 다음과 같습니다.
- 인간 보상 함수를 활용하고 개선할 수 있습니다.
- 보상 성찰에 인간 피드백을 사용하면 의도에 부합하는 행동을 유도합니다.

그림은 인간 보상을 초기값으로 사용하면 원래 품질과 관계없이 성능과 효율성이 크게 좋아짐을 보여줍니다. 초기 보상의 품질은 문맥 내 개선 능력에 결정적인 영향을 주지 않습니다.

마지막 그림은 인간 피드백으로 보상을 수정하고 인간 의도에 더 잘 맞는 정책을 만들 수 있음을 보여줍니다.
마무리
EUREKA는 코드 작성, 문맥 내 개선, 예시 없는 생성 능력을 이용해 보상 코드를 최적화합니다. 강화학습과 결합하면 복잡한 기술과 조작 과제를 학습할 수 있습니다. 인간의 개입이나 과제별 프롬프트 설계 없이 다양한 과제에서 인간 수준의 보상을 생성하며, 점진적으로 난도를 높이는 학습을 통한 복잡한 과제 습득이 강점입니다.
성능과 범용성은 진화적 알고리즘과 LLM의 결합이 확장 가능하고 일반적인 보상 설계 접근법이 될 수 있음을 보여줍니다. 이 통찰은 다른 개방형 탐색 문제에도 적용될 가능성이 있습니다.












