FLEX, 인간의 피드백을 바탕으로 로봇의 일반화 능력을 높이다

MIT와 뉴욕대학교 연구진이 대화형 피드백을 활용해 로봇의 움직임을 좌우하는 환경 특성을 수정하는 시스템 FLEX를 개발했다. MIT는 2026년 11월 9일 이 연구를 발표했으며, 연구진은 2026년 11월 열리는 로봇 학습 학회에서 이를 발표할 예정이다.

FLEX는 언어 지시를 따르는 로봇에서 발생하는 한 가지 문제를 해결한다. 커피를 나르는 로봇에게 노트북에 커피를 쏟지 말라고 하면, 노트북을 장애물 목록에 추가할 수는 있지만 노트북을 피해야 하는 이유까지 반영하지는 못할 수 있다. FLEX는 전자기기를 전반적으로 피하려는 선호를 추론한다. 이에 따라 시뮬레이션 속 로봇 팔은 별도의 휴대전화 관련 지시를 받지 않아도 노트북과 가까이에 있는 휴대전화를 모두 피해 이동 경로를 조정한다.

로봇이 추적하는 특성을 수정하기

논문에서는 FLEX를 ‘유연한 특성 편집 파이프라인’이라고 부른다. FLEX는 특성 지정과 보상 최적화를 분리한다. 언어로 전달된 피드백은 장면에서 어떤 측정 가능한 속성이 중요한지 파악하고, 시연은 해당 속성이 궤적에 어느 정도 영향을 미쳐야 하는지 결정한다. 이러한 구분은 표현이 불완전하거나, 관련 없는 특성이 지나치게 많이 포함되어 있거나, 추상화 수준이 적절하지 않은 문제를 겨냥한다.

각 피드백은 ADD, GENERALIZE, MASK 단계를 거친다. ADD는 기존 특성으로 피드백을 설명할 수 있는지 확인한다. 설명할 수 없으면 언어 모델이 누락된 특성을 제안하고, 이를 계산하는 코드를 생성한다. GENERALIZE는 지나치게 구체적인 특성을 추론된 의도와 연관된 특성으로 대체한다. MIT의 볼링공 사례에서는 머그컵에만 적용되던 제약이 깨지기 쉬운 물체를 피하는 제약으로 바뀐다. MASK는 더 이상 관련이 없는 특성을 제거한다.

MASK를 마지막에 실행하면 일반화가 이루어진 뒤의 특성을 대상으로 관련성을 판단하게 된다. 실험에는 GPT-4o가 사용됐으며, MIT에 따르면 세 단계 전체를 수행하는 상호작용에는 약 5초가 걸린다.

이번 연구를 이끌고 MIT 협력 학습 및 자율성 연구실을 이끄는 안드레아 보부(Andreea Bobu)는 이러한 설계가 가정에서 어떻게 활용될 수 있는지 설명했다. “집집마다 환경이 다르고 사람마다 중요하게 여기는 것도 다르기 때문에, 로봇은 상자에서 꺼내자마자 무엇이 여러분에게 중요한지 알 수 없습니다. 제가 FLEX에 기대를 거는 이유는 모든 규칙을 일일이 설명해 달라고 요구하는 대신, 한두 문장만으로도 그런 점을 파악할 수 있기 때문입니다. 이 차이가 바로 사람들이 마지못해 로봇을 받아들이는 것과 실제로 집에 두고 싶어 하는 것의 차이입니다.”

시뮬레이션 결과와 참가자 평가

연구진은 9×9 내비게이션 격자와 커피, 불이 켜진 양초, 볼링공이 등장하는 7자유도 Franka 탁상 작업 시뮬레이션에서 FLEX를 시험했다. 로봇 팔 시나리오에는 5단계의 피드백 순서가 사용됐다. 단계가 바뀔 때마다 물체의 배치를 바꿔, 이전에는 유용했던 특성이 더 이상 필요하지 않게 되거나 숨겨진 정렬 오류가 드러날 수 있도록 했다.

비교 대상에는 추가만 수행하는 ALGAE, 마스킹만 수행하는 Mask-From-Exhaustive(MFE), 그리고 언어 모델에 한 번의 질의로 완전히 갱신된 특성 집합을 요청하는 비계 없는 기준 방식이 포함됐다. 정규화된 보상 지표는 최적의 행동에 1을, 최악의 궤적에 0을 부여한다.

논문에 따르면 FLEX는 7개 내비게이션 시나리오 모두에서 평균 정규화 보상이 가장 높았다. 세 가지 작업을 모두 수행해야 하는 시나리오에서 FLEX의 평균 점수는 0.99였으며, ALGAE는 0.69, MFE는 0.83, 비계 없는 기준 방식은 0.78이었다.

연속적인 로봇 팔 시뮬레이션에서 FLEX는 대체로 한두 번의 피드백만으로 목표 보상을 학습했으며, 앞뒤 단계의 설정에서도 성능을 유지했다고 연구진은 보고했다. 비교 방식은 더 많은 피드백이 필요했고, 관련 없는 특성이 누적되거나 표현이 각 단계에 과적합되면서 성능이 저하됐다.

별도로 진행한 대면 연구에는 참가자 12명이 참여했다. 참가자들은 FLEX, ALGAE, MFE를 사용해 각각 5단계로 구성된 세 개의 구간에서 텍스트로 피드백을 제공했다. 연구진에 따르면 FLEX는 설문조사의 5개 평가 항목 모두에서 평균 점수가 가장 높았다. 7점 척도로 측정한 의도 이해도 평균은 FLEX가 6.3점, ALGAE가 5.0점, MFE가 4.5점이었다. 여러 비교를 고려해 보정한 뒤에도 FLEX와 두 기준 방식의 차이는 통계적으로 유의했다. 사용 편의성과 협업성의 차이는 통계적으로 유의하지 않았다.

근거의 한계와 개발 현황

인간 대상 연구에서는 실제 로봇을 폐루프 방식으로 제어하지 않았다. 일부 기준 방식에서 로봇 팔이 불규칙하게 움직였기 때문에 참가자들은 시뮬레이션 궤적을 지켜봤다. 연구팀은 별도로 참가자들의 피드백을 실제 Franka에서 수집한 전문가 시연과 결합해 오프라인 학습에 활용했다. 저자들은 이 하드웨어 실험이 시뮬레이션 연구를 뒷받침하는 실행 가능성 검토였다고 설명한다.

현재 FLEX는 언어로 표현할 수 있는 관련 특성을 지닌 강체의 준정적 조작에만 적용된다. 동적 작업과 변형 가능한 물체에는 추가적인 양식이 필요할 수 있다. 저자들은 언어 모델의 상식적 추론이 널리 공유되는 선호는 반영할 수 있지만, 개인적이거나 직관에 반하는 선호에는 실패할 수 있다고 말한다. 노트북에서 더 멀리 떨어져 있으라는 요청에는 선호의 강도도 담겨 있지만, 현재의 공식화 방식은 이를 포착하지 못한다.

저자들의 프로젝트 페이지에는 아직 작업이 진행 중이라고 표시되어 있으며, 코드와 데이터 세트는 곧 공개될 예정이라고 안내되어 있다.

가정용 로봇과 보조 로봇에서 수정 횟수를 줄이는 것이 유용하려면, 추론한 선호가 사용자가 실제로 중요하게 여기는 것과 일치해야 합니다. 핵심적으로 아직 답이 나오지 않은 질문은 언어 모델의 일반화가 실제 로봇의 폐루프 작동 중에도 개인마다 다른 선호를 일관성 있게 반영할 수 있느냐는 것입니다.