MIT 연구진, 로봇 동작 데이터와 언어 모델을 결합하여 작업 실행 개선

가정 로봇은 점점 더 복잡한 작업을 수행하도록 교육되고 있으며, 이는 인간이 示示한 동작을 복사하는 과정인 모방 학습을 통해 이루어집니다. 로봇은优秀한 모방능력을 보이지만, 작업 실행 중에 발생하는 중단이나 예기치 못한 상황에 대처하는 데 어려움을 겪습니다. 이러한 상황에 대한 명시적인 프로그래밍 없이 로봇은 작업을 처음부터 다시 시작해야 합니다. 이러한課題를 해결하기 위해 MIT 엔지니어들은 로봇에 공통 감각을 부여하여 예기치 못한 상황에 대처할 수 있도록 하는 새로운 접근법을 개발 중입니다.

새로운 접근법

MIT 연구진은 로봇 동작 데이터와 “공통 감각 지식”을 갖춘 대규모 언어 모델(LLMs)을 결합하는 방법을 개발했습니다. 이러한 두 요소를 연결함으로써, 이 접근법은 로봇이 주어진 가사 작업을 하위 작업으로 논리적으로 분석하고 각 하위 작업 내에서 중단에 물리적으로 적응할 수 있도록 합니다. 이렇게 하면 로봇은 전체 작업을 처음부터 다시 시작할 필요 없이 작업을 계속할 수 있으며, 엔지니어가 모든 가능한 오류에 대한 수정을 명시적으로 프로그래밍할 필요가 없습니다.

MIT 전기전자컴퓨터공학부(EECS)의 대학원생 Yanwei Wang은 “우리의 방법을 사용하면 로봇이 실행 오류를 자체적으로 수정하고 전체 작업 성공률을 개선할 수 있습니다”라고 설명합니다.

새로운 접근법을 시연하기 위해 연구진은 간단한 작업인 한 그릇에서 다른 그릇으로 구슬을 xúc어서倒는 작업을 사용했습니다. 전통적으로 엔지니어들은 로봇을 하나의 흐르는 궤적으로 이동시키며, 로봇이 모방할 수 있도록 여러 번의 인간 시연을 제공합니다. 그러나 Wang은 “인간 시연은 하나의 긴, 연속적인 궤적”이라고 지적합니다. 연구진은 인간이 하나의 작업을 한 번에 시연할 수 있지만, 작업은 일련의 하위 작업에 의존한다는 것을 깨달았습니다. 예를 들어, 로봇은 먼저 그릇에 손을 넣어야 하며, 구슬을 xúc어야 하며, 빈 그릇으로 이동해야 합니다.

로봇이 이러한 하위 작업 중 하나에서 오류를 발생시키면, 명시적으로 하위 작업을 레이블링하고 프로그래밍하거나 새 시연을 수집하여 로봇이 오류에서 회복할 수 있도록 하는 경우를 제외하고는 작업을 처음부터 다시 시작하는 것이唯一의 방법입니다. Wang은 “그 정도의 계획은 매우 번거롭다”고 강조합니다. 여기서 연구진의 새로운 접근법이 발휘됩니다. LLMs의 힘을 활용하여 로봇은 전체 작업에 포함된 하위 작업을 자동으로 식별하고 중단 발생 시 잠재적인 복구 동작을 결정할 수 있습니다. 이는 엔지니어가 모든 가능한 오류 시나리오에 대한 로봇의 수정을 수동으로 프로그래밍할 필요가 없으며, 로봇이 더 적응性 있고 효율적인 가사 작업을 수행할 수 있도록 합니다.

대규모 언어 모델의 역할

LLMs는 MIT 연구진의 새로운 접근법에서 중요한 역할을 합니다. 이러한 深層 학습 모델은大量의 텍스트 라이브러리를 처리하여 단어, 문장, 및 단락 간의 연결을 설정합니다. 이러한 연결을 통해 LLM은 학습된 패턴에 따라 새로운 문장을 생성할 수 있으며, 본质적으로 이전 단어 또는 구가 다음에 올 가능성이 높은 단어 또는 구를 이해할 수 있습니다.

연구진은 LLMs의 이러한 능력을 활용하여 자동으로 작업 내의 하위 작업과 중단 발생 시 잠재적인 복구 동작을 식별할 수 있다고 깨달았습니다. LLMs의 “공통 감각 지식”과 로봇 동작 데이터를 결합함으로써, 새로운 접근법은 로봇이 작업을 하위 작업으로 논리적으로 분석하고 예기치 못한 상황에 적응할 수 있도록 합니다. LLMs와 로봇공학의 통합은 가사 로봇이 프로그래밍되고 훈련되는 방식을 혁신할 수 있으며, 로봇을 더 적응性 있고 실제 세계의課題에 대처할 수 있도록 할 수 있습니다.

로봇공학 분야가 발전함에 따라, LLMs와 같은 AI 기술의 통합은 점점 더 중요해질 것입니다. MIT 연구진의 접근법은 가사 로봇이 인간의 동작을 모방할 수 있을 뿐만 아니라, 수행하는 작업의 기본 논리와 구조를 이해할 수 있도록 하는 중요한 단계입니다. 이러한 이해는 로봇이 자율적으로 그리고 효율적으로 복잡한 실제 세계 환경에서 운영할 수 있도록 하는 데 핵심이 될 것입니다.

가정 로봇의 더 지능적이고 적응性 있는 미래로

로봇이 실행 오류를 자체적으로 수정하고 전체 작업 성공률을 개선할 수 있도록 함으로써, 이 방법은 로봇 프로그래밍의 주요課題 중 하나인 실제 상황에 대한 적응성을 해결합니다.

이 연구의 함의는 단순한 구슬을 xúc는 작업을 훨씬 넘어섭니다. 가사 로봇이 더 일반화됨에 따라,它们는 동적이고 구조화되지 않은 환경에서 다양한 작업을 수행할 수 있어야 합니다. 작업을 하위 작업으로 분해하고, 기본 논리를 이해하며, 중단에 대처할 수 있는 능력은 이러한 로봇이 효과적으로 그리고 효율적으로 운영되기 위해 필수적입니다.

또한, LLMs와 로봇공학의 통합은 AI 기술이 로봇을 프로그래밍하고 훈련하는 방식을 혁신할 수 있는 잠재력을 보여줍니다. 이러한 기술이 발전함에 따라, 우리는 더 지능적이고, 적응性 있고, 자율적인 로봇을 우리의 집과 작업장에서 볼 수 있을 것입니다.

MIT 연구진의 작업은 실제 세계의 복잡성을真正로 이해하고 탐색할 수 있는 가사 로봇을 생성하기 위한 중요한 단계입니다. 이 접근법이 정제되고 더广泛한 작업에 적용됨에 따라, 그것은 우리의 삶을 더 쉽고 효율적으로 만들 수 있는 잠재력을 가지고 있습니다.