MIT 연구원들은 로봇 동작 데이터를 언어 모델과 결합하여 작업 실행을 향상시킵니다.

가정용 로봇은 인간이 보여주는 동작을 복사하도록 프로그래밍되는 과정인 모방 학습을 통해 복잡한 작업을 수행하도록 점점 더 많이 학습되고 있습니다. 로봇은 뛰어난 흉내를 내는 것으로 입증되었지만 작업 실행 중에 발생하는 중단이나 예상치 못한 상황에 적응하는 데 종종 어려움을 겪습니다. 이러한 편차를 처리하기 위한 명시적인 프로그래밍이 없으면 로봇은 처음부터 작업을 시작해야 합니다. 이 문제를 해결하기 위해 MIT 엔지니어들은 새로운 접근 방식 이는 예상치 못한 상황에 직면했을 때 로봇에게 상식을 제공하여 수동 개입 없이도 적응하고 작업을 계속할 수 있도록 하는 것을 목표로 합니다.

새로운 접근법

MIT 연구진은 로봇의 동작 데이터와 '상식'을 결합한 방법을 개발했다. 대규모 언어 모델(LLM). 이 두 요소를 연결함으로써 이 접근 방식을 통해 로봇은 주어진 가사 작업을 하위 작업으로 논리적으로 구문 분석하고 각 하위 작업 내의 중단에 물리적으로 조정할 수 있습니다. 이를 통해 로봇은 처음부터 전체 작업을 다시 시작하지 않고도 계속 진행할 수 있으며 엔지니어가 도중에 발생할 수 있는 모든 오류에 대한 수정 사항을 명시적으로 프로그래밍할 필요가 없습니다.

MIT 전기 공학 및 컴퓨터 과학과(EECS)의 대학원생 Yanwei Wang은 "우리의 방법을 사용하면 로봇이 실행 오류를 자체 수정하고 전반적인 작업 성공을 향상시킬 수 있습니다."라고 설명합니다.

새로운 접근 방식을 시연하기 위해 연구자들은 한 그릇에서 구슬을 퍼내고 다른 그릇에 붓는 간단한 일을 사용했습니다. 전통적으로 엔지니어는 하나의 유체 궤적을 퍼내고 붓는 동작을 통해 로봇을 움직이며 종종 로봇이 흉내낼 수 있는 여러 인간 시연을 제공했습니다. 그러나 Wang이 지적한 것처럼 "인간의 시위는 하나의 길고 연속적인 궤적입니다." 팀은 인간이 한 번에 단일 작업을 보여줄 수 있지만 작업은 일련의 하위 작업에 따라 달라진다는 것을 깨달았습니다. 예를 들어 로봇은 먼저 그릇에 손을 뻗어야 하고, 빈 그릇으로 이동하기 전에 구슬을 퍼내야 합니다.

로봇이 이러한 하위 작업 중에 실수를 하는 경우 엔지니어가 각 하위 작업에 명시적으로 라벨을 지정하고 로봇이 오류를 복구할 수 있도록 새로운 데모를 수집하지 않는 한 로봇의 유일한 방법은 중지하고 처음부터 시작하는 것입니다. Wang은 “그런 수준의 계획은 매우 지루하다”고 강조합니다. 연구자들의 새로운 접근 방식이 작용하는 곳이 바로 여기이다. 로봇은 LLM의 강력한 기능을 활용하여 전체 작업과 관련된 하위 작업을 자동으로 식별하고 중단 시 잠재적인 복구 조치를 결정할 수 있습니다. 이를 통해 엔지니어가 가능한 모든 오류 시나리오를 처리하기 위해 로봇을 수동으로 프로그래밍할 필요가 없으므로 로봇이 집안일을 보다 효율적으로 수행할 수 있습니다.

대규모 언어 모델의 역할

LLM은 MIT 연구원의 새로운 접근 방식에서 중요한 역할을 합니다. 이러한 딥 러닝 모델은 방대한 텍스트 라이브러리를 처리하여 단어, 문장, 단락 간의 연결을 설정합니다. 이러한 연결을 통해 LLM은 학습된 패턴을 기반으로 새로운 문장을 생성할 수 있으며, 기본적으로 마지막 문장 뒤에 나올 단어나 문구의 종류를 이해합니다.

연구원들은 LLM의 이러한 기능을 활용하여 더 큰 작업 내의 하위 작업과 중단 시 잠재적인 복구 조치를 자동으로 식별할 수 있다는 것을 깨달았습니다. LLM의 "상식 지식"과 로봇 동작 데이터를 결합함으로써 새로운 접근 방식을 통해 로봇은 작업을 하위 작업으로 논리적으로 분석하고 예상치 못한 상황에 적응할 수 있습니다. LLM과 로봇 공학의 이러한 통합은 가정용 로봇의 프로그래밍 및 훈련 방식에 혁명을 일으켜 로봇이 현실 세계의 과제를 보다 잘 처리하고 처리할 수 있도록 만들 수 있는 잠재력을 가지고 있습니다.

로봇 공학 분야가 계속 발전함에 따라 LLM과 같은 AI 기술의 통합이 점점 더 중요해질 것입니다. MIT 연구원들의 접근 방식은 인간의 행동을 모방할 수 있을 뿐만 아니라 그들이 수행하는 작업의 기본 논리와 구조를 이해할 수 있는 가정용 로봇을 만드는 데 있어 중요한 진전입니다. 이러한 이해는 복잡한 실제 환경에서 자율적이고 효율적으로 작동할 수 있는 로봇을 개발하는 데 핵심이 될 것입니다.

가정용 로봇의 더욱 스마트하고 적응력이 뛰어난 미래를 향하여

로봇이 실행 오류를 자체 수정하고 전반적인 작업 성공을 향상시킬 수 있도록 함으로써 이 방법은 로봇 프로그래밍의 주요 과제 중 하나인 실제 상황에 대한 적응성을 해결합니다.

이 연구의 의미는 구슬을 퍼내는 단순한 작업 그 이상입니다. 가정용 로봇이 널리 보급됨에 따라 역동적이고 구조화되지 않은 환경에서 다양한 작업을 처리할 수 있어야 합니다. 작업을 하위 작업으로 나누고, 기본 논리를 이해하고, 중단에 적응하는 능력은 이러한 로봇이 효과적이고 효율적으로 작동하는 데 필수적입니다.

또한 LLM과 로봇 공학의 통합은 AI 기술이 로봇을 프로그래밍하고 훈련하는 방식을 혁신할 수 있는 잠재력을 보여줍니다. 이러한 기술이 계속 발전함에 따라 우리는 집과 직장에서 더욱 지능적이고 적응력이 뛰어나며 자율적인 로봇을 볼 수 있을 것으로 기대할 수 있습니다.

MIT 연구원들의 연구는 현실 세계의 복잡성을 진정으로 이해하고 탐색할 수 있는 가정용 로봇을 만드는 데 있어 중요한 단계입니다. 이러한 접근 방식이 개선되고 더 광범위한 작업에 적용됨에 따라 우리가 생활하고 일하는 방식을 변화시켜 삶을 더 쉽고 효율적으로 만들 수 있는 잠재력이 있습니다.