인간 언어로 로봇 학습 가속화

Princeton의 연구팀은 도구에 대한 인간 언어 설명이 다양한 도구를 들어올리고 사용할 수 있는 시뮬레이션된 로봇 팔의 학습을 가속화할 수 있음을 발견했습니다.

새로운 연구는 AI 훈련이 자율 로봇을 새로운 상황에 더 잘 적응하게 만들어 결과적으로 효율성과 안전성을 향상시킬 수 있다는 생각을 뒷받침합니다.

도구의 형태와 기능에 대한 설명을 로봇의 훈련 과정에 추가함으로써 새로운 도구를 조작하는 로봇의 능력이 향상되었습니다.

훈련을 위한 ATLA 방법

새로운 방법이 호출됩니다 언어를 통한 도구 조작의 가속화된 학습, 또는 ATLA.

Anirudha Majumdar는 Princeton의 기계 및 항공 우주 공학 조교수이자 Intelligent Robot Motion Lab의 책임자입니다.

"언어 형태의 추가 정보는 로봇이 도구를 더 빨리 사용하는 방법을 배우는 데 도움이 될 수 있습니다."라고 Majumdar는 말했습니다.

팀은 도구 설명을 얻기 위해 언어 모델 GPT-3을 쿼리했습니다. 다양한 프롬프트를 시도한 후 그들은 "상세하고 과학적인 응답으로 [도구]의 [기능]을 설명하십시오"를 사용하기로 결정했습니다. 기능은 도구의 모양이나 목적입니다.

Karthik Narasimhan은 컴퓨터 과학 조교수이자 이번 연구의 공동 저자입니다. Narasimhan은 또한 프린스턴 자연어 처리(NLP) 그룹의 수석 교수진이며 OpenAI의 객원 연구 과학자로서 원래 GPT 언어 모델에 기여했습니다.

Narasimhan은 "이러한 언어 모델은 인터넷에서 훈련되었기 때문에 어떤 의미에서는 크라우드소싱을 사용하거나 도구 설명을 위해 특정 웹사이트를 스크랩하는 것보다 더 효율적이고 포괄적으로 해당 정보를 검색하는 다른 방법으로 생각할 수 있습니다."라고 말했습니다.

모의 로봇 학습 실험

팀은 시뮬레이션된 로봇 학습 실험을 위해 도끼에서 스퀴지까지 다양한 도구를 사용하여 27개의 도구로 구성된 교육 세트를 선택했습니다. 로봇 팔에는 XNUMX가지 작업이 주어졌습니다. 도구 밀기, 도구 들어 올리기, 테이블을 따라 실린더를 쓸기 위해 사용하기, 못을 구멍에 망치로 박기.

그런 다음 팀은 언어 정보가 있거나 없는 기계 학습 접근 방식을 사용하여 일련의 정책을 개발했습니다. 정책 성과는 쌍을 이루는 설명과 함께 9개 도구에 대한 별도의 테스트를 통해 비교되었습니다.

메타 학습(meta-learning)이라고 하는 접근 방식은 각각의 연속 작업으로 로봇의 학습 능력을 향상시킵니다.

Narasimhan에 따르면 로봇은 각 도구를 사용하는 방법을 배울 뿐만 아니라 “이 수백 가지 도구 각각에 대한 설명을 이해하는 방법을 배우려고 노력하므로 101번째 도구를 보면 새 도구를 사용하는 방법을 더 빨리 배울 수 있습니다. ”

대부분의 실험에서 언어 정보는 로봇이 새로운 도구를 사용하는 능력에 상당한 이점을 제공했습니다.

Allen Z. Ren은 박사입니다. Majumdar 그룹의 학생이자 연구 논문의 주 저자.

Ren은 "언어 훈련을 통해 지렛대의 긴 끝을 잡고 곡면을 사용하여 병의 움직임을 더 잘 제한하는 방법을 배웁니다."라고 말했습니다. "언어가 없으면 곡면에 가까운 지렛대를 잡고 제어하기가 더 어려웠습니다."

"광범위한 목표는 로봇 시스템, 특히 기계 학습을 사용하여 훈련된 시스템을 새로운 환경에 일반화하는 것입니다."라고 Majumdar는 덧붙였습니다.