구글의 AI, 개를 관찰하여 로봇이 움직이는 법을 가르친다

오늘날의 가장 발전된 로봇 중 일부도 여전히 다소 거친, 뻣뻣한 방식으로 움직입니다. 로봇이 더 생생하고 유연한 방식으로 움직이도록 하기 위해 구글의 연구자들은 실제 동물의 동작에서 학습할 수 있는 AI 시스템을 개발했습니다. 구글 연구 팀은 지난주 말에 접근 방식을 자세히 설명한 사전 인쇄 논문을 발표했습니다. 논문과 함께 게시된 블로그 게시물에서 연구 팀은 시스템背後의 이론을 설명합니다. 논문의 저자들은 로봇에 더 자연스러운 움직임을 부여하면 건물의 다른 층 사이에서 항목을 전달하는 것과 같은 정밀한 움직임이 필요한 실제 작업을 수행하는 데 도움이 될 수 있다고 믿습니다.

VentureBeat에 따르면, 연구 팀은 로봇을 훈련시키기 위해 강화 학습을 사용했습니다. 연구자들은 실제 동물의 동작을 수집하여 강화 학습(RL) 기술을 사용하여 로봇을 동물의 동작을 모방하도록했습니다. 이 경우 연구자들은 로봇을 개의 동작 클립으로 훈련시켰습니다. 물리 시뮬레이터에서 설계된 4족 로봇 Unitree Laikago에 개의 동작을 모방하도록 지시했습니다. 로봇이 훈련을 마친 후에는 약 2.6 마일의 속도로 복잡한 동작을 수행할 수 있었습니다.

훈련 데이터는 물리 시뮬레이션에서 추적된 약 2억 개의 개 동작 샘플로 구성되었습니다. 다양한 동작은 보상 함수와 에이전트가 학습한 정책을 통해 실행되었습니다. 정책이 시뮬레이션에서 생성된 후 실제 세계로 전송되기 위해 잠재 공간 적응이라는 기술을 사용했습니다. 로봇을 훈련하기 위해 사용된 물리 시뮬레이터는 실제 세계의 동작의某些 측면을 근사할 수만 있었기 때문에 연구자들은 다양한 조건下的 작동을 시뮬레이션하기 위해 시뮬레이션에 다양한 섭동을 임의로 적용했습니다.

연구 팀에 따르면, 50개의 다른 시도에서 수집된 데이터를 8분만에 사용하여 시뮬레이션 정책을 실제 로봇에 적용할 수 있었습니다. 연구자들은 실제 로봇이 다양한 특정 동작을 모방할 수 있음을 보여주었습니다. 예를 들어, 트로팅, 회전, 홉핑, 페이싱 등입니다. 애니메이션 아티스트가 만든 애니메이션도 모방할 수 있었습니다. 예를 들어, 홉과 회전의 조합입니다.

연구자들은 논문에서 다음과 같이 요약합니다.

“참조 동작 데이터를 활용하여 단일 학습 기반 접근 방식이 다채로운 행동의 레퍼토리를 자동으로 합성할 수 있음을 보여주었습니다. 도메인 적응 기술을 훈련 과정에 통합함으로써 시스템은 시뮬레이션에서 적응 정책을 학습할 수 있으며 실제 배포에 빠르게 적용할 수 있습니다.”

강화 학습 과정에서 사용된 제어 정책에는 제한이 있었습니다. 하드웨어와 알고리즘에 의해施加된 제한으로 인해 로봇이 할 수 없는 일이 몇 가지 있었습니다. 예를 들어, 로봇은 달리거나 큰 점프를 할 수 없었습니다. 학습된 정책도 수동으로 설계된 동작과 비교하여 안정성이 떨어졌습니다. 연구 팀은 제어기를 더 강력하고 다양한 유형의 데이터에서 학습할 수 있도록 하여 작업을 더 진행하고자 합니다. 이상적으로, 프레임워크의 향후 버전은 비디오 데이터에서 학습할 수 있어야 합니다.