구글의 AI가 로봇에게 개를 관찰하여 이동하는 방법을 가르친다

오늘날 가장 발전된 로봇 중 일부도 여전히 다소 거친, 뻣뻣한 방식으로 움직입니다. 로봇이 더욱 생생하고 유연한 방식으로 움직이도록 하기 위해, 구글의 연구자들은 실제 동물의 동작에서 학습할 수 있는 AI 시스템을 개발했습니다. 구글 연구 팀은 지난주 말에 접근 방식에 대한 사전 인쇄 논문을 발표했습니다. 논문과 함께하는 블로그 게시물에서, 연구 팀은 시스템背後의 이론을 설명합니다. 논문의 저자들은 로봇에 더욱 자연스러운 동작을 부여하면 건물의 다른 층 사이에서 항목을 전달하는 것과 같은 정밀한 동작이 필요한 실제 세계의 작업을 수행하는 데 도움이 될 수 있다고 믿습니다.

VentureBeat에 따르면, 연구 팀은 로봇을 훈련시키기 위해 강화 학습을 사용했습니다. 연구자들은 실제 동물의 동작을 수집하여 강화 학습(RL) 기술을 사용하여 로봇이 동영상 클립中的 동물의 동작을 모방하도록했습니다. 이 경우, 연구자들은 로봇을 개의 동작을 모방하도록 훈련시켰습니다. 로봇은 훈련 후에 홉핑, 회전, 빠른 속도로 걷는 것과 같은 복잡한 동작을 수행할 수 있었습니다. 약 2.6 마일의 속도로.

훈련 데이터는 약 200만 개의 개가 이동하는 샘플로 구성되었습니다. 다양한 동작은 보상 함수와 정책을 통해 학습한 에이전트를 실행했습니다. 정책이 시뮬레이션에서 생성된 후, 실제 세계로 전송되었습니다. 시뮬레이션에서 로봇을 훈련하는 데 사용된 물리 시뮬레이터는 실제 세계의 동작의某些 측면만近似할 수 있으므로, 연구자들은 실제 조건에서 작동을 시뮬레이션하기 위해 다양한 섭동을 임의로 적용했습니다.

연구 팀에 따르면, mereka는 실제 세계의 로봇에 시뮬레이션 정책을 적용하기 위해 50개의 다른 시도에서 수집된 데이터의 8분만을 사용할 수 있었습니다. 연구자들은 실제 세계의 로봇이 트로팅, 회전, 홉핑, 페이싱과 같은 다양한 특정 동작을 모방할 수 있음을 보여주었습니다. 그들은甚至 애니메이션 아티스트가 생성한 애니메이션을 모방할 수 있었습니다. 예를 들어, 홉과 회전의 조합.

연구자들은 논문에서 다음과 같이 요약합니다.

“참조 동작 데이터를 활용하여 단일 학습 기반 접근 방식이 자동으로 다중 행동용 컨트롤러를 합성할 수 있음을 보여줍니다. 시뮬레이션에서 샘플 효율적인 도메인 적응 기술을 통합하여, 시스템은 시뮬레이션에서 적응형 정책을 학습할 수 있으며 실제 세계에 빠르게 적용할 수 있습니다.”

강화 학습 과정에서 사용된 제어 정책에는 제한이 있었습니다. 하드웨어와 알고리즘의 제약으로 인해 로봇이 할 수 없는 몇 가지 일이 있었습니다. 예를 들어, 그들은 달릴 수 없거나 큰 점프를 할 수 없었습니다. 학습된 정책은 또한 수동으로 설계된 동작과 비교하여 안정성이 떨어졌습니다. 연구 팀은 컨트롤러를 더욱 강력하고 다양한 유형의 데이터에서 학습할 수 있도록 작업을 더 진행하고 싶습니다. 이상적으로, 프레임워크의 향후 버전은 비디오 데이터에서 학습할 수 있을 것입니다.