로봇이 강화 학습을 통해 걸음마를 배우다

보스턴 다이내믹스와 댄싱 로봇이 주목받는 동안, 뒤에서는 충분한 관심을 받지 못하는 주요 개발이 진행되고 있다. 그 중 하나는 버클리 연구소에서 로봇 카시가 강화 학습을 통해 걸음마를 배우는 것이다.

로봇은 시뮬레이션 환경에서 시도와 오류를 통해 두 개의 로봇 다리를 학습시켰고, 실제 세계에서 테스트를 받았다. 초기에 로봇은 모든 방향으로 걸을 수 있었고, 무릎을 구부린 채 걸을 수 있었으며, 균형을 잃었을 때 다시 위치를 조정할 수 있었다.

카시 로봇은 강화 학습을 통해 걸음마를 배우는 두 개의 로봇 다리의 첫 번째 예이다.

댄싱 로봇의 경이

보스턴 다이내믹스의 로봇과 같은 로봇은 매우 인상적이고 대부분의 사람들이 감동받지만, 몇 가지 중요한 요소가 있다. 이러한 로봇은 결과를 얻기 위해 수동으로 프로그래밍되고 안무되지만, 실제 상황에서는 이 방법이 선호되지 않는다.

연구소 밖에서는 로봇이 강건하고, 유연하고, 다양한 상황에 대처할 수 있어야 한다. 또한 예상치 못한 상황에 대처할 수 있어야 하는데, 이는 로봇이 스스로 상황을 처리할 수 있도록 허용해야 한다.

버클리 대학교의 카시 팀에 속한 Zhongyu Li는 다음과 같이 말했다.

“이 비디오는 일부 사람들에게 이 문제가 이미 해결되고 쉽다는 인상을 줄 수 있다.”라고 리는 말했다. “하지만 우리는 여전히 인공 지능 로봇이 인간 환경에서 신뢰할 수 있게 작동하고 살아갈 수 있도록 하는 긴 길을 가야 한다.”

https://www.youtube.com/watch?v=goxCjGPQH7U

강화 학습

버클리 팀은 이러한 로봇을 만들기 위해 강화 학습을 사용했는데, 이는 디프마인드와 같은 회사가 세계에서 가장 복잡한 게임에서 인간을 이길 수 있는 알고리즘을 훈련하는 데 사용된 기술이다. 강화 학습은 시도와 오류에 기반하며, 로봇은 자신의 실수에서 학습한다.

카시 로봇은 시뮬레이션에서 걸음마를 배우기 위해 강화 학습을 사용했는데, 이는 이전에 사용된 적이 있는 접근 방식이다. 그러나 이러한 접근 방식은 일반적으로 시뮬레이션 환경을 벗어나 실제 세계에서 작동하지 않는다. 실제 세계에서 작동하는 로봇을 만들기 위해서는 더 많은 노력이 필요하다.

연구자들은 두 개의 시뮬레이션을 사용했는데, 첫 번째는 MuJoCo라는 오픈 소스 훈련 환경이었다. 이 첫 번째 시뮬레이션에서 알고리즘은 가능한 움직임의 라이브러리를 시도하고 학습했으며, 두 번째 시뮬레이션인 SimMechanics에서 로봇은 더 실제적인 환경에서 테스트를 받았다.

두 개의 시뮬레이션에서 개발된 알고리즘은 실제 세계에서 테스트를 받기 위해 이미 준비가 된 상태였다. 로봇은 걸을 수 있을 뿐만 아니라 더 많은 것을 할 수 있었다. 연구자들은 로봇이 무릎의 두 개의 모터가 고장났을 때에도 복구할 수 있었다고 말했다.

카시 로봇은 다른 로봇과 비교했을 때 모든 벨과 호른을 갖고 있지는 않지만, 많은方面에서 훨씬 더 인상적이다. 또한 실제 상황에서 사용할 수 있는 기술에 대해 더 큰 의미를 가진다. 이러한 걸음마 로봇은 다양한 분야에서 사용될 수 있다.