컴퓨터 과학자, 로봇에게 새로운 기술을 가르치기 위해 긍정적 강화법을 사용하다

존스 홉킨스 대학의 컴퓨터 과학자들은 오랜 시간 동안 동물들을 훈련하는 데 사용되어 왔던 긍정적 강화법을 로봇에게 적용하여 로봇이 새로운 기술을 배우도록 하였다. 이러한 새로운 기술 중 하나는 블록을 쌓는 것이었다.

로봇의 이름은 스폿(Spot)이며, 연구자들은 이 로봇이 전통적으로 한 달이 걸리는 기술을 몇 일 내에 배울 수 있도록 했다고 한다.

긍정적 강화법

연구팀은 로봇의 기술을 향상시키기 위해 긍정적 강화법을 사용하였다. 이러한 방법으로 로봇을 훈련하는 속도는 이러한 유형의 로봇을 실제 세계에서 사용하기 더 쉽게 만들었다.

이 연구는 IEEE Robotics and Automation Letters에 발표되었으며, “Good Robot! Efficient Reinforcement Learning for Multi-Step Visual Tasks with Sim to Real Transfer.”

앤드류 헌트(Andrew Hundt)는 존스 홉킨스 대학에서 박사 과정 학생이며 이 연구의 첫 저자이다.

“로봇이 기술을 배우는 방법은 무엇일까?”라고 그는 말했다. “나는 개를 키워봤기 때문에 보상을 통해 학습이 가능하다는 것을 알고 있었고, 이 것이 학습 알고리즘을 설계하는 데 영감을 주었다.”

컴퓨터가 긍정적 강화법을 통해 학습할 수 있는 이유 중 하나는 컴퓨터가 직관적인 뇌를 가지고 있지 않기 때문이다. 즉, 컴퓨터는 완전히 빈 캔버스와 같은 상태로 모든 것을 투영할 수 있다. 컴퓨터가 학습하는 가장 효과적인 방법 중 하나는 시도와 오류이며, 이는 로봇공학자들이 아직도 연구하고 있는 분야이다.

연구자들은 로봇에게 보상 시스템을 만들어 주었는데, 이는 개를 훈련하는 방법과 유사하다. 그러나 로봇은 작업을 올바르게 수행할 때 숫자 점수를 받는다.

https://www.youtube.com/watch?v=dvxqjJBWFD4

배운 기술

블록을 쌓는 방법을 배우는 과정에서, 로봇은 건설적인 행동에 집중해야 했다. 이 방법으로, 스폿 로봇은 블록을 쌓는 동안 올바른 행동을 할 때 더 높은 점수를 받았다. 반면에, 로봇은 잘못된 행동을 할 때는 아무런 점수를 받지 못했다. 로봇은 네 개의 블록을 쌓고 마지막 블록을 위에 올릴 때 가장 높은 점수를 받았다.

연구자들은 이 방법으로 큰 성공을 거두었으며, 로봇이 몇 일 만에 배운 것을 이전에는 몇 주가 걸렸던 것을 볼 수 있었다. 시뮬레이션 로봇을 훈련함으로써, 팀은 스폿 로봇으로 이동하기 전에 연습 시간을 줄일 수 있었다.

“로봇은 더 높은 점수를 원한다”고 헌트는 말했다. “로봇은 올바른 행동을 통해 최고의 보상을 받기 위해 빠르게 학습한다. 실제로, 로봇이 100%의 정확도를 달성하는 데 한 달이 걸리던 것을 우리는 2일 만에 달성할 수 있었다.”

블록을 쌓는 방법 외에도, 로봇은 긍정적 강화법을 통해 다른 작업을 배우기도 했다. 예를 들어, 로봇은 시뮬레이션 내비게이션 게임을 플레이하는 방법을 배웠다.

“처음에 로봇은 무엇을 해야 하는지 모른다”고 헌트는 말했다. “그러나 로봇은 연습을 거듭할수록 더 잘해지고, 결국에는 작업을 100% 완수할 수 있다. 로봇은 결코 포기하지 않고, 계속해서 블록을 쌓으려고 시도한다.”

이 방법의 가능한 응용 분야 중 일부는 가사 로봇을 특정 작업을 수행하도록 훈련하는 것과 자율 주행 자동차를 개선하는 것이다.

“우리의 목표는 궁극적으로 실제 세계에서 복잡한 작업을 수행할 수 있는 로봇을 개발하는 것이다. 예를 들어, 제품 조립, 노인 돌봄, 수술 등” 헤이거는 말했다. “현재 우리는 이러한 작업을 프로그래밍하는 방법을 모른다. 세계는 너무 복잡하기 때문이다. 그러나 이러한 연구는 로봇이 실제 세계의 작업을 안전하고 효율적으로 수행할 수 있는 방법을 배울 수 있다는 가능성을 보여준다.”