로보틱스 및 피지컬 AI
복잡한 작업을 몇 번의 시연으로 학습할 수 있는 로봇
Unite.AI를 Google의 선호 소스에 추가
로봇공학 분야의 최신 개발 중 하나로, 남캘리포니아 대학교(USC)의 연구자들은 로봇이 몇 번의 시연으로 복잡한 작업을 학습할 수 있는 시스템을 개발했다. 더욱 놀라운 것은 일부 시연이 불완전해도 된다는 것이다.
이 연구는 11월 18일 로봇 학습 회의(CoRL)에서 “시그널 템포럴 논리(Signal Temporal Logic)를 사용한 시연 학습”이라는 제목으로 발표되었다.
시스템
시스템은 각 시연의 품질을 측정하여 성공과 실패에서 학습할 수 있다. 현재의 방법과는 달리, 특정 작업을 가르치기 위해 최소 100번의 시연이 필요한 반면, 새로운 시스템은 몇 번의 시연만 필요로 한다. 직관적으로, 이러한 로봇이 학습하는 방식은 인간이 다른 사람으로부터 학습하는 방식과 유사하다. 예를 들어, 인간은 다른 사람이 작업을 성공적으로 또는 불완전하게 수행하는 것을 관찰하고 학습한다.
아니루드 푸라닉(Aniruddh Puranic)은 이 연구의 주도자이며, 남캘리포니아 대학교 비테르비 공과대학의 컴퓨터 과학 박사 과정 학생이다.
“많은 기계 학습과 강화 학습 시스템은大量의 데이터와 수백 번의 시연을 필요로 한다. 인간이 반복적으로 시연해야 하며, 이는 현실적으로 불가능하다”라고 푸라닉은 말했다.
“또한, 대부분의 사람들은 로봇이 해야 할 일을 명시적으로 말할 수 있는 프로그래밍 지식을 가지고 있지 않으며, 인간은 로봇이 알아야 할 모든 것을 시연할 수 없다”라고 그는 계속했다. “로봇이 전에 본 적 없는 것을 마주쳤을 때 어떻게 될까? 이것이 핵심적인 도전이다.”
연구자들은 시연의 품질을 결정하기 위해 “시그널 템포럴 논리” 또는 STL을 사용했다. 이를 통해 로봇은 불완전한 시연에서도 학습할 수 있다.
연구자들이 STL을 선택한 두 가지 주요 이유가 있다:
- 로봇은 시연을 통해 불완전하거나 안전하지 않은 행동을 학습할 수 있다.
- 시연의 품질은 제공하는 사용자에 따라 다를 수 있으며, 일부 시연은 원하는 행동을 더 잘 나타낸다.
이 시스템을 개발함으로써, 로봇은 불완전한 시연에서도 학습할 수 있으며, 논리적 요구 사항을 충족하지 않더라도 자신의 결론을 내릴 수 있다.
스테파노스 니콜라이디스(Stefanos Nikolaidis)는 공동 연구자이며, 남캘리포니아 대학교 비테르비 공과대학의 컴퓨터 과학 조교수이다.
“로봇이 다양한 유형의 시연으로 학습할 수 있다고 가정해 보자. 직접 시연, 비디오 또는 시뮬레이션이 될 수 있다. 만약 내가 매우 위험한 행동을 한다면, 표준적인 접근 방식은 두 가지 중 하나를 할 것이다. 즉, 완전히 무시하거나, 더 나쁘게는 로봇이 잘못된 것을 학습할 것이다”라고 니콜라이디스는 말했다.
“반면에, 이 연구는 매우 지능적으로 논리를 사용하여 시연의 어떤 부분이 良好하고 어떤 부분이 나쁘는지 이해한다”라고 그는 계속했다. “본질적으로, 이것은 인간이 하는 일과 정확히 동일하다.”
시그널 템포럴 논리
로봇은 시그널 템포럴 논리(STM)를 통해 현재와 미래의 결과에 대해 추론할 수 있다. STM은 표현력이 풍부한 수학적 기호 언어이다. 이전에는 선형 템포럴 논리(Linear Temporal Logic)를 사용했다.
조 디슈무크(Jyo Deshmukh)는 전 토요타 엔지니어이며, 남캘리포니아 대학교의 컴퓨터 과학 조교수이다.
“우리가 사이버 물리 시스템의 세계로 들어가면, 로봇이나 자율 주행 자동차와 같은 경우에 시간이 매우 중요해진다. 이 경우 선형 템포럴 논리는有点 불편해지며, 시그널 템포럴 논리는 물리적 신호에 대해 추론할 수 있다”라고 디슈무크는 말했다.
연구자들은 시스템의 성공 수준에 놀랐다.
“로봇공학 응용에서广泛하게 사용되는 최신 알고리즘과 비교했을 때, 필요한 시연의 수에서 큰 차이를 보인다”라고 니콜라이디스는 말했다.
연구자들은 시스템이 시뮬레이터와 궁극적으로 비디오에서 학습할 수 있을 것이라고 말했다. 다음 단계는 실제 로봇에서 테스트하는 것이다. 초기 테스트는 게임 시뮬레이터에서 수행되었다. 이 시스템은 가정 환경, 창고, 우주 탐사 로버와 같은 응용 분야에서 유용할 것이다.
“로봇이 좋은 팀 멤버가 되고 사람을 도와주려면, 먼저 인간의 선호도에 효율적으로 학습하고 적응해야 한다”라고 니콜라이디스는 말했다. “우리의 방법이 이를 제공한다.”
