인공지능, 마인크래프트 기계 학습 대회에서 경쟁

Nature에 따르면, 곧 열리는 새로운 인공지능 대회인 MineRL 대회에서는 인공지능 엔지니어와 코더들이 관찰과 예를 통해 학습할 수 있는 프로그램을 개발하도록 장려한다. 이러한 인공지능 시스템의 테스트 케이스는 매우 인기 있는 크래프팅과 서바이벌 비디오 게임인 마인크래프트이다.

인공지능 시스템은 비디오 게임에서 최근 몇 가지 인상적인 업적을 달성했다. 최근에 인공지능이 전략 게임 스타크래프트 II에서 세계 최고의 인간 플레이어를 이겼다. 그러나 스타크래프트 II에는 인공지능이 사용하여 훈련할 수 있는 일관된 단계로 나누기 쉬운 정의된 목표가 있다. 마인크래프트와 같은 대규모 오픈월드 샌드박스 게임을 탐색하는 것은 인공지능에게 훨씬 더 어려운 작업이다. 연구자들은 관찰과 예를 통해 인공지능 프로그램이 학습할 수 있도록 도와주고자 한다. 만약 그들이 성공한다면 인공지능 프로그램을 훈련하는 데 필요한 처리 능력을 크게 줄일 수 있을 것이다.

대회 참가자들은 마인크래프트와 함께 테스트할 인공지능을 만들기 위해 4일의 시간이 주어지며, 최대 800만 단계를 수행하여 인공지능을 훈련시킨다. 인공지능의 목표는 게임에서 다이아몬드를 발견하는 것이다. 800만 단계의 훈련은 현재 강력한 인공지능 모델을 훈련하는 데 필요한 시간보다 훨씬 짧은 시간이다. 따라서 대회 참가자들은 현재의 훈련 방법을 크게 개선하는 방법을 개발해야 한다.

참가자가 사용하는 접근 방식은 모방 학습이라고 하는 유형의 학습에 기반한다. 모방 학습은 공장의 로봇 아ーム이나 스타크래프트 II에서 인간 플레이어를 이길 수 있는 인공지능과 같은 복잡한 시스템을 훈련하는 데 인기 있는 방법인 강화 학습과 대조된다. 강화 학습 알고리즘의 주요 단점은 엄청난 컴퓨터 처리 능력이 필요하여 수백 또는 수천 대의 컴퓨터를 연결하여 학습해야 한다는 것이다. 반면에 모방 학습은 훨씬 더 효율적이고 계산 비용이 적은 훈련 방법이다. 모방 학습 알고리즘은 인간이 관찰을 통해 학습하는 방식을 모방하려고 한다.

카네기 멜런 대학교의 딥러닝 이론 박사 과정인 윌리엄 구스(William Guss)는 네이처에게 환경을 탐색하고 학습하는 패턴을 가진 인공지능을 얻는 것은 매우 어려운 작업이지만 모방 학습은 인공지능에게 환경에 대한 기준 지식 또는 좋은 선행 가정을 제공한다고 설명했다. 이는 강화 학습과 비교하여 인공지능을 훈련하는 데 훨씬 더 빠른 방법이다.

마인크래프트는 여러 이유로 다중 사용자용 훈련 환경으로 적합하다. 한 가지 이유는 마인크래프트가 플레이어가 단순한 블록을 사용하여 복잡한 구조와 아이템을 생성할 수 있으며 이러한 구조를 생성하는 데 필요한 많은 단계는 연구자가 사용할 수 있는 구체적인 진행 상황의 지표이다. 마인크래프트는 또한 매우 인기 있기 때문에 훈련 데이터를 수집하기가 상대적으로 쉽다. MineRL 대회 주최자는 다양한 작업을示하는 마인크래프트 플레이어들을 모집하여 도구를 생성하고 블록을 부수는 작업을 수행했다. 데이터 생성을 크라우드소싱함으로써 연구자들은 게임에서 취할 수 있는 6,000만 개의 예를 캡처할 수 있었다. 연구자들은 대회 팀에 약 1,000시간의 비디오를 제공했다.

인간이 축적한 지식을 사용하라 고 로힌 샤(Rohin Shah), 캘리포니아 대학교 버클리(University of California, Berkeley)의 컴퓨터 과학 박사 과정생이 네이처에게 말했다. 이 대회는 이미 인간이 생성한 지식을 사용하여 인공지능의 훈련을 가속화하는 데 중점을 둔 최초의 대회일 가능성이 있다.

구스와 다른 연구자들은 이 대회가 마인크래프트를 넘어서는 결과를 가져올 수 있으며, 더 나은 모방 학습 알고리즘을 개발하고 더 많은 사람들에게 모방 학습을 인공지능 훈련의 유용한 형태로 고려하도록 영감을 줄 수 있다고 희망한다. 연구는 복잡하고 변경되는 환경에서 인간과 상호 작용할 수 있는 인공지능을 생성하는 데 도움이 될 수 있다.