유비소프트, 레이싱 게임에서 자율 주행 자동차를 운전하는 AI 에이전트 훈련

비디오 게임에서 “AI”라는 용어는 非플레이어 캐릭터를 제어하는 논리에 대한 참조로 사용되는 경우가 많지만, 컴퓨터 과학자들이 인식하는 AI를 사용하는 시스템을 참조하는 경우는 드물다. 인공 신경망을 사용하는 실제 AI 응용 프로그램은 비디오 게임 산업에서 드물지만, VentureBeat의 보고서에 따르면 게임 회사 유비소프트는 강화 학습을 사용하여 훈련된 AI 에이전트의 가능한 사용에 대한 조사에 대한 논문을 발표했다.

DeepMind와 OpenAI와 같은 엔티티는 스타크래프트 2, 도타 2, 및 마인크래프트와 같은 비디오 게임에서 AI의 성능을 조사했지만, 게임 개발자에게 종종 발생하는 특정 제약 조건 하에서 AI를 사용하는 연구는 거의 없다. 유비소프트 라 포르즈(Ubisoft La Forge), 유비소프트의 프로토 타이핑 부문은 최근에 상업용 비디오 게임에서 예측 가능한 동작을 수행할 수 있는 알고리즘에 대한 논문을 발표했다. 보고서에 따르면, AI 알고리즘은 현재 벤치마크를 달성하고 복잡한 작업을 신뢰성 있게 수행할 수 있었다.

논문의 저자들은 강화 학습이 특정 비디오 게임의 contexto에서 큰 효과를 낼 수 있었고, 때때로 최고의 인간 플레이어와 동등한 성능을 달성했지만, OpenAI와 DeepMind가 생성한 시스템은 드물게 게임 개발자에게 유용하다고 지적했다. 저자들은 접근성의 부족이 큰 문제라고 주장하며, 가장 인상적인 결과는 대규모 연구 그룹에서 얻어지며, 이러한 그룹은 일반적으로 비디오 게임 스튜디오에서 사용할 수 있는 것보다 훨씬 더 큰 계산 리소스를 가지고 있다고 말했다. 연구자들은 다음과 같이 썼다.

“이러한 시스템은 비디오 게임 산업에서 비교적 적게 사용되었으며, 우리는 접근성의 부족이 주요 이유라고 믿습니다. 실제로, 정말 인상적인 결과 …는 대규모 연구 그룹에서 얻어지며, 이러한 그룹은 일반적으로 비디오 게임 스튜디오에서 사용할 수 있는 것보다 훨씬 더 큰 계산 리소스를 가지고 있습니다.”

유비소프트 연구 팀은 이러한 문제를 해결하기 위해 데이터 샘플 수집 및 런타임 예산 제약과 같은 문제에 최적화된 강화 학습 접근 방식을 만들었다. 유비소프트의 솔루션은 캘리포니아 대학교 버클리의 연구에서 파생되었다. UC 버클리 연구진이 개발한 Soft Actor-Critic 모델은 새로운 조건에 효과적으로 일반화할 수 있는 모델을 만들 수 있으며, 대부분의 모델보다 훨씬 더 샘플 효율적이다. 유비소프트 팀은 이 접근 방식을 이산 및 연속 동작 모두에 대해 적용했다.

유비소프트 연구 팀은 세 가지 다른 게임에서 알고리즘의 성능을 평가했다. 두 개의 축구 게임과 하나의 단순한 플랫폼 게임을 사용하여 알고리즘을 테스트했다. 이러한 게임의 결과는 산업의 최신 결과보다稍微 나빴지만, 다른 테스트에서는 알고리즘이 훨씬 더 잘 수행했다. 연구자들은 운전 시뮬레이션 게임을 테스트 사례로 사용했으며, AI 에이전트가 주어진 경로를 따라가고 훈련 중에 보지 못한 환경에서 장애물을 극복하도록 했다. 두 개의 연속 동작(조향 및 가속)과 하나의 이진 동작(브레이크)이 있었다.

연구자들은 논문에서 결과를 요약했으며, 하이브리드 Soft Actor-Critic 접근 방식이 상업용 비디오 게임에서 고속 주행을 하는 AI 에이전트를 훈련하는 데 성공적이었다고 선언했다. 연구자들은 훈련 접근 방식이 다양한 상호 작용 접근 방식에 потен적으로 작동할 수 있다고 말했다. 이러한 접근 방식에는 플레이어가 가진 동일한 입력 옵션이 있는 AI 에이전트가 포함되며, 이는 비디오 게임 산업에서 이러한 알고리즘의 “실용적인 유용성”을 보여준다.