Ubisoft, 레이싱 게임에서 자동차를 운전하도록 AI 에이전트 훈련

"AI"라는 용어는 비디오 게임을 논의할 때 많이 사용되지만, 일반적으로 컴퓨터 과학자들이 AI로 인식하는 시스템을 지칭하기보다는 비디오 게임에서 플레이어가 아닌 캐릭터를 제어하는 ​​논리를 지칭하는 데 사용됩니다. . 인공 신경망을 활용한 AI의 실제 적용은 비디오 게임 업계에서 상당히 드물지만, VentureBeat 보고서 게임회사 유비소프트가 최근 종이 강화 학습으로 훈련된 AI 에이전트의 가능한 사용을 조사합니다.

DeepMind 및 OpenAI와 같은 엔티티는 다음과 같은 다양한 비디오 게임에서 AI가 수행하는 방식을 조사했습니다. 스타 크래프트 2, DOTA 2및 마인 크래프트, 게임 개발자가 종종 직면하는 특정 제약 조건 하에서 AI 사용에 대한 연구는 거의 수행되지 않았습니다. Ubisoft의 프로토타이핑 부문인 Ubisoft La Forge는 최근 상업용 비디오 게임 내에서 예측 가능한 작업을 수행할 수 있는 알고리즘을 자세히 설명하는 논문을 발표했습니다. 보고서에 따르면 AI 알고리즘은 현재 벤치마크를 달성하고 복잡한 작업을 안정적으로 수행할 수 있었습니다.

이 논문의 저자는 강화 학습이 특정 비디오 게임의 맥락에서 큰 효과를 발휘하여 해당 게임의 최고의 인간 플레이어와 패리티를 달성하는 경우가 많지만 OpenAI 및 DeepMind가 만든 시스템은 게임 개발자에게 거의 유용하지 않다고 지적합니다. 저자는 접근성 부족이 큰 문제이며, 일반적으로 일반 게임 개발자가 액세스할 수 있는 것보다 훨씬 더 많은 리소스인 대규모 컴퓨팅 리소스에 액세스할 수 있는 연구 그룹에서 가장 인상적인 결과를 얻었다는 점에 주목합니다. 연구원들은 다음과 같이 썼습니다.

“이러한 시스템은 비디오 게임 산업에서 상대적으로 거의 사용되지 않았으며 접근성 부족이 주요 원인이라고 생각합니다. 실제로 비디오 게임 스튜디오에서 일반적으로 사용할 수 있는 것보다 훨씬 많은 컴퓨팅 리소스를 갖춘 대규모 연구 그룹에서 정말 인상적인 결과를 만들어 냈습니다.”

Ubisoft의 연구팀은 데이터 샘플 수집 및 런타임 예산 제약과 같은 문제에 최적화된 강화 학습 접근 방식을 만들어 이러한 문제 중 일부를 해결하는 것을 목표로 했습니다. Ubisoft의 솔루션은 University of California, Berkeley에서 수행한 연구에서 채택되었습니다. UC Berkely 연구에서 개발한 Soft Actor-Critic 모델은 새로운 조건에 효과적으로 일반화할 수 있는 모델을 생성할 수 있으며 대부분의 모델보다 훨씬 더 샘플 효율적입니다. Ubisoft 팀은 이 접근 방식을 취하여 이산 및 연속 작업 모두에 적용했습니다.

Ubisoft 연구팀은 세 가지 다른 게임에서 알고리즘의 성능을 평가했습니다. 알고리즘을 테스트하는 데 사용된 두 개의 축구 게임과 단순한 플랫포머 스타일의 게임이 있었습니다. 이러한 게임의 결과는 최첨단 업계 결과보다 약간 나빴지만 알고리즘이 훨씬 더 나은 성능을 발휘하는 또 다른 테스트가 수행되었습니다. 연구원들은 운전 비디오 게임을 테스트 사례로 사용하여 AI 에이전트가 주어진 경로를 따라가도록 하고 에이전트가 훈련 중에 목격하지 못한 환경에서 장애물을 통과하도록 했습니다. 조향과 가속의 두 가지 연속 동작과 하나의 바이너리 동작(브레이킹)이 있었습니다.

연구자들은 상업적으로 이용 가능한 비디오 게임에서 AI 에이전트가 고속으로 운전하도록 훈련할 때 하이브리드 Soft Actor-Critic 접근 방식이 성공적이었다고 선언하면서 논문에 결과를 요약했습니다. 연구원들에 따르면, 그들의 훈련 접근 방식은 가능한 다양한 상호 작용 접근 방식에 대해 잠재적으로 작동할 수 있습니다. 여기에는 AI 에이전트가 플레이어와 정확히 동일한 입력 옵션을 갖는 경우가 포함되어 "비디오 게임 산업을 위한 이러한 알고리즘의 실질적인 유용성"을 보여줍니다.