์ธ๊ณต์ง๋ฅ
์ ๋น์ํํธ, ์ธ๊ณต์ง๋ฅ ์์ด์ ํธ๋ฅผ ๋ ์ด์ฑ ๊ฒ์์์ ์๋์ฐจ ์ด์ ์ ํ๋๋ก ํ๋ จ
“AI”라는 용어는 비디오 게임에 대한 논의에서 많이 사용되지만, 컴퓨터 과학자들이 인공지능으로 인정하는 시스템을 의미하는 것이 아니라 비디오 게임에서 비플레이어 캐릭터를 제어하는 논리를 의미하는 경우가 많다. 인공 신경망을 사용하는 실제 인공지능 응용 프로그램은 비디오 게임 산업에서 드물지만 VentureBeat의 보고서에 따르면 게임 회사 유비소프트는 강화 학습을 사용하여 훈련된 인공지능 에이전트에 대한 가능한 사용을 조사한 논문을 최근에 발표했다.
DeepMind와 OpenAI와 같은 엔티티는 스타크래프트 2, Dota 2, 및 Minecraft와 같은 다양한 비디오 게임에서 인공지능이 어떻게 수행하는지 조사했지만, 게임 개발자가 직면하는 특정 제약 조건下的 인공지능 사용에 대한 연구는 거의 없다. 유비소프트 La Forge, 유비소프트의 프로토 타이핑 부문은 최근에 상업용 비디오 게임에서 예측 가능한 행동을 수행할 수 있는 알고리즘에 대한 세부 정보를 담은 논문을 발표했다. 보고서에 따르면, 인공지능 알고리즘은 현재 벤치마크를 달성하고 복잡한 작업을 신뢰성 있게 수행할 수 있었다.
논문의 저자들은 강화 학습이 특정 비디오 게임의 contexto에서 큰 효과를 나타냈으며, 종종 해당 게임의 최고 인간 플레이어와 동등한 성능을 달성했지만, OpenAI와 DeepMind가 생성한 시스템은 드물게 게임 개발자에게 유용하다고 지적했다. 저자들은 접근성의 부족이 큰 문제이며, 가장 인상적인 결과는 대규모 연구 그룹에서 얻어지며, 이러한 그룹은 일반적인 게임 개발자에게는 접근할 수 없는 대규모 계산 리소스를 가지고 있다고 말했다. 연구자들은 다음과 같이 썼다.
“이러한 시스템은 비디오 게임 산업에서 비교적 적게 사용되었으며, 우리는 접근성의 부족이 주요 이유라고 믿는다. 실제로 인상적인 결과 …는 일반적으로 비디오 게임 스튜디오에서 사용할 수 있는 것보다 훨씬 더 큰 계산 리소스를 가진 대규모 연구 그룹에 의해 생성된다.”
유비소프트 연구 팀은 데이터 샘플 수집 및 런타임 예산 제약과 같은 문제를 최적화하는 강화 학습 접근 방식을 만들어서 이러한 문제를 일부 해결하려고 했다. 유비소프트의 솔루션은 캘리포니아 대학교 버클리에서 수행된 연구에서 파생되었다. UC 버클리 연구진이 개발한 Soft Actor-Critic 모델은 새로운 조건에 효과적으로 일반화할 수 있는 모델을 만들 수 있으며, 대부분의 모델보다 훨씬 더 샘플 효율적이다. 유비소프트 팀은 이 접근 방식을 이산 및 연속 동작 모두에 대해 수정했다.
유비소프트 연구 팀은 세 가지 다른 게임에서 알고리즘의 성능을 평가했다. 알고리즘을 테스트하기 위해 두 개의 축구 게임이 사용되었으며, 간단한 플랫폼 게임도 사용되었다. 이러한 게임의 결과는 산업의 최신 결과보다稍微 나빴지만, 알고리즘이 훨씬 더 잘 수행되는 또 다른 테스트가 수행되었다. 연구자들은 운전 비디오 게임을 테스트 사례로 사용했으며, 에이전트가 주어진 경로를 따르고 훈련 중에 보지 못한 환경에서 장애물을 협상하도록 했다. 두 개의 연속 동작(조종 및 가속)과 하나의 이진 동작(제동)이 있었다.
연구자들은 논문에서 결과를 요약하며, 하이브리드 Soft Actor-Critic 접근 방식이 상업용 비디오 게임에서 인공지능 에이전트를 높은 속도로 운전하도록 훈련하는 데 성공적이었다고 말했다. 연구자에 따르면, 훈련 접근 방식은 다양한 가능한 상호 작용 접근 방식에 대해 작동할 수 있다. 이러한 접근 방식에는 플레이어가 정확히 동일한 입력 옵션을 갖는 경우도 포함되며, 이는 “비디오 게임 산업에서 알고리즘의 실제 유용성”을 보여준다.
