딥마인드, 강화 학습 AI를 안전하게 훈련하는 새로운 방법 발표

강화 학습은 매우 복잡한 작업을 수행할 수 있는 인공지능을 생성하는 유망한 인공지능 개발 방향입니다. 강화 학습 알고리즘은 모바일 로봇 시스템 및 자율 주행 자동차와 같은 응용 프로그램에서 사용됩니다. 그러나 강화 학습이 훈련되는 방식으로 인해 때때로 예상치 못한 이상한 행동을 나타낼 수 있습니다. 이러한 행동은 위험할 수 있으며, 인공지능 연구자들은 이를 “안전한 탐색” 문제라고 부릅니다. 이는 인공지능이 안전하지 않은 상태를 탐색하는 데 갇히는 문제입니다.

최근에 구글의 인공지능 연구소인 딥마인드는 안전한 탐색 문제와 강화 학습 인공지능을 더 안전하게 훈련하는 새로운 방법을 제안하는 논문을 발표했습니다. 딥마인이 제안한 방법은 또한 보상 해킹이나 보상 기준의 루프홀을 수정합니다.

딥마인의 새로운 방법은 안전하지 않은 행동이 발생할 수 있는 상황에서 인공지능의 행동을 안내하기 위한 두 가지 시스템을 사용합니다. 딥마인의 훈련 기술에서 사용되는 두 가지 모델은 생성 모델과 전진 동역학 모델입니다. 이러한 모델은 안전 전문가의 시연 및 완전히 임의의 차량 궤적과 같은 다양한 데이터에 대해 훈련됩니다. 데이터는 감독자가 특정 보상 값으로 레이블링하며, 인공지능 에이전트는 가장 큰 보상을 수집할 수 있는 행동 패턴을 학습합니다. 안전하지 않은 상태도 레이블링되며, 모델이 보상을 예측하고 안전하지 않은 상태를 성공적으로 예측한 후에 대상 행동을 수행하도록 배포됩니다.

연구 팀은 논문에서 아이디어는 처음부터 가능한 행동을 생성하여 원하는 행동을 제안하고, 이러한 가상 시나리오가 정보를 제공하는 동시에 학습 환경과 직접적인 간섭을 피하는 것이라고 설명합니다. 딥마인드 팀은 이 접근 방식을 ReQueST 또는 보상 쿼리 합성_via_ 궤적 최적화라고 부릅니다.

ReQueST는 네 가지 유형의 행동으로 이어질 수 있습니다. 첫 번째 유형의 행동은 앙상블 보상 모델에 대한 불확실성을 최대화하려고 시도합니다. 두 번째와 세 번째 행동은 예측된 보상을 최소화하고 최대화하려고 시도합니다. 예측된 보상을 최소화하여 모델이 잘못 예측할 수 있는 행동을 발견하도록 합니다. 반면에 예측된 보상을 최대화하여 행동 레이블이 가장 높은 정보 값을 갖도록 합니다. 마지막으로 네 번째 유형의 행동은 궤적의 새로운 것을 최대화하려고 시도하여 모델이 보상과 관계없이 계속 탐색하도록 합니다.

모델이 원하는 수준의 보상을 수집하면 계획 에이전트를 사용하여 학습된 보상을 기반으로 결정합니다. 이 모델 예측 제어 方案을 사용하면 에이전트가 동적 모델을 사용하여 가능한 결과를 예측함으로써 안전하지 않은 상태를 피할 수 있습니다. 이는純粋한 시도와 오류를 통해 학습하는 알고리즘의 행동과 대조됩니다.

VentureBeat에 따르면, 딥마인드 연구자들은 자신의 프로젝트가 제어되고 안전한 방식으로 학습할 수 있는 첫 번째 강화 학습 시스템이라고 믿고 있습니다.

“우리의 지식에 따르면, ReQueST는 안전하지 않은 상태에 대해 안전하게 학습할 수 있는 첫 번째 보상 모델링 알고리즘이며, 고차원 연속 상태를 갖는 환경에서 신경망 보상 모델을 훈련하는 것을 확장합니다. 지금까지 우리는 상대적으로 단순한 동역학을 갖는 시뮬레이션 도메인에서만 ReQueST의 효과를 입증했습니다. 향후 연구 방향 중 하나는 더 실제적인 물리학과 환경에서 작동하는 다른 에이전트가 있는 3D 도메인에서 ReQueST를 테스트하는 것입니다.”