기술을 통해 AI는 먼 미래까지 생각할 수 있습니다.

MIT, MIT-IBM Watson AI Lab 및 기타 기관의 연구원 팀은 인공 지능(AI) 에이전트가 멀리 내다보는 관점을 달성할 수 있도록 하는 새로운 접근 방식을 개발했습니다. 즉, AI는 자신의 행동이 작업을 완료할 때 다른 AI 에이전트의 행동을 포함할 수 있는 방법을 고려할 때 먼 미래까지 생각할 수 있습니다. 

XNUMXD덴탈의 연구 에서 선보일 예정이다. 신경 정보 처리 시스템에 관한 회의.

다른 에이전트의 향후 행동을 고려하는 AI

팀에서 만든 기계 학습 프레임워크를 통해 협력 또는 경쟁 AI 에이전트는 다른 에이전트가 수행할 작업을 고려할 수 있습니다. 이것은 단지 다음 단계를 넘어서는 것이 아니라 오히려 시간이 무한대로 접근할 때입니다. 에이전트는 다른 에이전트의 향후 행동에 영향을 미치도록 행동을 조정하여 최적의 장기적인 솔루션에 도달하도록 돕습니다. 

팀에 따르면 이 프레임워크는 예를 들어 잃어버린 등산객을 찾기 위해 함께 일하는 자율 드론 그룹에 의해 사용될 수 있습니다. 또한 자율주행차에서 승객의 안전을 개선하기 위해 다른 차량의 향후 움직임을 예측하는 데 사용할 수 있습니다.

김동기는 MIT LIDS(Laboratory for Information and Decision Systems) 대학원생이자 연구 논문의 주저자이다. 

“AI 에이전트가 협력하거나 경쟁할 때 가장 중요한 것은 미래의 어느 시점에서 그들의 행동이 수렴되는 시점입니다.”라고 Kim은 말합니다. “장기적으로는 그다지 중요하지 않은 일시적인 행동이 많이 있습니다. 이 수렴된 동작에 도달하는 것이 우리가 진정으로 관심을 갖는 것이며 이제 이를 가능하게 하는 수학적 방법이 있습니다.”

연구진이 해결한 문제는 다중 에이전트 강화 학습(Multi-agent Reinforcement Learning)이라고 하며, 강화 학습은 AI 에이전트가 시행착오를 통해 학습하는 기계 학습의 한 형태입니다. 

여러 협동 또는 경쟁 에이전트가 동시에 학습할 때마다 프로세스가 훨씬 더 복잡해질 수 있습니다. 에이전트가 다른 에이전트의 더 많은 향후 단계와 자신의 행동 및 그것이 다른 에이전트에 미치는 영향을 고려함에 따라 문제에 너무 많은 계산 능력이 필요합니다. 

무한대에 대해 생각하는 AI

"AI는 정말 게임의 끝을 생각하고 싶어하지만 게임이 언제 끝날지는 모릅니다."라고 Kim은 말합니다. “그들은 미래의 언젠가 승리할 수 있도록 자신의 행동을 무한대로 계속 적응시키는 방법에 대해 생각해야 합니다. 우리 논문은 본질적으로 AI가 무한대에 대해 생각할 수 있게 하는 새로운 목표를 제안합니다.” 

무한대를 알고리즘에 통합하는 것은 불가능하므로 팀은 에이전트가 자신의 행동이 다른 에이전트와 수렴하는 미래 지점에 집중하는 방식으로 시스템을 설계했습니다. 이를 평형이라고 하며 평형점은 에이전트의 장기적인 성능을 결정합니다. 

다중 에이전트 시나리오에서 다중 평형이 존재할 수 있으며 효과적인 에이전트가 다른 에이전트의 향후 행동에 적극적으로 영향을 미칠 때 에이전트의 관점에서 바람직한 균형에 도달할 수 있습니다. 모든 에이전트가 서로에게 영향을 미칠 때 "활성 평형"이라는 일반적인 개념으로 수렴됩니다. 

추가 프레임워크

팀의 기계 학습 프레임워크는 FURTHER라고 하며 에이전트가 다른 에이전트와의 상호 작용을 기반으로 행동을 조정하여 활성 균형을 달성하는 방법을 학습할 수 있습니다. 

프레임워크는 두 가지 기계 학습 모듈에 의존합니다. 첫 번째는 에이전트가 다른 에이전트의 미래 행동과 이전 작업을 기반으로 사용하는 학습 알고리즘을 추측할 수 있는 추론 모듈입니다. 그런 다음 정보는 에이전트가 자신의 행동을 조정하고 다른 에이전트에 영향을 미치기 위해 의존하는 강화 학습 모듈에 입력됩니다. 

“도전은 무한대에 대해 생각하는 것이었습니다. 우리는 이를 가능하게 하기 위해 다양한 수학적 도구를 사용해야 했고 실제로 작동하도록 몇 가지 가정을 해야 했습니다.”라고 Kim은 말합니다. 

팀은 FURTHER를 사용하는 AI 에이전트가 앞서는 다양한 시나리오에서 다른 다중 에이전트 강화 학습 프레임워크에 대해 그들의 방법을 테스트했습니다. 

접근 방식은 분산되어 있으므로 에이전트는 독립적으로 승리하는 방법을 배웁니다. 또한 에이전트를 제어하기 위해 중앙 컴퓨터가 필요한 다른 방법과 비교할 때 확장이 더 잘 설계되었습니다. 

팀에 따르면 FURTHER는 광범위한 다중 에이전트 문제에 사용될 수 있습니다. Kim은 특히 시간이 지남에 따라 변화하는 행동과 이해 관계를 가진 많은 상호 작용 개체가 관련된 상황에서 건전한 정책을 개발하는 데 적용될 수 있는 경제학에서의 응용 프로그램에 대해 희망적입니다.