미래를 생각하는 기술: AI가 다른 에이전트의 미래 행동을 고려하는 방법

MIT, MIT-IBM 왓슨 AI 연구소, 그리고 다른 기관의 연구팀은 새로운 접근 방식을 개발하여 인공 지능(AI) 에이전트가 장기적인 관점을 달성할 수 있도록 ermöglicht.

이 연구는 Neural Information Processing Systems 컨퍼런스에서 발표될 예정입니다.

다른 에이전트의 미래 행동을 고려하는 AI

연구팀이 개발한 기계 학습 프레임워크는 협력 또는 경쟁하는 AI 에이전트가 다른 에이전트의 미래 행동을 고려할 수 있도록 합니다. 이는 단순히 다음 단계만이 아니라 무한한 시간까지 고려하는 것입니다. 에이전트는 다른 에이전트의 미래 행동을 영향을 미치기 위해 자신의 행동을 조정하고, 최적의 장기적인 해결책에 도달하도록 합니다.

연구팀에 따르면, 이 프레임워크는 자율 드론 그룹이 함께 잃어버린 등산객을 찾는 데 사용될 수 있습니다. 또한 자율 주행 차량이 다른 차량의 미래 이동을 예측하여 승객의 안전을 개선하는 데 사용될 수 있습니다.

Dong-Ki Kim은 MIT Laboratory for Information and Decision Systems (LIDS)의 대학원 학생이자 연구 논문의 첫 번째 저자입니다.

“AI 에이전트가 협력하거나 경쟁할 때, 가장 중요한 것은 미래의 어떤 시점에 행동이 수렴하는지입니다. 그 사이에 많은 일시적인 행동이 있지만, 장기적으로는 중요하지 않습니다. 이러한 수렴된 행동에 도달하는 것이 우리가本当に 관심 있는 것입니다. 이제 우리는 수학적으로 이를 가능하게 하는 방법을 개발했습니다.”

연구팀이 해결한 문제는 다중 에이전트 강화 학습입니다. 강화 학습은 에이전트가 시도와 오류를 통해 학습하는 기계 학습의 한 형태입니다.

다중 에이전트가同时 학습할 때, 프로세스가 훨씬 더 복잡해집니다. 에이전트가 다른 에이전트의 미래 행동을 고려하고, 자신의 행동과 다른 에이전트에 미치는 영향을 고려할 때, 문제는 너무 많은 계산 능력을 요구합니다.

무한대를 생각하는 AI

“AI는 정말로 게임의 끝을 생각하고 싶지만, 게임이 언제 끝날지 모릅니다. 미래의 어떤 시점에 행동을 조정하여 승리할 수 있도록 무한대를 생각해야 합니다. 우리의 논문은 본질적으로 AI가 무한대를 생각할 수 있는 새로운 목표를 제안합니다.”

무한대를 알고리즘에 통합하는 것은 불가능하므로, 연구팀은 에이전트가 다른 에이전트와의 미래 행동이 수렴하는 시점에 집중하도록 시스템을 설계했습니다. 이를 평형이라고 하며, 평형 점은 에이전트의 장기적인 성과를 결정합니다.

다중 에이전트 시나리오에서 여러 평형이 존재할 수 있으며, 효과적인 에이전트가 다른 에이전트의 미래 행동을 영향력을 미치면, 에이전트의 관점에서 바람직한 평형에 도달할 수 있습니다. 모든 에이전트가 서로 영향을 미치면, 일반적인 개념인 “적극적인 평형”에 수렴합니다.

FURTHER 프레임워크

연구팀의 기계 학습 프레임워크는 FURTHER이며, 에이전트가 다른 에이전트와의 상호작용을 통해 행동을 조정하여 적극적인 평형에 도달하도록 ermöglicht.

프레임워크는 두 개의 기계 학습 모듈로 구성됩니다. 첫 번째는 추론 모듈로, 에이전트가 다른 에이전트의 미래 행동과 학습 알고리즘을 이전 행동에 따라 추측할 수 있습니다. 정보는 강화 학습 모듈로 전달되며, 에이전트가 자신의 행동을 조정하고 다른 에이전트에 영향을 미치기 위해 사용합니다.

“무한대를 생각하는 것이 가장 큰 도전이었습니다. 이를 위해 많은 수학적 도구를 사용하고, 실제로 작동하도록 일부 가정해야 했습니다.”

연구팀은 다른 다중 에이전트 강화 학습 프레임워크와 비교하여 다양한 시나리오에서 FURTHER를 테스트했으며, FURTHER를 사용하는 AI 에이전트가 앞서 나왔습니다.

이 접근 방식은 분산式이므로 에이전트가 독립적으로 학습합니다. 또한 중앙 컴퓨터가 에이전트를 제어하는 다른 방법보다 확장성이 더 좋습니다.

연구팀에 따르면, FURTHER는 다양한 다중 에이전트 문제에 사용될 수 있습니다. Kim은 특히 경제학 분야에서 많은 상호작용하는 엔티티와 시간이 지남에 따라 변경되는 행동 및 관심사에 대한 합리적인 정책을 개발하는 데 적용될 수 있는 응용 프로그램에 대해 희망적입니다.