동물에서 영감을 얻은 강화 학습 시스템의 공통 감각 연구

임페리얼 칼리지 런던, 케임브리지 대학교, 구글 딥마인드의 AI 연구자들은 강화 학습 시스템의 성능을 향상시키기 위해 동물에서 영감을 얻고 있다. 셀프레스 리뷰스에서 공동으로 발표된 논문 “인공 지능과 동물의 공통 감각”에서 연구자들은 동물의 인지 능력이 강화 학습 에이전트와 작업 및 환경의 설계에 유용한 벤치마크와 평가 방법을 제공할 수 있다고 주장한다.

AI 연구자와 엔지니어들은 오랫동안 생물학적 신경 네트워크에서 영감을 얻어 알고리즘을 설계해 왔으며, 행동 과학과 신경 과학의 원리를 사용하여 알고리즘의 구조를 설계해 왔다. 그러나 대부분의 신경 과학/행동 과학 분야에서 얻은 힌트는 인간을 기반으로 하며, 어린이와 영아의 인지는 주요 초점이 된다. AI 연구자들은 아직 동물 모델에서 많은 영감을 얻지 못했지만, 동물의 인지는 중요한 발전에 도달할 수 있는 잠재력을 가진 미개발 자원이다.

깊은 강화 학습 시스템은 시도와 오류를 통해 훈련되며, 강화 학습 에이전트가 원하는 목표를 달성할 때마다 보상을 받는다. 이것은 동물을 원하는 작업을 수행하도록 가르치는 것과 매우 유사하며, 음식을 보상으로 사용한다. 생물학자와 동물 인지 전문가들은 다양한 동물의 인지 능력을 평가하기 위한 많은 실험을 수행했으며, 이 실험에는 개, 곰, 다람쥐, 돼지, 까마귀, 돌고래, 고양이, 생쥐, 코끼리, 오징어 등이 포함된다. 많은 동물이 인상적인 지능을展示하며, 일부 동물은 코끼리와 돌고래와 같은 이론적 마음을 가지고 있을 수 있다.

동물 인지에 대한 연구를 살펴보면 AI 연구자들이 문제를 다른 각도에서 접근하도록 영감을 줄 수 있다. 깊은 강화 학습이 더 강력하고 정교해짐에 따라, 이 분야의 AI 연구자들은 강화 학습 에이전트의 인지 능력을 테스트하는 새로운 방법을 찾고 있다. 연구 논문에서 연구 팀은 영장류와 새를 대상으로 한 실험에 대해 언급하며, 이러한 유형의 작업을 수행할 수 있는 시스템을 설계하려고 한다. 따라서 AI는 일종의 “공통 감각”을 가지게 된다. 논문의 저자들은 “RL 에이전트가 풍부한 가상 환경과 상호 작용을 통해 필요한 것을 얻는 접근 방식을 주장한다”고 말한다.

벤처비트에 따르면, AI 연구자들은 공통 감각이 인간에게만 고유한 특성이 아니며, 물리적 세계의 기본 속성, 즉 물체가 점과 공간을 차지하는 방식, 물체의 이동에 대한 제약, 원인과 결과에 대한 이해에 대한 이해에 달려 있다고 주장한다. 동물은 실험실 연구에서 이러한 특성을 보여준다. 예를 들어, 까마귀는 물체가 영속적인 것이라는 것을 이해하며, 다른 물체에 의해 가려져 있어도 씨앗을 회수할 수 있다.

강화 학습 시스템에 이러한 속성을 부여하기 위해 연구자들은 적절한 아키텍처와 함께 작업을 생성해야 한다고 주장한다. 연구자들은 이러한 모델의 훈련에는 에이전트가 몇 가지 예제만 노출된 후 개념을 이해하는 것을 요구하는 훈련 기술, 즉 few-shot 훈련이 포함되어야 한다고 주장한다. 이것은 전통적인 강화 학습 에이전트의 시도와 오류 훈련에서 수백 또는 수천 번의 시도가 필요함과는 대조적이다.

연구 팀은 또한 일부 현대적인 RL 에이전트가 여러 작업을 해결하는 것을 학습할 수 있지만, 이는 기본적으로 학습된 원리를 다른 작업에 전달하는 것을 의미한다고 설명한다. 그러나 RL 에이전트가 “공통 감각”과 같은 추상적인 개념을 학습할 수 있는지 여부는 명확하지 않다. 이러한 개념을 학습할 수 있는 에이전트가 있다면, 컨테이너 개념을 이해하는지 확인할 수 있는 테스트가 필요할 것이다.

딥마인드는 강화 학습 에이전트의 개발과 테스트에 새로운 방법을 사용하는 것을 매우 기대하고 있다. 최근 10월에 열린 스탠퍼드 HAI 컨퍼런스에서 딥마인드의 신경 과학 연구 책임자 매튜 보트빈닉은 기계 학습 연구자와 엔지니어들이 다른 과학 분야와 더 많이 협력하도록 촉구했다. 보트빈닉은 AI 분야에서 심리학자와 신경 과학자와의 상호 작용의 중요성을 강조하며 “지능의 삼각측량: 신경 과학, 심리학, AI”라는 제목의 강연을 했다.