DeepMind, hippocampus와 같은 기억을 재생하는 AI 개발

인간의 뇌는 종종 과거의 기억을 자발적으로 떠올린다. 우리는 일상생활을 하면서 생생한 과거의 기억을 떠올린다. 이러한 자발적인 기억의 재현은 오랫동안 신경과학자들의 관심을 끌어왔으며, 최근 DeepMind는 이러한 이상한 기억 재현 패턴을 복제한 AI에 대한 연구를 발표했다.

뇌에서 기억을 재현하는 과정, 즉 신경 재현은 해마와密接적으로 관련되어 있다. 해마는 뇌의 해마체로 알려진 해마 모양의 구조로, 새로운 기억의 형성과 기억이 일으키는 감정과 관련이 있다. 현재의 해마 기능에 대한 이론은 해마의 서로 다른 영역이 서로 다른 유형의 기억을 처리하는 역할을 한다고 한다. 예를 들어, 공간 기억은 해마의 뒤쪽 영역에서 처리되는 것으로 알려져 있다.

Jesus Rodriguez에 따르면, John O’Keefe 박사는 해마에 대한 많은 기여를 했으며, 특히 해마의 “장소” 세포를 발견했다. 해마의 장소 세포는 특정 환경의 자극에 의해 활성화된다. 예를 들어, 실험실에서 쥐를 실험한 결과, 특정한 신경 세포가 특정한 부분의 트랙을 달릴 때 활성화되는 것이 관찰되었다. 연구자들은 쥐가 휴식을 취할 때도 동일한 패턴의 신경 세포가 활성화되는 것을 관찰했으며, 이는 쥐가 미로를 기억하고 있는 것으로 해석되었다.

인간의 경우, 기억을 회상하는 것은 학습의 중요한 부분이다. 그러나 AI가 학습할 수 있도록 기억을 재현하는 것은 어렵다.

DeepMind 팀은 강화 학습을 사용하여 기억을 재현하는 현상을 재현하려고 시도했다. 강화 학습 알고리즘은 환경과 상호 작용하여 목표에 도달하는 데 도움이 되는 행동을 취할 때마다 보상을 받는다. 이 경우, 강화 학습 에이전트는 이벤트를 기록하고 나중에 재생한다. 시스템은 과거의 경험을 효율적으로 회상하도록 강화된다.

DeepMind는 강화 학습 알고리즘에 재생 버퍼를 추가하여 시스템이 특정 시점에 기록된 경험을 재생할 수 있도록 했다. 일부 버전의 시스템은 무작위로 경험을 재생하는 반면, 다른 버전은事前に 정의된 재생 순서를 사용했다. 연구자들은 재생 순서를 실험하면서도 경험을 재생하는 방법을 실험했다.

강화 학습 알고리즘에 회상된 경험을 제공하는 두 가지 주요 방법이 있다. 이러한 방법은 상상 재현 방법과 영화 재현 방법이다. DeepMind의 논문은 두 가지 전략을 설명하기 위해 다음과 같은 비유를 사용한다.

“집에 들어가서 물이 바닥에 고여 있는 것을 보고 놀라는데, 식당으로 들어가면 깨진 꽃병을 발견한다. 그리고 개가 죄송한 표정으로 밖을 보는 것을 본다.”

상상 재현 방법은 이벤트를 경험한 순서대로 기록하지 않는다. 대신, 에이전트의 세계에 대한 이해에 기반하여 이벤트 사이의 확률적 인과관계를 추론한다.另一方面, 영화 재현 방법은 이벤트를 발생한 순서대로 기록하고 재생한다. 즉, “물이 넘치고, 꽃병이 깨지고, 개가 죄송한 표정”을 재생하는 것이다. 이벤트의 시간적 순서는 보존된다.

신경과학 분야의 연구에 따르면, 영화 재현 방법은 개념 간의 연관성과 신경 세포 간의 연결을 생성하는 데 중요한 역할을 한다. 그러나 상상 재현 방법은 에이전트가 유사한 상황에서 새로운 순서를 생성하는 데 도움이 될 수 있다. 예를 들어, 에이전트는 바렐과 기름의 관계를 이해하여 바렐이 기름을 쏟을 수 있다는 것을 추론할 수 있다. 실제로, DeepMind는 상상 재현 방법을 더深入적으로 연구하여 에이전트가 이전의 경험을 기반으로 새로운 순서를 생성하는 능력을 발견했다.

현재 강화 학습 메모리 분야에서 진행되는 대부분의 연구는 영화 전략을 사용하고 있다. 그러나 최근에는 상상 전략에서도 진행이 이루어지고 있다. 두 가지 방법의 AI 메모리 연구는 강화 학습 에이전트의 성능을 향상시키는 데 도움이 될 뿐만 아니라 인간의 마음이 어떻게 작동하는지에 대한 새로운 통찰력을 제공할 수 있다.