신경망이 인간의 수면 패턴을 모방하여 더 잘 학습하는 방법

캘리포니아 대학교 샌디에고(University of California – San Diego) 연구팀은 인공 신경망이 인간의 뇌 수면 패턴을 모방하여 치명적인 망각(catastrophic forgetting) 문제를 완화하는 방법을 연구하고 있다.

이 연구는 PLOS Computational Biology에 발표되었다.

일반적으로 인간은 24시간 동안 7~13시간의 수면이 필요하다. 수면은 몸에 많은 방면에서 휴식을 주지만, 뇌는 여전히 매우 활발하게 작동한다.

수면 중 활발한 뇌

캘리포니아 대학교 샌디에고 의과대학의 맥심 바즈헤노프(Maxim Bazhenov) 교수는 수면 연구자이다.

“우리는 수면 중에 뇌가 매우 바쁘게 작동한다. 뇌는 낮에 배운 것을 반복하며, 기억을 가장 효율적인 방식으로 재구성한다.”라고 바즈헤노프는 말했다.

바즈헤노프와 그의 팀은 이전에 수면이 합리적인 기억을 구축하고, 간접적인 연관성을 기억하는 능력을 향상시킨다는 연구를 발표한 바 있다. 또한 수면은 오래된 기억을 잊어버리지 않도록 보호한다.

치명적인 망각 문제

인공 신경망은 인간의 뇌 구조에서 영감을 받아 인공지능 기술과 시스템을 개선한다. 그러나 이러한 기술은 계산 속도에서 초인적인 성능을 달성했지만, 한 가지重大한 제한이 있다. 신경망이 순차적으로 학습할 때, 새로운 정보는 이전 정보를 덮어쓰는 치명적인 망각 현象이 발생한다.

“반면에, 인간의 뇌는 연속적으로 학습하며, 새로운 데이터를 기존 지식에 통합한다. 또한 수면 期間 동안 기억을 консOLID화하여 가장 잘 학습한다.”라고 바즈헤노프는 말했다.

연구팀은 자연적인 신경 시스템을 모방하는 스파이킹 신경망을 사용했다. 정보는 연속적으로 전달되지 않고, 특정 시간에 이산적인 이벤트 또는 스파이크로 전달된다.

신경망에서 수면 모방

연구팀은 스파이킹 네트워크를 새로운 작업에 대해 훈련시키고, 수면을 모방하는 오프라인 기간을 가지는 경우, 치명적인 망각 문제가 완화된다는 것을 발견했다. 인간의 뇌와 마찬가지로, 연구팀은 “수면”이 네트워크가 이전 훈련 데이터를 명시적으로 사용하지 않고 이전 기억을 재생할 수 있도록 한다.

“우리가 새로운 정보를 학습할 때, 신경 세포가 특정 순서로 발화하며, 이는 신경 세포 사이의 시냅스를 증가시킨다.”라고 바즈헤노프는 말했다. “수면 동안, 우리가 깨어있는 동안 학습한 스파이킹 패턴이 자발적으로 반복된다. 이것을 재활성화 또는 재생이라고 한다.

“시냅스 가소성, 즉 변형이나 성형이 가능한 능력은 수면 동안에도 여전히 존재하며, 이는 기억을 나타내는 시냅스 가중치를 추가로 강화하여 망각을 방지하거나 이전 작업에서 새로운 작업으로 지식을 전달하는 데 도움이 될 수 있다.”

연구팀은 이 접근법을 인공 신경망에 적용했을 때, 네트워크가 치명적인 망각을 피할 수 있도록 도왔다.

“이는 네트워크가 인간이나 동물과 같이 연속적으로 학습할 수 있음을 의미한다.”라고 바즈헤노프는 계속했다. “인간의 뇌가 수면 동안 정보를 처리하는 방법을 이해하면, 인간의 기억을 강화하는 데 도움이 될 수 있다. 수면 리듬을 강화하면 기억이 더 좋아질 수 있다.

“他の 프로젝트에서, 우리는 수면 동안 음향 톤과 같은 자극을 적용하여 수면 리듬을 강화하고 학습을 개선하는 최적의 전략을 개발하기 위해 컴퓨터 모델을 사용한다. 이는 기억이 최적화되지 않은 경우, 예를 들어 노화 또는 알츠하이머병과 같은疾病에서 기억이 저하되는 경우에 특히 중요할 수 있다.”