전문가들, 뇌 메커니즘을 활용하여 AI 기술의 주요 장애물 극복

다양한 기관의 인공 지능(AI) 전문가 그룹은 “AI 능력 향상을 위한 주요 장애물”을 극복했습니다. 팀은 많은 AI 개발에서처럼 인간의 뇌를 바라보았습니다. 특히 팀은 인간의 뇌에서 기억 메커니즘으로 알려진 “재생”에 초점을 맞추었습니다.

기도 반 데 벤(Gido van de Ven)은 첫 번째 저자이자 포스도컬 연구원입니다. 그는 베일러의 주요 조사자 안드레아스 톨리아스(Andreas Tolias)와 매사추세츠 암허스트의 하바 시겔만(Hava Siegelmann)과 함께 작업했습니다.

이 연구는 네이처 커뮤니케이션즈에 발표되었습니다.

새로운 방법

연구자들은 새로운 방법을 개발하여 깊은 신경 네트워크를 “참사적인 망각”으로부터 효율적으로 보호할 수 있다고 말합니다. 신경 네트워크가 새로운 것을 학습할 때 이전에 학습한 것을 잊을 수 있습니다.

이 장애물은 많은 AI 발전에 방해가 됩니다.

“한 가지 해결책은 이전에遭遇한 예시를 저장하고 새로운 것을 학습할 때 다시 방문하는 것입니다. 이러한 ‘재생’ 또는 ‘리허설’은 참사적인 망각을 해결하지만, 이전에 학습한 모든 작업을 다시 학습하는 것은 매우 비효율적이며 저장해야 하는 데이터의 양은 빠르게 관리할 수 없게 됩니다”라고 연구자들은 썼습니다.

인간의 뇌

연구자들은 인간의 뇌에서 영감을 받았습니다. 인간의 뇌는 망각하지 않고 정보를 구축할 수 있지만, AI 신경 네트워크는 그렇지 않습니다. 현재 개발은 이전에 연구자들이 انجام한 연구에 기반합니다. 특히 뇌에서 기억을 잊지 않도록 하는 메커니즘에 대한 연구입니다. 이 메커니즘은 신경 활동 패턴의 재생입니다.

시겔만에 따르면, 주요 개발은 “뇌의 재생이 데이터를 저장하지 않는다”는 것을 인식하는 것입니다. “뇌는 높은 수준의 추상적인 수준에서 기억의 표현을 생성하며,詳細한 기억을 생성할 필요가 없습니다”라고 시겔만은 말합니다.

시겔만은 이 정보를 사용하여 동료들과 함께 뇌와 같은 재생을 개발했습니다. 이 재생은 데이터를 저장하지 않습니다. 인간의 뇌와 마찬가지로, 인공 네트워크는 이전에 본 것을 사용하여 높은 수준의 표현을 생성합니다.

이 방법은 매우 효율적이었으며, 재생된 표현을 몇 개만 생성해도 이전의 기억이 유지되었습니다. 생성적인 재생은 참사적인 망각을 방지하는 데 효과적이며, 주요 이점 중 하나는 시스템이 한 상황에서 다른 상황으로 일반화할 수 있다는 것입니다.

반 데 벤에 따르면, “네트워크가 생성적인 재생을 사용하여 처음에 고양이와 개를 구분하는 것을 학습하고, затем 곰과 여우를 구분하는 것을 학습하면, 고양이와 여우를 구분하는 것도 학습할 수 있습니다. 그리고 주목할 점은, 시스템이 더 많이 학습할수록, 새로운 작업을 학습하는 데 더 잘 됩니다”라고 합니다.

“우리는 내부 또는 숨겨진 표현을 재생하는 새로운 뇌 영감 버전을 제안합니다. 이는 네트워크의 자신의 문맥 수정 피드백 연결에 의해 생성됩니다. 우리의 방법은 데이터를 저장하지 않고도 어려운 연속 학습 벤치마크에서 최첨단 성능을 달성했습니다. 또한 뇌의 추상적인 재생에 대한 새로운 모델을 제공합니다”라고 팀은 작성했습니다.

“우리의 방법은 기억 보존에 재생이 어떻게 기여할 수 있는지에 대한 몇 가지 흥미로운 예측을 제공합니다”라고 반 데 벤은 계속합니다. “우리는 이미 이러한 예측 중 일부를 테스트하기 위한 실험을 진행하고 있습니다”.