인공 뇌는 휴식을 통해 이익을 얻을 수 있는가?

로스 알라모스 국립 연구소에서 나온 새로운 연구에 따르면 인공 뇌는 거의 확실히 휴식 기간을 가지면 생체 뇌와 마찬가지로 이익을 얻을 수 있다.

이 연구는 6월 14일 시애틀에서 열리는 컴퓨터 비전 워크샵에서 발표될 예정이다.

Yijing Watkins는 로스 알라모스 국립 연구소의 컴퓨터 과학자이다.

“우리는 생체 뇌와 마찬가지로 학습하는 스파이킹 신경 네트워크를 연구한다”고 왓킨스는 말했다. “우리는 인간과 다른 생물학적 시스템이 어린 시절 발달 동안 환경에서 학습하는 방식과 유사한 방식으로 신경형 프로세서를 훈련하는 가능성을 탐구했다.”

네트워크 시뮬레이션의 불안정성 해결

와트킨스와 팀은 지속적인 무감독 학습 기간이 네트워크 시뮬레이션에서 불안정성으로 이어진다는 것을 발견했다. 그러나 팀이 네트워크를 생체 뇌에서 수면 중에 발생하는 파동의 결과인 상태에 노출시켰을 때 안정성이 회복되었다.

“그것은 우리가 신경 네트워크에 좋은 밤의 휴식을 주는 것과 같았다”고 왓킨스는 말했다.

팀은 인간과 다른 생물학적 시스템이 보는 것을 학습하는 방식에 기반한 신경 네트워크를 개발하는 동안 이 발견을 했다. 팀은 무감독 사전 학습을 수행하는 시뮬레이션된 신경 네트워크를 안정화하는 데 어려움을 겪었다. 무감독 사전 학습은 이전에 비교를 위해 사용할 수 있는 예가 없는 경우 객체를 분류하는 것을 포함한다.

Garrett Kenyon은 로스 알라모스 국립 연구소의 컴퓨터 과학자이자 연구의 공동 저자이다.

“학습 시스템이 불안정해지지 않도록 유지하는 문제는 생물학적으로 현실적인 스파이킹 신경형 프로세서를 사용하거나 생물학 자체를 이해하려고 시도할 때만 발생한다”고 케니언은 말했다. “대부분의 기계 학습, 딥 러닝 및 AI 연구자는 이 문제를 만날 수 없다. 그들은 시스템의 전역 동적 이득을 조절하는 효과가 있는 전역 수학 연산을 수행할 수 있는 매우 인공적인 시스템을 연구하기 때문이다.”

마지막 수단으로서의 수면

연구자에 따르면 네트워크를 인공적인 수면의 아날로그에 노출시키는 것이 그것들을 안정화하는 마지막 수단이었다. 다양한 유형의 노이즈를 실험한 후 가우시안 노이즈의 파동에서 가장好的 결과가 나왔다. 이 유형의 노이즈는 다양한 주파수와 진폭의 범위를 포함한다.

연구자들은 느린 파동 수면 중에 노이즈가 생체 신경 세포에 입력받는 입력을 모방한다는 가설을 세웠다. 결과는 느린 파동 수면이 대뇌 신경 세포가 환각을 겪지 않고 안정성을 유지하는 데 역할을 할 수 있음을 시사했다.

팀은 이제 인텔의 Loihi 신경형 칩에 알고리즘을 구현하는 것을 목표로 하고 있으며, 수면이 실시간에 실리콘 레티나 카메라에서 정보를 안정적으로 처리하는 것을 도와줄 수 있기를 바라고 있다. 연구가 인공 뇌가 휴식을 통해 이익을 얻는다는 것을 결정한다면, 동일한 것이 안드로이드와 다른 지능형 기계에도 적용될 가능성이 있다.

출처:느린 파동 수면의 대리물로서의 사인파 조절 노이즈를 사용하여 스파이킹 기반 희소 코딩 모델에서 안정적인 무감독 사전 학습을 달성하기, CVPR 컴퓨터 비전 워크샵, 2020-06-14 (시애틀, 워싱턴, 미국)