연구원들은 멤리스터를 사용하여 더 에너지 효율적인 신경망을 만듭니다.

인공 지능의 덜 매력적인 측면 중 하나는 종종 많은 양의 처리 능력이 필요하므로 종종 큰 에너지 발자국이 있다는 것입니다. UCL의 연구원들이 수행한 최근 연구에서는 AI의 에너지 효율성을 개선하는 방법을 결정했습니다.

신경망과 기계 학습은 강력한 도구이지만 인공 지능의 가장 인상적인 업적에는 일반적으로 이와 관련된 에너지 비용이 많이 듭니다. 예를 들어, OpenAI가 로봇 손에게 루빅스 큐브를 조작하도록 가르쳤을 때, 그 위업은 다음과 같이 추정되었습니다. 약 2.8기가와트시의 전기가 필요합니다.

TechExplore에 따르면, UCL 연구원은 인공 신경망을 생성하는 새로운 방법을 설계했습니다. 새로운 방법은 멤리스터를 활용하여 네트워크를 생성하는데, 이는 기존 접근 방식으로 생성된 네트워크보다 약 1000배 더 에너지 효율적입니다. 멤 리스터 전원이 꺼진 후에도 메모리 상태를 보존하면서 마지막으로 흐른 전하량을 불러올 수 있는 장치입니다. 즉, 장치의 전원이 꺼지더라도 상태를 기억할 수 있습니다. 멤리스터가 약 50년 전에 처음 이론화되었지만 실제 멤리스터가 만들어진 것은 2008년이 되어서였습니다.

멤리스터는 때때로 "뉴로모픽" 컴퓨팅 장치 또는 "두뇌에서 영감을 받은" 장치라고 합니다. 멤리스터는 뇌가 정보를 처리하고 기억을 생성하는 데 사용하는 빌딩 블록과 유사합니다. 대부분의 최신 컴퓨터 시스템에 비해 매우 효율적입니다. 이러한 멤리스터 장치는 커패시터와 저항의 측면을 가지고 있으며 지난 XNUMX년 동안 다양한 메모리 장치에서 제조 및 사용되었습니다. UCL 연구팀은 그들의 연구가 몇 년 안에 이러한 장치가 AI 시스템을 만드는 데 사용되는 데 도움이 되기를 희망합니다.

향상된 에너지 효율성에도 불구하고 멤리스터는 전통적으로 일반 신경망보다 훨씬 덜 효율적이지만 UCL 연구원들은 멤리스터의 정확도를 높이는 방법을 찾았습니다. 연구원들은 많은 멤리스터를 사용할 때 여러 개의 하위 그룹으로 분할될 수 있고 계산이 함께 평균화될 수 있음을 발견했습니다. 계산의 평균은 하위 그룹의 결함이 서로를 상쇄하고 보다 관련성이 높은 패턴을 찾는 데 도움이 됩니다.

Adnan Mehonic 박사 및 Ph.D. 학생 Dovydas Joksas(UCL 전자 및 전기 공학)와 공동 저자는 다양한 멤리스터 유형에 걸쳐 이 평균화 접근 방식을 테스트했으며 이 기술이 테스트한 멤리스터 중 한두 개가 아닌 모든 다른 멤리스터에서 정확도를 향상시키는 것으로 나타났습니다. 멤리스터가 만들어진 재료의 유형에 상관없이 테스트를 거친 모든 그룹에 정확도 개선이 적용되었습니다.

Mehonic 박사에 따르면, TechExplore에서 인용:

“우리는 장치 수준이 아니라 시스템 수준 동작을 개선하는 보다 일반적인 접근 방식이 있기를 바랐고 우리는 하나를 찾았다고 믿습니다. 우리의 접근 방식은 멤리스터와 관련하여 여러 헤드가 하나보다 낫다는 것을 보여줍니다. 신경망을 하나의 큰 네트워크가 아닌 여러 개의 작은 네트워크로 배열하면 전반적으로 정확도가 높아집니다.”

연구팀은 멤리스터 신경망의 정확도를 높이기 위해 일반적인 오류 회피 기술(평균 계산)을 사용하는 컴퓨터 과학 기술을 멤리스터에 적용한 것에 흥분했습니다. 연구 공동 저자인 UCL 전자 및 전기 공학의 Tony Kenyon 교수는 멤리스터가 보다 에너지 지속 가능한 에지 컴퓨팅 장치 및 IoT 장치를 만드는 데 "주도적인 역할"을 할 수 있다고 믿습니다.

멤리스터는 기존의 신경망 모델보다 에너지 효율적일 뿐만 아니라 휴대용 모바일 장치에 쉽게 포함될 수 있습니다. 이는 전송 용량을 일정 수준 이상으로 늘리기는 어렵지만 항상 더 많은 데이터가 생성되고 전송됨에 따라 가까운 미래에 그 중요성이 더욱 커질 것으로 예측됩니다. 멤리스터는 적은 에너지 비용으로 대량의 데이터를 전송할 수 있도록 도와줍니다.