엔지니어가 개발한 에너지 효율적인 “얼리 버드” 방법으로 딥 뉴럴 네트워크 훈련

라이스 대학교의 엔지니어들은 일반적으로 필요한 에너지의 일부만으로 딥 뉴럴 네트워크(DNN)를 훈련하는 새로운 방법을 개발했습니다. DNN은 자율 주행 자동차, 지능형 보조기, 얼굴 인식 및 기타 애플리케이션 개발에서 중요한 역할을 하는 인공 지능(AI)의 형태입니다.

얼리 버드는 4월 29일 라이스 대학교와 텍사스 A&M 대학교의 연구자들이 작성한 논문에서 자세히 설명되었습니다. 이는 인터내셔널 컨퍼런스 온 러닝 리프레젠테이션, 즉 ICLR 2020에서 개최되었습니다.

연구의 공동 저자들은 라이스 대학교의 효율적이고 지능형 컴퓨팅(EIC) 연구소의 하오란 유와 차오지안 리입니다. 한 연구에서, 그들은 이 방법이 오늘날의 방법과 동일한 수준과 정확도로 DNN을 훈련할 수 있지만 10.7 배 더 적은 에너지를 사용한다는 것을 보여주었습니다.

이 연구는 EIC 연구소 소장 인잉얀 린, 라이스 대학교의 리처드 바라니욱, 그리고 텍사스 A&M 대학교의 장양 왕이 주도했습니다. 다른 공동 저자로는 펭페이 쉬, 용간 푸, 위에 왕, 그리고 샤오한 천이 있습니다.

“최근의 AI 혁신을 주도하는 주요 동인은 더 큰, 더 비싼 DNN의 도입입니다,” 린은 말했다. “그러나 이러한 DNN을 훈련시키는 것은 상당한 에너지를 필요로 합니다. 더 많은 혁신을 공개하기 위해서는 환경 문제를 해결하고 AI 연구의 금전적 장벽을 줄이는 ‘더绿’한 훈련 방법을 찾는 것이 중요합니다.”

DNN 훈련 비용

세계 최고의 DNN을 훈련시키는 것은 매우 비용이 많이 들 수 있으며, 비용은 계속 증가하고 있습니다. 2019년에 시애틀의 앨런 인스티튜트 포 AI가 주도한 연구에 따르면, 최고의 딥 뉴럴 네트워크를 훈련시키기 위해서는 2012-2018년보다 300,000배 더 많은 계산이 필요합니다. 2019년 또 다른 연구에서, 매사추세츠 대학교 암허스트의 연구자들은 단일의 엘리트 DNN을 훈련시키는 것이 약 5대의 미국 자동차와 동일한 양의 이산화탄소를 배출한다는 것을 발견했습니다.

DNN이 고도로 전문적인 작업을 수행하기 위해서는, 적어도 수백만 개의 인공 뉴런으로 구성되어야 합니다. 그들은 명시적인 프로그래밍 없이大量의 예제를 관찰하여 의사 결정을 내리고, 때로는 인간을 능가하는 성능을 발휘할 수 있습니다.

프루닝과 훈련

린은 라이스 대학교 브라운 공과대학의 전기 및 컴퓨터 공학 부교수입니다.

“DNN 훈련을 수행하는 최신 방법은 프로그레시브 프루닝과 훈련입니다,” 린은 말했다. “먼저, 밀집된 거대한 네트워크를 훈련하고, 중요하지 않은 부분을 제거합니다 – 나무를 가지치기하는 것과 같습니다. 그런 다음 가지치기된 네트워크를 다시 훈련하여 성능을 회복합니다. 실제로 좋은 성능을 얻으려면 여러 번 가지치기와 재훈련을 반복해야 합니다.”

이 방법은 모든 인공 뉴런이 전문적인 작업을 완수하는 데 필요하지 않기 때문에 사용됩니다. 훈련을 통해 뉴런 간의 연결이 강화되고, 일부는 제거될 수 있습니다. 이 프루닝 방법은 계산 비용을 절감하고 모델 크기를 줄여, 완전히 훈련된 DNN을 더 저렴하게 만듭니다.

“첫 번째 단계, 즉 밀집된 거대한 네트워크를 훈련하는 것이 가장 비용이 많이 듭니다,” 린은 말했다. “본 연구에서 우리의 아이디어는 이 비용이 많이 드는 첫 번째 단계의 초기에 완전히 기능하는 가지치기된 네트워크, 즉 ‘얼리 버드 티켓’을 식별하는 것입니다.”

연구자들은 네트워크 연결 패턴을 찾음으로써 이러한 얼리 버드 티켓을 발견할 수 있었습니다. 이것은 DNN 훈련을 가속화하는 것을 가능하게 했습니다.

훈련 초기에 얼리 버드

린과 다른 연구자들은 얼리 버드가 훈련의 초기 단계에서 10분의 1 또는 그 이하에서 나타날 수 있음을 발견했습니다.

“우리의 방법은 밀집된 거대한 네트워크의 훈련 초기 10% 또는 그 이하에서 얼리 버드 티켓을 자동으로 식별할 수 있습니다,” 린은 말했다. “이것은 주어진 작업에 대해 동일하거나 더 나은 정확도를 달성하기 위해 전통적인 훈련에 필요한 시간의 10% 또는 그 이하로 DNN을 훈련할 수 있음을 의미합니다. 이는 계산과 에너지에서 한 자릿수 이상의 절약을 가져올 수 있습니다.”

연구자들은 더 빠르고 에너지 효율적인 것 외에도 환경적 영향을 강조했습니다.

“우리의 목표는 AI를 더 환경적으로 친화적이고 더 포용적하게 만드는 것입니다,” 린은 말했다. “복잡한 AI 문제의 규모는 작은 플레이어들을 배제해왔습니다. 그린 AI는 연구자들이 랩톱이나 제한된 계산 자원을 사용하여 AI 혁신을 탐색할 수 있는 문을 열 수 있습니다.”

이 연구는 내셔널 사이언스 재단의 지원을 받았습니다.