인공지능

엔지니어들은 심층 신경망을 교육하기 위해 에너지 효율적인 "Early Bird" 방법을 개발합니다.

게재 2020 년 5 월 19 일

알렉스 맥팔랜드

Rice University의 엔지니어들은 일반적으로 필요한 에너지의 일부로 DNN(심층 신경망)을 교육하는 새로운 방법을 개발했습니다. DNN은 자율 주행 자동차, 지능형 비서, 안면 인식 및 기타 응용 프로그램과 같은 기술 개발에서 핵심 역할을 하는 인공 지능(AI)의 한 형태입니다.

얼리버드에 대한 자세한 내용은 종이 Rice와 Texas A&M University의 연구원들이 29월 XNUMX일에. 그것은에서 일어났다 학습 표현에 관한 국제 회의, 또는 ICLR 2020.

이 연구의 주 저자는 Rice의 EIC(Efficient and Intelligent Computing) 연구소의 Haoran You와 Chaojian Li였습니다. 한 연구에서 그들은 이 방법이 오늘날의 방법과 동일한 수준과 정확도로 DNN을 훈련할 수 있는 방법을 보여 주었지만 10.7배 적은 에너지를 사용했습니다.

이 연구는 EIC Lab 이사인 Yingyan Lin, Rice의 Richard Baraniuk, Texas A&M의 Zhangyang Wang이 주도했습니다. 다른 공동 저자로는 Pengfei Xu, Yonggan Fu, Yue Wang 및 Xiaohan Chen이 있습니다.

린은 "최근 AI 혁신의 주요 원동력은 더 크고 더 비싼 DNN의 도입입니다."라고 말했습니다. "하지만 이러한 DNN을 훈련하려면 상당한 에너지가 필요합니다. 더 많은 혁신이 공개되려면 환경 문제를 해결하고 AI 연구의 재정적 장벽을 줄이는 '녹색' 훈련 방법을 찾는 것이 필수적입니다."

DNN 교육에 비용이 많이 듭니다.

세계 최고의 DNN을 교육하는 데는 비용이 많이 들 수 있으며 가격표는 계속해서 증가하고 있습니다. 2019년 시애틀의 Allen Institute for AI가 주도한 연구에 따르면 최고 수준의 심층 신경망을 훈련시키기 위해서는 300,000~2012년에 비해 2018배 더 많은 계산이 필요합니다. 이번에 매사추세츠 대학교 애머스트(University of Massachusetts Amherst)의 연구원이 주도한 또 다른 2019년 연구에서는 단일 엘리트 DNN을 교육하면 미국 자동차 XNUMX대와 거의 동일한 양의 이산화탄소 배출량이 배출된다는 사실을 발견했습니다.

DNN이 고도로 전문화된 작업을 수행하기 위해 최소 수백만 개의 인공 뉴런으로 구성됩니다. 그들은 많은 수의 예를 관찰함으로써 결정을 내리는 방법을 배울 수 있으며 때로는 인간을 능가합니다. 명시적인 프로그래밍 없이도 이 작업을 수행할 수 있습니다.

자두와 훈련

Lin은 Rice의 Brown School of Engineering의 전기 및 컴퓨터 공학 조교수입니다.

"DNN 학습을 수행하는 최첨단 방법은 점진적 가지치기와 학습입니다."라고 린은 말했습니다. "먼저, 밀도가 높고 거대한 네트워크를 학습시킨 후, 나무 가지치기처럼 중요하지 않아 보이는 부분을 제거합니다. 그런 다음 가지치기 후 성능이 저하되므로, 가지치기된 네트워크를 다시 학습시켜 성능을 회복합니다. 실제로 좋은 성능을 얻으려면 가지치기와 학습을 여러 번 반복해야 합니다."

이 방법은 특수 작업을 완료하는 데 모든 인공 뉴런이 필요한 것은 아니기 때문에 사용됩니다. 훈련으로 인해 뉴런 간의 연결이 강화되고 나머지는 버릴 수 있습니다. 이 가지치기 방법은 계산 비용을 절감하고 모델 크기를 줄여 완전히 훈련된 DNN을 보다 저렴하게 만듭니다.

"첫 번째 단계인 밀집된 거대한 네트워크를 훈련하는 것이 가장 비쌉니다." 린이 말했다. "이 작업에서 우리의 아이디어는 이 비용이 많이 드는 첫 번째 단계의 시작 단계에서 '얼리버드 티켓'이라고 부르는 최종적이고 완전히 기능하는 가지치기된 네트워크를 식별하는 것입니다."

연구원들은 주요 네트워크 연결 패턴을 찾아 이를 수행했으며 이러한 조기 티켓을 발견할 수 있었습니다. 이를 통해 DNN 교육을 빠르게 진행할 수 있었습니다.

교육 시작 단계의 얼리버드

Lin과 다른 연구원들은 Early Bird가 훈련의 시작 단계에서 XNUMX분의 XNUMX 이하로 나타날 수 있음을 발견했습니다.

Lin은“우리의 방법은 조밀하고 거대한 네트워크 훈련의 처음 10 % 이내에서 조기 등록 티켓을 자동으로 식별 할 수 있습니다. "즉, 기존 교육에 필요한 시간의 약 10 % 이하로 주어진 작업에 대해 동일하거나 더 나은 정확도를 달성하도록 DNN을 교육 할 수 있으며, 이는 계산과 에너지 모두에서 둘 이상의 주문 절감으로 이어질 수 있습니다."

더 빠르고 에너지 효율적인 것 외에도 연구원들은 환경 영향에 중점을 둡니다.

“우리의 목표는 AI를보다 환경 친화적이고 포괄적으로 만드는 것입니다.”라고 그녀는 말했습니다. “복잡한 AI 문제의 엄청난 크기는 소규모 플레이어를 막아 냈습니다. Green AI는 연구자들이 노트북이나 제한된 컴퓨팅 리소스를 가지고 AI 혁신을 탐구 할 수있는 문을 열 수 있습니다.”

이 연구는 국립 과학 재단의 지원을 받았습니다.