장치 내 학습을 위한 새로운 훈련 기법

MIT와 MIT-IBM 왓슨 AI 연구소의 연구팀은 menos 1/4 메가바이트의 메모리만을 사용하여 장치 내 훈련을 가능하게 하는 새로운 기법을 개발했습니다. 이 새로운 개발은 다른 훈련 솔루션들이 일반적으로 500메가바이트 이상의 메모리가 필요하지만 대부분의 마이크로컨트롤러의 256킬로바이트 용량을 초과하는 것과는 대조적으로 훌륭한 성과입니다.

지능형 에지 장치에서 기계 학습 모델을 훈련하면 새로운 데이터에 적응하고 더 나은 예측을 할 수 있습니다. 그러나 일반적으로 훈련 과정은 많은 메모리가 필요하므로 장치에 모델을 배포하기 전에 데이터 센터의 컴퓨터에서 수행됩니다. 이 과정은 새로운 기법보다 훨씬 더 비용이 많이 들고 개인 정보 보호 문제를 일으킵니다.

연구자들은 모델을 훈련하는 데 필요한 계산량을 줄이는 방식으로 알고리즘과 프레임워크를 개발하여 훈련 과정이 더 빠르고 메모리 효율이 좋습니다. 이 기법은 마이크로컨트롤러에서 기계 학습 모델을 몇 분 만에 훈련할 수 있도록 도와줍니다.

새로운 기법은 또한 데이터를 장치에 유지함으로써 개인 정보 보호에도 도움이 됩니다. 이는 민감한 데이터가 포함된 경우 중요합니다. 동시에 프레임워크는 다른 접근 방식과 비교하여 모델의 정확도를 향상시킵니다.

송 한(Song Han)은 전기 공학 및 컴퓨터 과학부(Electrical Engineering and Computer Science, EECS) 부교수이며 MIT-IBM 왓슨 AI 연구소의 회원이자 연구 논문의 선임 저자입니다.

“우리의 연구는 IoT 장치가 추론을 수행할 뿐만 아니라 새로 수집된 데이터에 대한 AI 모델을 지속적으로 업데이트할 수 있도록 합니다. 이는 장치 내 학습을 위한 길을 열어줍니다”라고 한은 말했다. “저자원 사용은 더 깊은 학습을 더 쉽게 만들고 저전력 에지 장치에서 더 널리 사용될 수 있습니다.”

연구 논문에는 공동 선임 저자이자 EECS 박사 과정 학생인 Ji Lin과 Ligeng Zhu, MIT 박사 과정 학생인 Wei-Ming Chen과 Wei-Chen Wang, MIT-IBM 왓슨 AI 연구소의 주요 연구员인 Chuang Gan이 포함되어 있습니다.

훈련 과정을 더 효율적으로 만드는 것

훈련 과정을 더 효율적으로 만들고 메모리 사용량을 줄이기 위해 연구팀은 두 가지 알고리즘 솔루션을 사용했습니다. 첫 번째는 희소 업데이트로 알려진 알고리즘으로, 훈련의 각 라운드에서 업데이트할 가장 중요한 가중치를 식별합니다. 알고리즘은 가중치를 하나씩 동결하고 정확도가 특정 임계값까지 떨어질 때까지停止합니다. 남은 가중치는 업데이트되고 동결된 가중치에 해당하는 활성화는 메모리에 저장할 필요가 없습니다.

“전체 모델을 업데이트하는 것은 매우 비용이 많이 드는 일입니다. 활성화가 많기 때문에 사람들이 일반적으로 마지막 레이어만 업데이트하지만 이는 정확도를 떨어뜨립니다”라고 한은 말했다. “우리의 방법은 중요한 가중치를 선택적으로 업데이트하고 정확도가 완전히 보존되도록 합니다.”

연구팀이 개발한 두 번째 솔루션은 양자화된 훈련과 가중치 단순화입니다. 알고리즘은 먼저 양자화 과정에서 가중치를 8비트로 반올림하여 훈련과 추론을 위한 메모리 양을 줄입니다. 알고리즘은 또한 가중치와 기울기 사이의 비율을 조정하는 곱셈기인 QAS(Quantization-Aware Scaling)를 사용하여 양자화된 훈련으로 인한 정확도 저하를 방지합니다.

연구자들은 算法 혁신을 단순한 마이크로컨트롤러에서 실행하는 작은 훈련 엔진 시스템을 개발했습니다. 모델을 에지 장치에 배포하기 전에 컴파일 단계에서 더 많은 작업을 수행하기 위해 시스템은 훈련 과정을 변경합니다.

“우리는 자동 미분 및 그래프 최적화와 같은 많은 계산을 컴파일 시간에 밀어 넣습니다. 또한 중복 연산자를 강력하게 자르기 위해 희소 업데이트를 지원합니다. 런타임에 장치에서 수행해야 하는 작업량이 훨씬 적습니다”라고 한은 말했다.

높은 효율성 기법

경량 훈련을 위한 전통적인 기법은 일반적으로 300에서 600메가바이트의 메모리가 필요하지만 연구팀의 최적화는 마이크로컨트롤러에서 기계 학습 모델을 훈련하는 데 157킬로바이트만 필요했습니다.

이 프레임워크는 컴퓨터 비전 모델을 이미지에서 사람을 감지하도록 훈련하는 것으로 테스트되었으며, 이 작업을 10분 만에 수행할 수 있었습니다. 이 방법은 다른 방법보다 모델을 20배 이상 빠르게 훈련할 수 있었습니다.

연구자들은 이제 이 기술을 언어 모델과 다른 유형의 데이터에 적용하고자 합니다. 또한 이 지식을 사용하여 정확도 손실 없이 더 큰 모델을 축소하여 대규모 기계 학습 모델 훈련의 탄소 발자국을 줄이는 데 도움이 될 수 있습니다.