새로운 교육 기법으로 평생 온디바이스 학습이 더욱 가까워집니다.

MIT와 MIT-IBM Watson AI Lab의 연구원 팀은 500/256MB 미만의 메모리를 사용하여 온디바이스 훈련을 가능하게 하는 새로운 기술을 개발했습니다. 다른 훈련 솔루션은 일반적으로 대부분의 마이크로컨트롤러의 XNUMX킬로바이트 용량을 초과하는 XNUMX메가바이트 이상의 메모리를 필요로 하기 때문에 새로운 개발은 인상적인 성과입니다. 

지능형 에지 장치에서 기계 학습 모델을 교육함으로써 새로운 데이터에 적응하고 더 나은 예측을 할 수 있습니다. 즉, 학습 프로세스에는 일반적으로 많은 메모리가 필요하므로 모델이 장치에 배포되기 전에 데이터 센터의 컴퓨터에서 수행되는 경우가 많습니다. 이 프로세스는 팀에서 개발한 새로운 기술에 비해 비용이 훨씬 많이 들고 개인 정보 보호 문제가 발생합니다.

연구원들은 모델 훈련에 필요한 계산량을 줄이는 방식으로 알고리즘과 프레임워크를 개발하여 프로세스를 더 빠르고 메모리 효율적으로 만들었습니다. 이 기술은 단 몇 분 만에 마이크로컨트롤러에서 기계 학습 모델을 교육하는 데 도움이 될 수 있습니다. 

이 새로운 기술은 민감한 데이터가 관련된 경우 중요한 데이터를 장치에 보관하므로 개인 정보 보호에도 도움이 됩니다. 동시에 프레임워크는 다른 접근 방식과 비교할 때 모델의 정확도를 향상시킵니다. 

한송 교수는 전기공학 및 컴퓨터과학과(EECS) 부교수이자 MIT-IBM 왓슨 AI 랩 소속이며 연구 논문의 선임저자다. 

한 교수는 “이번 연구를 통해 IoT 기기가 추론을 수행할 뿐만 아니라 새로 수집된 데이터로 AI 모델을 지속적으로 업데이트할 수 있어 평생 온디바이스 학습의 길을 열 수 있다”고 말했다. "낮은 리소스 사용률은 딥 러닝에 대한 접근성을 높이고 특히 저전력 에지 장치의 경우 더 넓은 도달 범위를 가질 수 있습니다." 

XNUMXD덴탈의 종이 공동 저자이자 EECS 박사 과정 학생인 Ji Lin과 Ligeng Zhu, MIT 박사후 연구원인 Wei-Ming Chen과 Wei-Chen Wang이 포함되었습니다. 또한 MIT-IBM Watson AI Lab의 수석 연구원인 Chuang Gan도 포함되었습니다. 

교육 프로세스를 보다 효율적으로 만들기

교육 프로세스를 보다 효율적으로 만들고 메모리 집약도를 낮추기 위해 팀은 두 가지 알고리즘 솔루션에 의존했습니다. 첫 번째는 스파스 업데이트로 알려져 있으며 각 훈련 라운드 동안 업데이트할 가장 중요한 가중치를 식별하는 알고리즘을 사용합니다. 알고리즘은 정확도가 특정 임계값으로 떨어질 때까지 가중치를 한 번에 하나씩 고정하고 이 지점에서 중지합니다. 그런 다음 나머지 가중치가 업데이트되고 고정된 가중치에 해당하는 활성화는 메모리에 저장할 필요가 없습니다. 

한씨는 “전체 모델을 업데이트하는 것은 활성화가 많기 때문에 비용이 많이 들기 때문에 사람들은 마지막 레이어만 업데이트하는 경향이 있지만 상상할 수 있듯이 정확도가 떨어집니다.”라고 말했습니다. "우리 방법의 경우 중요한 가중치를 선택적으로 업데이트하고 정확도가 완전히 유지되는지 확인합니다." 

팀에서 개발한 두 번째 솔루션은 양자화된 교육과 가중치 단순화를 포함합니다. 알고리즘은 먼저 교육 및 추론을 위한 메모리 양을 줄이는 양자화 프로세스를 통해 가중치를 단 XNUMX비트로 반올림합니다. 추론은 모델을 데이터 세트에 적용하고 예측을 생성하는 프로세스입니다. 그런 다음 알고리즘은 가중치와 그래디언트 사이의 비율을 조정하는 승수처럼 작동하는 양자화 인식 스케일링(QAS)이라는 기술에 의존합니다. 이렇게 하면 양자화된 교육으로 인해 발생할 수 있는 정확도 저하를 방지할 수 있습니다. 

연구원들은 운영 체제가 없는 단순한 마이크로컨트롤러에서 알고리즘 혁신을 실행하는 작은 훈련 엔진이라는 시스템을 개발했습니다. 편집 단계에서 더 많은 작업을 완료하기 위해 에지 장치에 모델을 배포하기 전에 시스템이 훈련 프로세스의 단계 순서를 변경합니다. 

“자동 미분 및 그래프 최적화와 같은 많은 계산을 컴파일 시간에 밀어 넣습니다. 또한 스파스 업데이트를 지원하기 위해 중복 연산자를 적극적으로 정리합니다. 런타임 시 장치에서 수행할 작업 부하가 훨씬 줄어듭니다.”라고 Han은 말합니다. 

고효율 기술

간단한 훈련을 위해 설계된 기존 기술은 일반적으로 약 300~600MB의 메모리가 필요하지만 팀의 최적화에는 마이크로 컨트롤러에서 기계 학습 모델을 훈련하는 데 157KB만 필요했습니다. 

프레임워크는 이미지에서 사람을 감지하기 위해 컴퓨터 비전 모델을 훈련하여 테스트되었으며 단 10분 만에 이 작업을 완료하는 방법을 학습했습니다. 또한 이 방법은 다른 방법보다 20배 이상 빠르게 모델을 훈련할 수 있었습니다. 

연구자들은 이제 이 기술을 언어 모델과 다양한 유형의 데이터에 적용하는 방법을 모색할 것입니다. 그들은 또한 이 획득한 지식을 사용하여 정확도 손실 없이 더 큰 모델을 축소하기를 원하며, 이는 대규모 기계 학습 모델 훈련의 탄소 발자국을 줄이는 데 도움이 될 수 있습니다.