Anderson의 관점

머신러닝의 증가하는 전력 수요 억제하기

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가

대규모 머신러닝 모델의 에너지 요구량에 대한 우려가 커지는 가운데, MIT 링컨 연구소와 노스이스턴 대학교의 최근 연구는 모델 학습과 추론에 사용하는 GPU의 전력을 제한해 얻을 수 있는 절감 효과를 조사했다. 이와 함께 AI의 에너지 사용을 줄이는 여러 기법과 방법도 살펴봤다.

새 연구는 머신러닝 연구 논문에 윤리적 영향을 설명하는 문구를 넣는 최근 추세와 비슷하게, 새로운 AI 논문을 ‘에너지 선언문’으로 마무리할 것도 제안한다.

연구의 핵심 제안은 전력 제한, 즉 모델을 학습시키는 GPU가 사용할 수 있는 전력을 제한하면 상당한 에너지 절감 효과가 있다는 것이다. 특히 마스크 언어 모델링(MLM)과 BERT 및 그 파생 모델에서 유용하다.

세 언어 모델링 네트워크의 전력 사용을 기본 250W 설정(검은 선)의 비율로 표시했다. 전력 소비를 제한해도 학습 효율이나 정확도가 일대일 비율로 줄어들지는 않으며, 대규모로 적용하면 상당한 전력 절감 효과가 있다. 출처: https://arxiv.org/pdf/2205.09646.pdf

세 언어 모델링 네트워크의 전력 사용을 기본 250W 설정(검은 선)의 비율로 표시했다. 전력 소비를 제한해도 학습 효율이나 정확도가 일대일 비율로 줄어들지는 않으며, 대규모로 적용하면 상당한 전력 절감 효과가 있다. 출처: https://arxiv.org/pdf/2205.09646.pdf

최근 초대규모 데이터셋과 수십억 또는 수조 개의 매개변수를 가진 새 모델로 주목받은 더 큰 규모의 모델에서도, 학습 시간과 에너지 사용 사이의 절충을 통해 비슷한 절감 효과를 얻을 수 있다.

전력 제한 아래에서 더 강력한 NLP 모델을 대규모로 학습한 결과. 파란색은 150W 한도에서의 평균 상대 시간, 주황색은 같은 한도에서의 평균 상대 에너지 소비량이다.

전력 제한 아래에서 더 강력한 NLP 모델을 대규모로 학습한 결과. 파란색은 150W 한도에서의 평균 상대 시간, 주황색은 같은 한도에서의 평균 상대 에너지 소비량이다.

이러한 대규모 실행에서 연구진은 전력 사용을 150W로 제한하면 기본 최대값인 250W에 비해 에너지 사용량이 평균 13.7% 줄고, 학습 시간은 비교적 작은 폭인 6.8% 늘어난다는 사실을 확인했다.

또한 연구진은 지난 몇 년간 모델 학습 비용이 주목을 받았지만, 실제로 학습된 모델을 사용하는 데 드는 에너지 비용이 훨씬 더 높다고 지적한다.*

“BERT를 이용한 언어 모델링에서는 전력 제한에 따른 에너지 절감 효과가 학습보다 추론에서 눈에 띄게 크다. 다른 AI 응용 분야에서도 이것이 일관되게 나타난다면, 연구 및 산업용 추론 애플리케이션을 제공하는 대규모 또는 클라우드 컴퓨팅 플랫폼의 에너지 소비에 중대한 영향을 줄 수 있다.”

아울러 논문은 냉각 비용을 줄이기 위해 머신러닝 모델의 대규모 학습 작업을 연중 더 추운 달과 야간에 수행하자고 제안한다. 이는 아마 가장 논쟁적인 제안일 것이다.

위는 저자들의 데이터센터에서 2020년 매일 측정한 PUE 통계로, 여름철에 뚜렷하고 지속적인 급증과 높은 평탄 구간이 나타난다. 아래는 같은 장소에서 한 주 동안의 평균 시간대별 PUE 변화다. GPU 내부 냉각 장치와 데이터센터의 주변 냉각 장치가 적정 온도를 유지하려 하면서 한낮에 가까워질수록 에너지 소비가 늘어난다.

위는 저자들의 데이터센터에서 2020년 매일 측정한 PUE 통계로, 여름철에 뚜렷하고 지속적인 급증과 높은 평탄 구간이 나타난다. 아래는 같은 장소에서 한 주 동안의 평균 시간대별 PUE 변화다. GPU 내부 냉각 장치와 데이터센터의 주변 냉각 장치가 적정 온도를 유지하려 하면서 한낮에 가까워질수록 에너지 소비가 늘어난다.

저자들은 다음과 같이 설명한다.

“분명히 무거운 NLP 작업은 보통 겨울보다 여름에 훨씬 비효율적이다. 계절에 따른 차이가 크므로 계산 비용이 많이 드는 실험을 더 서늘한 달에 맞출 수 있다면, 이러한 일정 조정으로 탄소 발자국을 크게 줄일 수 있다.”

논문은 모델 구조와 작업 흐름의 가지치기 및 최적화를 통해 새롭게 가능해지는 에너지 절약 기회도 인정한다. 다만 저자들은 이 방향의 추가 개발을 다른 연구에 맡긴다.

마지막으로 저자들은 머신러닝 분야의 새 과학 논문이 연구 수행에 사용한 에너지와 제안한 방안을 도입할 경우의 잠재적 에너지 영향을 밝히는 선언으로 끝나도록 권장하거나, 어쩌면 의무화할 것을 제안한다.

논문은 자체 연구의 에너지 영향을 설명하며 모범을 보인다.

논문은 자체 연구의 에너지 영향을 설명하며 모범을 보인다.

논문의 제목은 큰 힘, 큰 책임: 언어 모델 학습에 필요한 에너지를 줄이기 위한 권고이며, MIT 링컨 연구소와 노스이스턴 대학교의 연구자 여섯 명이 작성했다.

다가오는 머신러닝의 막대한 에너지 수요

머신러닝 모델의 계산 요구량이 결과의 유용성과 함께 증가하면서, 현재 머신러닝 문화는 에너지 지출을 성능 향상과 동일시한다. 그러나 앤드루 응 같은 유명한 옹호자들은 데이터 큐레이션이 더 중요한 요인일 수 있다고 주장한다.

2020년의 주요 MIT 공동 연구에서는 모델 성능을 열 배 높이려면 계산 요구량이 10,000배 늘고, 그에 상응하는 에너지가 필요하다고 추정했다.

따라서 지난 몇 년간 전력을 덜 쓰면서 효과적으로 머신러닝을 학습시키는 연구가 증가했다. 저자들은 새 논문이 GPT 시리즈 같은 NLP 프레임워크에 초점을 맞춰, 전력 제한이 머신러닝 학습과 추론에 미치는 영향을 처음으로 깊이 살펴본 연구라고 설명한다.

추론 품질이 무엇보다 중요하므로, 저자들은 결과를 제시하면서 먼저 다음과 같이 밝힌다.

“이 방법은 학습된 모델의 예측이나 그에 따른 과제 수행 정확도에 영향을 주지 않는다. 즉, 구조와 초깃값, 배치 데이터가 같은 두 네트워크를 서로 다른 전력 한도에서 같은 배치 수만큼 학습시키면 결과 매개변수는 동일하며, 이를 생성하는 데 필요한 에너지만 달라질 수 있다.”

NLP의 전력 사용 줄이기

저자들은 전력 제한이 학습과 추론에 미치는 영향을 평가하기 위해 nvidia-smi(시스템 관리 인터페이스) 명령줄 유틸리티와 허깅페이스의 MLM 라이브러리를 사용했다.

자연어 처리 모델 BERT, DistilBERT, Big Bird를 MLM으로 학습시키고, 학습 및 실제 사용 중 전력 소비를 관찰했다.

모델은 DeepAI의 WikiText-103 데이터셋으로, V100 GPU 16개에서 배치당 여덟 개의 샘플을 사용해 4에포크 동안 학습했다. 전력 한도는 100W, 150W, 200W, 250W의 네 가지였으며, 250W는 NVIDIA V100 GPU의 기본값 또는 기준값이다. 학습 평가를 비교할 수 있도록 모델은 처음부터 학습하는 매개변수와 무작위 초깃값을 사용했다.

위 첫 번째 그림처럼 결과는 학습 시간이 비선형적이고 유리한 폭으로 늘어나는 대신 에너지가 상당히 절약됨을 보여준다. 저자들은 다음과 같이 설명한다.

“실험 결과, 전력 제한을 적용하면 학습 시간 증가를 대가로 에너지 사용을 크게 줄일 수 있다.”

‘대규모 NLP’의 부담 줄이기

다음으로 저자들은 더 까다로운 상황, 즉 여러 GPU에 분산된 구성에서 BERT를 MLM으로 학습시키는 데 같은 방법을 적용했다. 이는 자금이 풍부하고 널리 알려진 FAANG의 NLP 모델에서 더 전형적인 사용 사례다.

이 실험의 주요 차이점은 한 번의 학습 실행에서 모델이 GPU 2~400개를 사용할 수 있다는 것이다. 같은 전력 제한과 같은 과제(WikiText-103)를 적용했다. 결과 그래프는 위 두 번째 그림에 있다.

논문은 다음과 같이 설명한다.

“모든 구성 선택의 평균을 내면, 150W 전력 제한은 기본 최대값에 비해 에너지 사용을 평균 13.7% 줄이고 학습 시간을 6.8% 늘렸다. 100W 설정은 학습 시간이 상당히 길다(평균 31.4% 증가). 200W 제한의 학습 시간은 250W 제한과 거의 같지만, 에너지 절감은 150W 제한보다 작다.”

저자들은 이 결과가 GPU 구조와 그 위에서 실행되는 애플리케이션에 150W 전력 제한을 적용하는 근거가 된다고 제안한다. 또한 에너지 절약이 다른 하드웨어 플랫폼에서도 나타난다며, NVIDIA (NVDA ) K80, T4, A100 GPU의 결과를 비교하기 위해 실험을 다시 수행했다.

서로 다른 NVIDIA GPU 세 종류에서 얻은 절감 효과.

서로 다른 NVIDIA GPU 세 종류에서 얻은 절감 효과.

전력을 많이 쓰는 것은 학습이 아니라 추론

논문은 보도와 달리 가장 많은 전력을 쓰는 것은 학습이 아니라 추론, 즉 NLP 모델 같은 완성된 모델을 사용하는 과정임을 보여주는 여러 선행 연구를 인용한다. 인기 모델이 상품화되고 널리 쓰이게 되면 전력 사용은 현재의 비교적 초기 NLP 발전 단계에서보다 더 큰 문제가 될 수 있다고 설명한다.

따라서 연구진은 추론이 전력 사용에 미치는 영향을 측정했으며, 전력 제한을 적용하면 추론 지연 시간이 뚜렷하게 달라진다는 사실을 확인했다.

“250W와 비교했을 때 100W 설정은 추론 시간을 약 두 배로 늘렸으며(114% 증가), 에너지는 11.0% 적게 사용했다. 150W는 시간이 22.7% 더 걸리고 에너지를 24.2% 절약했으며, 200W는 시간이 8.2% 더 걸리고 에너지를 12.0% 적게 사용했다.”

겨울철 학습

논문은 학습을(명백한 이유로 추론은 제외하고) 데이터센터의 전력 사용 효율(PUE)이 가장 좋은 시기, 즉 겨울과 야간에 계획할 수 있다고 제안한다.

“PUE가 더 낮을 것으로 예상되는 때에 작업을 배치할 수 있다면 상당한 에너지를 절약할 수 있다. 예를 들어 짧게 실행되는 작업을 낮에서 밤으로 옮기면 약 10% 줄일 수 있고, 더 오래 걸리고 비용이 큰 작업(완료까지 몇 주가 걸리는 언어 모델 등)을 여름에서 겨울로 옮기면 33% 줄일 수 있다.”

“개별 연구자가 얼마나 절약할 수 있을지 예측하기는 어렵지만, 여기 제시한 정보는 작업의 총에너지 소비에 영향을 주는 환경 요인의 중요성을 강조한다.”

클라우드 활용하기

마지막으로 논문은 자체 구축한 처리 자원이 대규모 데이터센터나 주요 클라우드 컴퓨팅 업체와 같은 효율 조치를 적용했을 가능성은 낮다고 지적한다. 좋은 PUE를 달성하는 데 크게 투자한 곳으로 작업을 옮기면 환경적 이점을 얻을 수 있다고 설명한다.

“쉽게 접근할 수 있는 전용 컴퓨팅 자원은 편리하지만, 이 편리함에는 비용이 따른다. 일반적으로 규모가 클수록 에너지 절감과 효과를 더 쉽게 얻을 수 있다. 데이터센터와 클라우드 컴퓨팅 제공업체는 시설 효율성에 상당한 투자를 한다.”

* 논문에서 제시한 관련 링크.

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai