AI 모델 및 플랫폼
ChatGPT 같은 대규모 언어 모델을 절반의 비용으로 구축할 수 있을까요?
핵심 포인트LiGO는 사전 훈련된 더 작은 모델에서 더 큰 모델을 성장시켜 LLM 훈련 비용을 절반으로 줄입니다.
더 보기
- LiGO는 사전 훈련된 더 작은 모델에서 더 큰 모델을 성장시켜 LLM 훈련 비용을 절반으로 줄입니다.
- GPT-3 훈련에는 500만 달러가 소요되었으며, 14.8일 동안 10,000개의 GPU가 필요했습니다.
- OpenAI는 훈련 비용 외에도 ChatGPT 쿼리를 실행하는 데 매일 70만 달러를 지출합니다.
대규모 언어 모델(LLM)인 GPT-3와 ChatGPT는 자연어 이해와 콘텐츠 생성 기능을 제공하며 AI에 혁명을 일으켰습니다. 그러나 개발에는 큰 비용이 들어 접근성과 후속 연구가 제한됩니다. 연구자들은 GPT-3 훈련에 OpenAI가 약 500만 달러를 지출했다고 추정합니다. 그럼에도 Microsoft (MSFT )는 그 잠재력을 알아보고 OpenAI의 GPT-3 및 ChatGPT 사업에 2019년 10억 달러, 2023년 100억 달러를 투자했습니다.
LLM은 자연어 처리(NLP) 응용을 위해 방대한 텍스트 데이터로 훈련한 기계 학습 모델입니다. 트랜스포머 아키텍처를 기반으로 하며, 질의응답, 기계 번역, 감성 분석 등의 NLP 작업에 어텐션 메커니즘을 활용합니다.
이러한 대규모 모델의 효율성을 높이면서 계산 비용과 훈련 시간을 동시에 줄일 수 있을까요?
신경망 훈련의 계산 비용을 줄이기 위해 점진적 신경망, 네트워크 모피즘, 계층 내부 모델 병렬화, 지식 상속 등의 접근법이 개발되었습니다. 여기서 살펴볼 새로운 LiGO(Linear Growth Operator, 선형 성장 연산자) 접근법은 새로운 기준을 제시하며 LLM 훈련의 계산 비용을 절반으로 줄입니다.
이 기법을 논의하기 전에 LLM 개발 비용이 높은 이유를 살펴보겠습니다.
대규모 언어 모델 구축 비용
LLM 개발에는 다음과 같은 세 가지 주요 비용이 듭니다.
1. 계산 자원
LLM을 대규모 데이터셋으로 훈련하려면 막대한 계산 자원이 필요합니다. 수십억 개의 매개변수를 처리하고 방대한 텍스트 데이터에서 복잡한 패턴을 학습해야 합니다.
최첨단 성능을 달성하는 LLM을 구축하고 훈련하려면 그래픽 처리 장치(GPU)와 텐서 처리 장치(TPU) 같은 특수 하드웨어에 투자해야 합니다.
예를 들어 GPT-3는 기업용 GPU 10000개(H100 및 A100)와 CPU 코어 285,000개를 갖춘 슈퍼컴퓨터에서 훈련되었습니다.
2. 에너지 소비
LLM 구축에 필요한 집약적인 계산 자원은 상당한 에너지 소비를 초래합니다. 예를 들어 매개변수가 1,750억 개인 GPT-3를 V100 GPU 10,000개로 훈련하는 데 14.8일이 걸렸으며, 이는 GPU 사용 시간 355만 시간에 해당합니다. 이처럼 많은 에너지 소비는 환경에도 큰 영향을 미칩니다.
3. 데이터 저장 및 관리
LLM은 대규모 데이터셋으로 훈련됩니다. 예를 들어 GPT-3는 Common Crawl, WebText2, Books1, Books2, Wikipedia 등을 포함한 방대한 텍스트 데이터 말뭉치로 훈련되었습니다. 이 데이터셋을 수집하고 선별하고 저장하려면 상당한 인프라 투자가 필요합니다.
데이터 저장을 위한 클라우드 저장소와 데이터 전처리 및 버전 관리를 위한 사람의 전문성도 필요합니다. 데이터 전략이 GDPR 같은 규정을 준수하도록 하는 데에도 비용이 듭니다.
LiGO 기법: 대규모 언어 모델 구축 비용을 절반으로 줄이기
LiGO(Linear Growth Operator)는 MIT 연구자들이 LLM 훈련의 계산 비용을 50% 줄이기 위해 개발한 새로운 기법입니다. 작은 사전 훈련 모델의 가중치로 큰 모델의 가중치를 초기화하여 신경망을 효율적으로 확장합니다.

논문에서 가져온 이미지: 트랜스포머의 효율적인 훈련을 위해 사전 훈련 모델을 확장하는 방법 학습
논문의 선임 저자인 Yoon Kim은 다음과 같이 말합니다.
“ChatGPT가 사용하는 것으로 추정되는 규모의 모델을 훈련하려면 한 번의 훈련 실행에만 수백만 달러가 들 수 있다는 추산이 있습니다. 이러한 훈련 방법의 효율성을 높여 더 적은 시간과 비용으로도 좋은 모델을 얻을 수 있을까요? 우리는 이미 훈련된 더 작은 언어 모델을 활용해 이를 달성하자고 제안합니다.”
이 방법은 큰 모델의 성능상 이점을 유지하면서 큰 모델을 처음부터 훈련하는 경우보다 계산 비용과 훈련 시간을 줄입니다. LiGO는 데이터 기반 선형 성장 연산자를 사용하며, 최적의 성능을 위해 깊이 연산자와 너비 연산자를 결합합니다.
논문에서는 다양한 데이터셋으로 텍스트 실험을 수행했습니다. BERT와 RoBERTa 훈련에는 영어 Wikipedia 말뭉치를, GPT2 훈련에는 C4 데이터셋을 사용했습니다.
LiGO 실험에는 BERT-Small을 BERT-Base로, BERT-Base를 BERT-Large로, RoBERTaSmall을 RoBERTa-Base로, GPT2-Base를 GPT2-Medium으로, CaiT-XS를 CaiT-S로 확장하는 작업이 포함되었습니다.
연구자들은 처음부터 훈련하는 방법, 점진적 훈련, bert2BERT, KI 등 여러 기준 방법과 자신들의 접근법을 비교했습니다.
LiGO는 BERT-Small 모델을 재사용함으로써 BERT-Base를 처음부터 훈련하는 경우보다 FLOPs(초당 부동소수점 연산)를 44.7%, 실제 경과 시간을 40.7% 절약했습니다. LiGO 성장 연산자는 효율적인 훈련에서 StackBERT, MSLT, bert2BERT, KI보다 뛰어난 성능을 보입니다.
LiGO 같은 훈련 최적화 기법의 이점
LiGO는 다음과 같은 이점이 있는 효율적인 신경망 훈련 방법입니다.
1. 더 빠른 훈련
앞서 설명했듯이 빠른 훈련이 LiGO의 주요 이점입니다. LLM을 절반의 시간에 훈련하여 생산성을 높이고 비용을 줄입니다.
2. 자원 효율성
LiGO는 실제 경과 시간과 FLOPs를 최소화하므로 대규모 트랜스포머 모델을 보다 경제적이고 환경 친화적으로 훈련할 수 있습니다.
3. 일반화
LiGO는 언어 트랜스포머와 비전 트랜스포머 모두의 성능을 개선했습니다. 따라서 다양한 작업에 적용할 수 있는 일반화 가능한 기법임을 시사합니다.
상용 AI 제품을 구축하는 비용은 AI 시스템의 전체 비용 중 일부에 불과합니다. 일상적인 운영도 중요한 비용 요소입니다. 예를 들어 OpenAI는 ChatGPT로 질의에 답하는 데 매일 약 70만 달러를 지출합니다. 연구자들은 LLM의 훈련 비용을 낮추고 실행 시 접근성을 높이는 방법을 계속 탐구할 것으로 예상됩니다.
더 많은 AI 관련 콘텐츠는 unite.ai에서 확인하세요.












