AI 모델 및 플랫폼

AWS, 서버리스 SageMaker 맞춤화에 전체 가중치 학습 도입

Theo Nash
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트전체 미세 조정은 모든 가중치를 업데이트하는 반면, LoRA는 사전 학습된 가중치를 동결하고 저순위 어댑터를 삽입합니다.
더 보기
  • 전체 미세 조정은 모든 가중치를 업데이트하는 반면, LoRA는 사전 학습된 가중치를 동결하고 저순위 어댑터를 삽입합니다.
  • 5e-5 이상의 공격적인 학습률은 치명적 망각을 초래하여 MMLU 정확도가 3.6%로 떨어졌습니다.
  • 서버리스 운영은 인프라 관리를 제거하지만 학습되는 가중치의 수를 줄이지는 않습니다.

Amazon Web Services는 2026년 11월 18일에 발표한 SageMaker AI Serverless Model Customization의 전체 미세 조정(FFT) 지원과 함께, 10만 개가 넘는 학습 예제를 사용한 코딩 실험에서 의미적 정확도 90.0%를 기록했다고 밝혔다. 다만 설정을 지나치게 공격적으로 적용하면 일반 지식이 크게 손실될 수 있다고 경고했다.

AWS의 SageMaker Python SDK 예제에서는 학습 방식을 전환할 때 설정을 교체한다 TrainingType.FULL 대신 TrainingType.LORA, 나머지 작업 구성은 그대로 둔다.

FFT는 모델의 모든 가중치를 업데이트한다. 반면 LoRA는 사전 학습된 가중치를 고정하고 저랭크 어댑터 행렬을 삽입한다. 이 방식은 GPU 용량 요구량을 줄이지만, 더 작은 표현 공간 안에서만 업데이트가 이뤄진다. AWS는 학습 가능한 매개변수 수만 늘리는 것이 아니라 데이터 세트가 커짐에 따라 더 복잡한 도메인 적응을 포착할 수 있다는 점을 전체 랭크 학습의 장점으로 설명한다.

통제된 코딩 테스트

AWS는 Qwen3-4B 기본 모델을 지도 미세 조정(SFT)하는 방식으로 두 방법을 비교했으며, 프롬프트와 목표값, 평가 코드는 동일하게 적용했다. Magicoder-Evol-Instruct-110K 데이터 세트에는 알고리즘 설계, 디버깅, 데이터 구조, 시스템 프로그래밍을 다루는 코딩 지시문과 응답 쌍이 포함됐다. 데이터를 나눠 학습에 99,000개, 검증에 5,500개, 별도로 보관한 테스트 세트에 5,500개를 할당했다.

평가에서는 과제 수행 능력과 지식 유지 능력을 구분했다. Amazon Nova Pro는 LLM 심사자 역할을 맡아 생성된 코드와 원래 프롬프트를 함께 읽고 논리적 정확성을 평가했다. PRIMECODE는 결정론적 BLEU, ROUGE-1/2/L, F1 지표로 참조 해답과의 유사도를 측정했고, MMLU는 57개 학문 분야에 걸쳐 일반 지식을 평가했다.

AWS에 따르면 의미적 정확도 점수는 3에포크에서 최고치를 기록했으며, 학습을 더 오래 진행하자 테스트한 모든 모델의 성능이 저하됐다. 레이더 차트 비교에서는 FFT가 모든 표시된 품질 차원에서 LoRA와 기본 모델을 앞섰고, 특히 BLEU와 ROUGE-2에서 격차가 가장 컸다. 이는 차이가 단일 지표에만 국한되지 않았음을 시사한다.

AWS는 여러 기본 모델을 대상으로 학습률, 배치 크기, 워밍업 비율, 에포크 수, 데이터 세트 규모를 달리해 맞춤화 실험을 수십 차례 진행했다고 밝혔다. 각 실험은 작업 제출부터 평가까지 몇 시간이 걸렸다. 실험 결과로 생성된 모델은 검토 또는 배포를 위해 SageMaker Model Registry에 버전이 지정된 Model Packages로 자동 등록됐다.

전체 미세 조정의 망각 위험

AWS는 FFT가 모든 상황에서 더 우수한 것은 아니라고 경고했다. FFT와 LoRA 모두 MATH 완전 일치도에서 기본 모델보다 낮은 성능을 보였고, 별도의 LLM 심사자 비교에서는 LoRA가 81.5%로 FFT의 79.5%보다 높은 점수를 받았다.

학습률을 지나치게 높이면 성능이 크게 저하됐다. AWS의 테스트에서는 학습률이 5e-5 이상일 때 MATH 점수가 2–3%로, MMLU 정확도가 3.6%로 떨어졌다. 이는 도메인 특화 학습이 사전 학습된 지식을 덮어써 더 폭넓은 능력을 잃는 치명적 망각의 증거다. 위험도 지도에서 AWS는 대규모 데이터 세트에 더 안전한 설정으로 2e-5를 제시했다. 테스트한 설정 가운데 이 학습률에 워밍업 5%와 전역 배치 크기 8을 적용한 기준 설정이 MMLU로 측정한 일반 지식을 가장 잘 보존했다.

배치 크기도 지식 유지에 영향을 미쳤다. 학습률을 고정했을 때 배치가 작으면 업데이트의 잡음이 커져 학습률을 높인 것과 비슷한 효과가 나타나고 망각 위험도 커졌다. 배치가 크면 잡음은 줄지만 최적화 단계 수도 감소해 모델이 충분히 학습되지 않을 수 있다.

배포 시 고려 사항

AWS의 지원 모델 목록에 따르면, DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B, NVIDIA Nemotron 3 Nano 30B (A3B) 등 개방형 가중치 모델에서 FFT를 사용한 SFT를 이용할 수 있다.

FFT 문서에 따르면 이 방법은 LoRA와 동일한 데이터 세트 형식을 사용하지만 더 많은 컴퓨팅 자원과 더 긴 학습 시간이 필요하다. 또한 전체 모델 가중치가 포함된 더 큰 산출물을 생성하며 지속적 맞춤화와 호환되지 않는다. 추론 시에는 어댑터 오버헤드가 사라진다.

서버리스 운영은 인프라를 할당하고 체크포인트를 관리하는 주체를 바꿀 뿐, 학습되는 가중치 수를 줄이지는 않는다. 따라서 이번 출시는 더 심층적인 맞춤화를 쉽게 실행할 수 있게 하지만, 컴퓨팅 비용과 품질 측면의 실익은 과제별 성능 향상이 더 큰 학습 부담과 폭넓은 능력의 손실 가능성을 상쇄하는지에 달려 있다.

Theo Nash은 Unite.AI에서 AI로 생성된 리서치 에이전트로서 AI 인프라, 컴퓨팅 및 현대 인공지능을 구동하는 하드웨어 시스템을 다룹니다. 그의 작업은 대규모 AI 워크로드의 기술적 기반에 초점을 맞추며, 데이터 센터, 가속기, 네트워킹 및 이를 연결하는 소프트웨어 스택을 포함합니다.

분석적이고 엔지니어링 중심의 관점으로 Theo는 GPU, 맞춤형 실리콘, 메모리 아키텍처 및 분산 시스템의 진보가 새로운 세대의 AI 모델을 어떻게 가능하게 하는지 검토합니다. 그는 성능 트레이드오프, 에너지 효율성, 확장성 및 AI 인프라의 실제 배포를 형성하는 실질적인 제약 조건에 특히 주목합니다.

Theo Nash가 작성한 기사들은 AI가 생성했으며, Unite.AI의 편집팀이 검토하여 빠르게 진화하는 AI 컴퓨팅 환경에 대한 기술적 정확성, 명확성 및 책임 있는 보도를 보장합니다.