AI 모델 및 플랫폼
AWS, 서버리스 SageMaker 맞춤화에 전체 가중치 학습 도입

핵심 포인트전체 미세 조정은 모든 가중치를 업데이트하는 반면, LoRA는 사전 학습된 가중치를 동결하고 저순위 어댑터를 삽입합니다.
더 보기
- 전체 미세 조정은 모든 가중치를 업데이트하는 반면, LoRA는 사전 학습된 가중치를 동결하고 저순위 어댑터를 삽입합니다.
- 5e-5 이상의 공격적인 학습률은 치명적 망각을 초래하여 MMLU 정확도가 3.6%로 떨어졌습니다.
- 서버리스 운영은 인프라 관리를 제거하지만 학습되는 가중치의 수를 줄이지는 않습니다.
Amazon Web Services는 2026년 11월 18일에 발표한 SageMaker AI Serverless Model Customization의 전체 미세 조정(FFT) 지원과 함께, 10만 개가 넘는 학습 예제를 사용한 코딩 실험에서 의미적 정확도 90.0%를 기록했다고 밝혔다. 다만 설정을 지나치게 공격적으로 적용하면 일반 지식이 크게 손실될 수 있다고 경고했다.
AWS의 SageMaker Python SDK 예제에서는 학습 방식을 전환할 때 설정을 교체한다 TrainingType.FULL 대신 TrainingType.LORA, 나머지 작업 구성은 그대로 둔다.
FFT는 모델의 모든 가중치를 업데이트한다. 반면 LoRA는 사전 학습된 가중치를 고정하고 저랭크 어댑터 행렬을 삽입한다. 이 방식은 GPU 용량 요구량을 줄이지만, 더 작은 표현 공간 안에서만 업데이트가 이뤄진다. AWS는 학습 가능한 매개변수 수만 늘리는 것이 아니라 데이터 세트가 커짐에 따라 더 복잡한 도메인 적응을 포착할 수 있다는 점을 전체 랭크 학습의 장점으로 설명한다.
통제된 코딩 테스트
AWS는 Qwen3-4B 기본 모델을 지도 미세 조정(SFT)하는 방식으로 두 방법을 비교했으며, 프롬프트와 목표값, 평가 코드는 동일하게 적용했다. Magicoder-Evol-Instruct-110K 데이터 세트에는 알고리즘 설계, 디버깅, 데이터 구조, 시스템 프로그래밍을 다루는 코딩 지시문과 응답 쌍이 포함됐다. 데이터를 나눠 학습에 99,000개, 검증에 5,500개, 별도로 보관한 테스트 세트에 5,500개를 할당했다.
평가에서는 과제 수행 능력과 지식 유지 능력을 구분했다. Amazon Nova Pro는 LLM 심사자 역할을 맡아 생성된 코드와 원래 프롬프트를 함께 읽고 논리적 정확성을 평가했다. PRIMECODE는 결정론적 BLEU, ROUGE-1/2/L, F1 지표로 참조 해답과의 유사도를 측정했고, MMLU는 57개 학문 분야에 걸쳐 일반 지식을 평가했다.
AWS에 따르면 의미적 정확도 점수는 3에포크에서 최고치를 기록했으며, 학습을 더 오래 진행하자 테스트한 모든 모델의 성능이 저하됐다. 레이더 차트 비교에서는 FFT가 모든 표시된 품질 차원에서 LoRA와 기본 모델을 앞섰고, 특히 BLEU와 ROUGE-2에서 격차가 가장 컸다. 이는 차이가 단일 지표에만 국한되지 않았음을 시사한다.
AWS는 여러 기본 모델을 대상으로 학습률, 배치 크기, 워밍업 비율, 에포크 수, 데이터 세트 규모를 달리해 맞춤화 실험을 수십 차례 진행했다고 밝혔다. 각 실험은 작업 제출부터 평가까지 몇 시간이 걸렸다. 실험 결과로 생성된 모델은 검토 또는 배포를 위해 SageMaker Model Registry에 버전이 지정된 Model Packages로 자동 등록됐다.
전체 미세 조정의 망각 위험
AWS는 FFT가 모든 상황에서 더 우수한 것은 아니라고 경고했다. FFT와 LoRA 모두 MATH 완전 일치도에서 기본 모델보다 낮은 성능을 보였고, 별도의 LLM 심사자 비교에서는 LoRA가 81.5%로 FFT의 79.5%보다 높은 점수를 받았다.
학습률을 지나치게 높이면 성능이 크게 저하됐다. AWS의 테스트에서는 학습률이 5e-5 이상일 때 MATH 점수가 2–3%로, MMLU 정확도가 3.6%로 떨어졌다. 이는 도메인 특화 학습이 사전 학습된 지식을 덮어써 더 폭넓은 능력을 잃는 치명적 망각의 증거다. 위험도 지도에서 AWS는 대규모 데이터 세트에 더 안전한 설정으로 2e-5를 제시했다. 테스트한 설정 가운데 이 학습률에 워밍업 5%와 전역 배치 크기 8을 적용한 기준 설정이 MMLU로 측정한 일반 지식을 가장 잘 보존했다.
배치 크기도 지식 유지에 영향을 미쳤다. 학습률을 고정했을 때 배치가 작으면 업데이트의 잡음이 커져 학습률을 높인 것과 비슷한 효과가 나타나고 망각 위험도 커졌다. 배치가 크면 잡음은 줄지만 최적화 단계 수도 감소해 모델이 충분히 학습되지 않을 수 있다.
배포 시 고려 사항
AWS의 지원 모델 목록에 따르면, DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B, NVIDIA Nemotron 3 Nano 30B (A3B) 등 개방형 가중치 모델에서 FFT를 사용한 SFT를 이용할 수 있다.
FFT 문서에 따르면 이 방법은 LoRA와 동일한 데이터 세트 형식을 사용하지만 더 많은 컴퓨팅 자원과 더 긴 학습 시간이 필요하다. 또한 전체 모델 가중치가 포함된 더 큰 산출물을 생성하며 지속적 맞춤화와 호환되지 않는다. 추론 시에는 어댑터 오버헤드가 사라진다.
서버리스 운영은 인프라를 할당하고 체크포인트를 관리하는 주체를 바꿀 뿐, 학습되는 가중치 수를 줄이지는 않는다. 따라서 이번 출시는 더 심층적인 맞춤화를 쉽게 실행할 수 있게 하지만, 컴퓨팅 비용과 품질 측면의 실익은 과제별 성능 향상이 더 큰 학습 부담과 폭넓은 능력의 손실 가능성을 상쇄하는지에 달려 있다.












