AI-modeller och plattformar
AWS inför träning med fullständiga vikter för anpassning av serverlösa SageMaker-modeller

Viktiga punkterFull finjustering uppdaterar varje vikt medan LoRA fryser förtränade vikter och infogar…
Visa mer
- Full finjustering uppdaterar varje vikt medan LoRA fryser förtränade vikter och infogar lågrankade adaptrar.
- Aggressiva inlärningshastigheter på 5e-5 eller högre orsakade katastrofal glömska med MMLU-noggrannhet som föll till 3,6 %.
- Serverlös drift tar bort infrastrukturhantering men minskar inte antalet vikter som tränas.
Amazon Web Services meddelade den 18 november 2026 att stöd för fullständig finjustering (FFT) införs i SageMaker AI Serverless Model Customization. Företaget rapporterade 90,0 % semantisk korrekthet i ett kodningsexperiment med över 100 000 träningsexempel, samtidigt som det varnade för att aggressiva inställningar ledde till kraftiga förluster av allmänkunskap.
Kunderna anger en basmodell, en datamängd och hyperparametrar. Tjänsten tilldelar beräkningsresurser och hanterar kontrollpunkter utan att användarna behöver tillhandahålla GPU-resurser, konfigurera kluster eller ställa in distribuerad träning. I AWS exempel med SageMaker Python SDK innebär det att byta metod att ersätta TrainingType.FULL med TrainingType.LORA, medan resten av jobbkonfigurationen lämnas oförändrad.
FFT uppdaterar alla modellvikter. LoRA fryser i stället de förtränade vikterna och lägger till adaptermatriser med låg rang. Det minskar kraven på GPU-kapacitet, men begränsar uppdateringarna till ett mindre representativt utrymme. Enligt AWS förklaring kan träning med full rang fånga upp mer komplexa domänanpassningar i takt med att datamängderna växer, i stället för att bara öka antalet träningsbara parametrar.
Kontrollerade kodningstester
AWS jämförde metoderna genom övervakad finjustering (SFT) av basmodellen Qwen3-4B, med identiska promptar, målsvar och utvärderingskod. Datamängden Magicoder-Evol-Instruct-110K innehöll par med kodningsinstruktioner och svar inom algoritmdesign, felsökning, datastrukturer och systemprogrammering. Uppdelningen omfattade 99 000 poster för träning, 5 500 för validering och 5 500 i en separat testmängd.
Utvärderingarna skilde mellan uppgiftsprestanda och bevarande av kunskap. Amazon Nova Pro användes som LLM-domare och bedömde den genererade koden tillsammans med den ursprungliga prompten för att avgöra om resonemanget var logiskt korrekt. PRIMECODE mätte likheten med referenslösningar med deterministiska mått för BLEU, ROUGE-1/2/L och F1, medan MMLU testade allmänkunskap inom 57 akademiska ämnen.
AWS rapporterade att poängen för semantisk korrekthet nådde sin topp efter tre epoker och att längre träning försämrade samtliga testade varianter. I AWS radardiagram låg FFT före LoRA och basmodellen i alla visade kvalitetsdimensioner, med störst försprång för BLEU och ROUGE-2. Det tyder på att skillnaden inte var begränsad till ett enda mått.
AWS uppgav att företaget genomförde tiotals anpassningsexperiment med flera basmodeller och varierade inlärningshastighet, batchstorlek, uppvärmningskvot, antal epoker och datamängdens storlek. Varje körning, från att jobbet skickades in till att det utvärderades, tog några timmar. De resulterande modellerna registrerades automatiskt som versionshanterade modellpaket i SageMaker Model Registry för granskning eller driftsättning.
Risk för kunskapsförlust vid fullständig finjustering
AWS varnade för att FFT inte alltid var överlägset: både FFT och LoRA presterade sämre än basmodellen vid exakt matchning på MATH, och i en separat jämförelse där en LLM agerade domare fick LoRA högre resultat, 81,5 %, jämfört med 79,5 % för FFT.
Aggressiva inlärningshastigheter ledde till kraftiga förluster. Vid 5e-5 eller högre sjönk MATH-resultaten till 2–3 % och träffsäkerheten på MMLU till 3,6 % i AWS tester. Det är ett tecken på katastrofal glömska – förlusten av bredare förmågor när domänspecifik träning skriver över förtränad kunskap. AWS riskkarta pekade ut 2e-5 som en säkrare inställning för stora datamängder. Av de testade konfigurationerna bevarade en baslinje med den inlärningshastigheten, 5 % uppvärmning och en global batchstorlek på 8 allmänkunskapen bäst, enligt MMLU-mätningen.
Batchstorleken påverkade också hur väl kunskapen bevarades. Vid en fast inlärningshastighet gav mindre batchar brusigare uppdateringar, som betedde sig som en högre inlärningshastighet och ökade risken för glömska. Större batchar minskade bruset men också antalet optimeringssteg, vilket kunde leda till att modellen inte tränades tillräckligt.
Avvägningar vid driftsättning
Enligt AWS lista över modeller som stöds är SFT med FFT tillgängligt för modeller med öppna vikter, däribland DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B och NVIDIA Nemotron 3 Nano 30B (A3B).
Dokumentationen för FFT anger att metoden använder samma format för datamängder som LoRA, men kräver mer beräkningskraft och längre träning. Den producerar större artefakter som innehåller samtliga modellvikter och är inte kompatibel med kontinuerlig anpassning. Metoden eliminerar också den extra belastning som adaptrar medför vid inferens.
Serverlös drift förändrar vem som tilldelar infrastrukturen och hanterar kontrollpunkterna, men minskar inte antalet vikter som tränas. Lanseringen gör det därför enklare att genomföra mer djupgående anpassning, men avvägningen mellan beräkningskostnad och kvalitet beror fortfarande på om de uppgiftsspecifika vinsterna väger upp den mer omfattande träningen och eventuell förlust av bredare förmågor.












