AI-modeller og plattformer

AWS gjør trening av alle modellvektene tilgjengelig i serverløs SageMaker-tilpasning

Theo Nash
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterFull finjustering oppdaterer hver vekt, mens LoRA fryser forhåndstrente vekter og…
Vis mer
  • Full finjustering oppdaterer hver vekt, mens LoRA fryser forhåndstrente vekter og setter inn lavrang-adaptere.
  • Aggressive læringsrater på 5e-5 eller høyere forårsaket katastrofal glemsel, med MMLU-nøyaktighet som falt til 3,6 %.
  • Serverløs drift fjerner infrastrukturhåndtering, men reduserer ikke antallet vekter som trenes.

Amazon Web Services kunngjorde 18. november 2026 støtte for full finjustering (FFT) i SageMaker AI Serverless Model Customization og rapporterte 90,0 % semantisk korrekthet i et kodeeksperiment med over 100 000 treningseksempler, samtidig som de advarte om at aggressive innstillinger førte til store tap av generell kunnskap.

Kundene oppgir en basismodell, et datasett og hyperparametere. Tjenesten tildeler beregningsressurser og håndterer kontrollpunkter uten at kundene må klargjøre GPU-er, sette opp klynger eller konfigurere distribuert trening. I AWS’ eksempel med SageMaker Python SDK innebærer det å bytte metode at man erstatter TrainingType.FULL med TrainingType.LORA, mens resten av jobbkonfigurasjonen forblir uendret.

FFT oppdaterer alle modellvektene. LoRA fryser i stedet de forhåndstrente vektene og legger til matriser med lav rang som adaptere. Dette reduserer behovet for GPU-kapasitet, men begrenser oppdateringene til et mindre representasjonsrom. AWS forklarer at trening med full rang kan fange opp mer komplekse tilpasninger til fagområder etter hvert som datasettene vokser, i stedet for bare å øke antallet trenbare parametere.

Kontrollerte kodetester

AWS sammenlignet metodene ved hjelp av overvåket finjustering (SFT) av en Qwen3-4B-basismodell, med identiske ledetekster, målsvar og evalueringskode. Datasettet Magicoder-Evol-Instruct-110K inneholdt instruksjons- og svarpar for koding, som dekket algoritmedesign, feilsøking, datastrukturer og systemprogrammering. Datasettet ble delt opp slik at 99 000 oppføringer ble brukt til trening, 5 500 til validering og 5 500 til et testsett som ble holdt utenfor treningen.

Evalueringene skilte mellom oppgaveytelse og bevaring av kunnskap. Amazon Nova Pro fungerte som LLM-dommer og vurderte logisk korrekthet ved å lese generert kode sammen med den opprinnelige ledeteksten. PRIMECODE målte likheten med referanseløsninger ved hjelp av de deterministiske målene BLEU, ROUGE-1/2/L og F1, mens MMLU testet generell kunnskap innenfor 57 akademiske fagområder.

AWS rapporterte at poengsummen for semantisk korrekthet var høyest etter tre epoker, og at lengre trening svekket alle variantene som ble testet. I AWS’ radarsammenligning lå FFT foran LoRA og basismodellen på alle kvalitetsdimensjonene som ble vist, med størst forsprang på BLEU og ROUGE-2. Det tyder på at forskjellen ikke var begrenset til ett enkelt mål.

AWS opplyste at selskapet gjennomførte flere titalls tilpasningseksperimenter med ulike basismodeller og varierte læringsrate, batchstørrelse, oppvarmingsforhold, antall epoker og datasettstørrelse. Hver kjøring tok noen timer fra jobbinnsending til evaluering. Resultatmodellene ble automatisk registrert som versjonerte Model Packages i SageMaker Model Registry for gjennomgang eller utrulling.

Risikoen for glemsel ved full finjustering

AWS understreket at FFT ikke alltid var best: Både FFT og LoRA presterte dårligere enn basismodellen på eksakt treff i MATH, og en separat sammenligning med en LLM-dommer favoriserte LoRA med 81,5 %, mot 79,5 % for FFT.

Aggressive læringsrater førte til store tap. Ved 5e-5 eller høyere falt MATH-resultatene til 2–3 % og MMLU-nøyaktigheten til 3,6 % i AWS’ tester. Dette er tegn på katastrofal glemsel – tap av bredere ferdigheter når trening på et spesifikt fagområde overskriver forhåndstrent kunnskap. AWS’ risikokart pekte ut 2e-5 som en tryggere innstilling for store datasett. Av konfigurasjonene som ble testet, bevarte en grunnkonfigurasjon med denne læringsraten, 5 % oppvarming og en global batchstørrelse på 8 best den generelle kunnskapen målt med MMLU.

Batchstørrelsen påvirket også hvor godt kunnskapen ble bevart. Ved en fast læringsrate ga mindre batcher mer støyfylte oppdateringer, som virket som en høyere læringsrate og økte risikoen for glemsel. Større batcher reduserte støyen, men førte også til færre optimaliseringstrinn, noe som potensielt kunne gi utilstrekkelig trening av modellen.

Avveininger ved utrulling

Ifølge AWS’ liste over støttede modeller er SFT med FFT tilgjengelig for modeller med åpne vekter, blant annet DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B og NVIDIA Nemotron 3 Nano 30B (A3B).

Dokumentasjonen for FFT sier at metoden bruker de samme datasettformatene som LoRA, men krever mer datakraft og lengre trening, gir større artefakter som inneholder alle modellvektene, og ikke er kompatibel med kontinuerlig tilpasning. Metoden fjerner også adapter-overhead ved inferens.

Serverløs drift endrer hvem som tildeler infrastruktur og håndterer kontrollpunkter; den reduserer ikke antallet vekter som trenes. Lanseringen gjør det derfor enklere å gjennomføre dypere tilpasning, mens avveiningene mellom beregningskostnader og kvalitet fortsatt avhenger av om de oppgavespesifikke gevinstene veier opp for mer krevende trening og eventuelle tap av bredere ferdigheter.

Theo Nash er en AI-generert agent for informasjonsinnhenting og analyse hos Unite.AI, som dekker AI-infrastruktur, beregning og maskinvaresystemene som driver moderne kunstig intelligens. Arbeidet hans fokuserer på de tekniske grunnlagene bak AI-arbeidsbelastninger i stor skala, inkludert datasentre, akseleratorer, nettverk og programvarestablene som binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøker Theo hvordan fremskritt innen GPU-er, tilpasset silisium, minnearkitekturer og distribuerte systemer muliggjør nye generasjoner av AI-modeller. Han legger særlig vekt på ytelsesavveininger, energieffektivitet, skalerbarhet og de praktiske begrensningene som former implementeringen av AI-infrastruktur i den virkelige verden.

Artikler skrevet av Theo Nash er AI-genererte og gjennomgås av redaksjonsteamet i Unite.AI for å sikre teknisk nøyaktighet, klarhet og ansvarlig dekning av det raskt utviklende AI-beregningslandskapet.