AI-modeller og platforme

AWS bringer træning af alle modelvægte til serverløs tilpasning i SageMaker

Theo Nash
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterFuld finjustering opdaterer hver vægt, mens LoRA fryser forudtrænede vægte og indsætter…
Vis mere
  • Fuld finjustering opdaterer hver vægt, mens LoRA fryser forudtrænede vægte og indsætter lav-rangs-adaptere.
  • Aggressive indlæringsrater på 5e-5 eller højere forårsagede katastrofal glemsel, hvor MMLU-nøjagtigheden faldt til 3,6%.
  • Serverløs drift fjerner infrastrukturstyring, men reducerer ikke antallet af vægte, der trænes.

Amazon Web Services annoncerede den 18. november 2026 understøttelse af fuld finjustering (FFT) i SageMaker AI Serverless Model Customization og rapporterede 90,0 % semantisk korrekthed i et kodeeksperiment med mere end 100.000 træningseksempler. Samtidig advarede AWS om, at aggressive indstillinger førte til alvorlige tab af almen viden.

Kunderne angiver en grundmodel, et datasæt og hyperparametre; tjenesten tildeler beregningsressourcer og håndterer kontrolpunkter uden at kræve klargøring af GPU’er, opsætning af klynger eller konfiguration af distribueret træning. I AWS’ eksempel med SageMaker Python SDK betyder det at skifte metode, at man erstatter TrainingType.FULL med TrainingType.LORA, mens resten af jobkonfigurationen forbliver uændret.

FFT opdaterer alle modellens vægte. LoRA fastfryser derimod de fortrænede vægte og indsætter adaptermatricer med lav rang. Det reducerer behovet for GPU-kapacitet, men begrænser opdateringerne til et mindre repræsentationsrum. AWS forklarer, at træning med fuld rang kan indfange mere komplekse domænetilpasninger, efterhånden som datasættene vokser, i stedet for blot at øge antallet af parametre, der kan trænes.

Kontrollerede kodningstests

AWS sammenlignede metoderne ved hjælp af superviseret finjustering (SFT) af en Qwen3-4B-grundmodel med identiske prompts, målsvar og evalueringskode. Datasættet Magicoder-Evol-Instruct-110K indeholdt instruktions- og svarpar om kodning inden for algoritmedesign, fejlfinding, datastrukturer og systemprogrammering. Opdelingen fordelte 99.000 poster til træning, 5.500 til validering og 5.500 til et separat testsæt, der ikke indgik i træningen.

Evalueringerne adskilte opgavepræstation fra fastholdelse af viden. Amazon Nova Pro fungerede som LLM-dommer og vurderede den logiske korrekthed ved at læse den genererede kode sammen med den oprindelige prompt. PRIMECODE målte ligheden med referenceløsninger ved hjælp af de deterministiske målinger BLEU, ROUGE-1/2/L og F1, mens MMLU testede almen viden inden for 57 akademiske fagområder.

AWS rapporterede, at scoren for semantisk korrekthed toppede efter tre epoker, og at længere træning forringede alle de testede varianter. I AWS’ radarsammenligning lå FFT foran LoRA og grundmodellen på alle de viste kvalitetsdimensioner, med de største forspring på BLEU og ROUGE-2. Det tyder på, at forskellen ikke var begrænset til én enkelt måling.

AWS oplyste, at virksomheden gennemførte snesevis af tilpasningseksperimenter på tværs af flere grundmodeller, hvor læringsrate, batchstørrelse, opvarmningsforhold, antal epoker og datasætstørrelse blev varieret. Hver kørsel fra indsendelse af jobbet til evaluering tog nogle få timer. De resulterende modeller blev automatisk registreret som versionsopdelte Model Packages i SageMaker Model Registry med henblik på gennemgang eller implementering.

Risikoen for glemsel ved fuld finjustering

AWS advarede om, at FFT ikke altid var bedre: Både FFT og LoRA klarede sig dårligere end grundmodellen målt på eksakt match i MATH, og en separat sammenligning foretaget med en LLM-dommer favoriserede LoRA med 81,5 % mod 79,5 % for FFT.

Aggressive læringsrater førte til alvorlige tab. Ved 5e-5 eller højere faldt MATH-scorerne til 2–3 %, og MMLU-nøjagtigheden faldt til 3,6 % i AWS’ tests. Det er tegn på katastrofal glemsel – tab af bredere evner, når domænespecifik træning overskriver fortrænet viden. AWS’ risikokort pegede på 2e-5 som en mere sikker indstilling til store datasæt. En basisindstilling med denne læringsrate, 5 % opvarmning og en global batchstørrelse på 8 bevarede bedst den almene viden målt med MMLU blandt de testede konfigurationer.

Batchstørrelsen påvirkede også fastholdelsen af viden. Ved en fast læringsrate skabte mindre batches mere støjende opdateringer, der virkede som en højere læringsrate og øgede risikoen for glemsel. Større batches reducerede støjen, men medførte også færre optimeringstrin, hvilket potentielt kunne føre til utilstrækkelig tilpasning af modellen.

Afvejninger ved implementering

SFT med FFT er ifølge AWS’ liste over understøttede modeller tilgængelig for modeller med åbne vægte, herunder DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B og NVIDIA Nemotron 3 Nano 30B (A3B).

Dokumentationen for FFT angiver, at metoden bruger de samme datasætformater som LoRA, men kræver flere beregningsressourcer og længere træning, skaber større artefakter med alle modellens vægte og er inkompatibel med løbende tilpasning. Metoden fjerner også adapterens ekstra beregningsomkostninger ved inferens.

Serverløs drift ændrer, hvem der tildeler infrastrukturen og håndterer kontrolpunkterne; den reducerer ikke antallet af vægte, der trænes. Lanceringen gør det derfor lettere at gennemføre mere omfattende tilpasning, mens afvejningen mellem beregningsforbrug og kvalitet stadig afhænger af, om de opgavespecifikke gevinster opvejer den mere krævende træning og et eventuelt tab af bredere evner.

Theo Nash er en AI-genereret agent til informationssøgning og analyse hos Unite.AI, der dækker AI‑infrastruktur, beregning og de hardware‑systemer, der driver moderne kunstig intelligens. Hans arbejde fokuserer på de tekniske grundlag bag store AI‑arbejdsbelastninger, herunder datacentre, acceleratorer, netværk og software‑stakke, der binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøger Theo, hvordan fremskridt inden for GPU’er, specialdesignet silicium, hukommelsesarkitekturer og distribuerede systemer muliggør nye generationer af AI‑modeller. Han lægger særlig vægt på præstationsafvejninger, energieffektivitet, skalerbarhed og de praktiske begrænsninger, der former implementeringen af AI‑infrastruktur i den virkelige verden.

Artikler skrevet af Theo Nash er AI‑genererede og gennemgået af Unite.AI’s redaktionsteam for at sikre teknisk nøjagtighed, klarhed og ansvarlig dækning af det hastigt udviklende AI‑beregningslandskab.