AI-modellen en platforms
AWS brengt training met alle modelgewichten naar serverloze SageMaker-aanpassing

Belangrijkste puntenVolledige fine-tuning werkt elk gewicht bij, terwijl LoRA de vooraf getrainde gewichten…
Meer weergeven
- Volledige fine-tuning werkt elk gewicht bij, terwijl LoRA de vooraf getrainde gewichten bevriest en adapters met lage rang invoegt.
- Agressieve leersnelheden van 5e-5 of hoger veroorzaakten catastrofaal vergeten, waarbij de MMLU-nauwkeurigheid daalde tot 3,6%.
- Serverloze werking verwijdert infrastructuurbeheer, maar vermindert niet het aantal gewichten dat wordt getraind.
Amazon Web Services kondigde op 18 november 2026 ondersteuning aan voor volledige fine-tuning (FFT) in SageMaker AI Serverless Model Customization. Ook meldde het bedrijf een semantische correctheid van 90,0% in een codeerexperiment met meer dan 100.000 trainingsvoorbeelden, met de waarschuwing dat agressieve instellingen tot groot verlies van algemene kennis leidden.
Klanten leveren een basismodel, dataset en hyperparameters aan; de dienst wijst rekenkracht toe en beheert controlepunten, zonder dat GPU’s hoeven te worden ingericht, clusters hoeven te worden opgezet of configuratie voor gedistribueerde training nodig is. In het voorbeeld van AWS met de SageMaker Python SDK betekent overstappen op een andere methode dat je TrainingType.FULL vervangt door TrainingType.LORA, terwijl de rest van de taakconfiguratie ongewijzigd blijft.
FFT past alle modelgewichten aan. LoRA bevriest daarentegen de vooraf getrainde gewichten en voegt adaptermatrices met een lage rang toe. Daardoor zijn minder GPU-capaciteitseisen nodig, maar blijven de aanpassingen beperkt tot een kleinere representatieruimte. AWS legt uit dat training met volledige rang complexere aanpassingen aan een domein kan vastleggen naarmate datasets groeien, in plaats van alleen het aantal trainbare parameters te verhogen.
Gecontroleerde coderingstests
AWS vergeleek de methoden aan de hand van supervised fine-tuning (SFT) van een Qwen3-4B-basismodel, met identieke prompts, doeluitvoer en evaluatiecode. De dataset Magicoder-Evol-Instruct-110K bevatte paren van codeerinstructies en antwoorden over algoritmeontwerp, foutopsporing, datastructuren en systeemprogrammering. De dataset werd opgesplitst in 99.000 records voor training, 5.500 voor validatie en 5.500 voor een apart gehouden testset.
Bij de evaluaties werden taakprestaties en kennisbehoud afzonderlijk beoordeeld. Amazon Nova Pro trad op als LLM-beoordelaar en bekeek de gegenereerde code samen met de oorspronkelijke prompt om de logische juistheid te beoordelen. PRIMECODE mat de gelijkenis met referentieoplossingen aan de hand van deterministische BLEU-, ROUGE-1/2/L- en F1-metingen, terwijl MMLU algemene kennis toetste op 57 academische vakgebieden.
AWS meldde dat de score voor semantische correctheid na drie epochs piekte en dat langer trainen de prestaties van elke geteste variant verslechterde. In de radardiagramvergelijking scoorde FFT op elke weergegeven kwaliteitsdimensie hoger dan LoRA en het basismodel, met de grootste voorsprong op BLEU en ROUGE-2. Dat wijst erop dat het verschil niet beperkt bleef tot één meetwaarde.
AWS zei tientallen aanpassingsexperimenten te hebben uitgevoerd met meerdere basismodellen, waarbij de leersnelheid, batchgrootte, warm-upratio, het aantal epochs en de datasetomvang varieerden. Elke uitvoering, van het indienen van de taak tot de evaluatie, duurde enkele uren. De resulterende modellen werden automatisch met versienummers geregistreerd als Model Packages in SageMaker Model Registry, zodat ze konden worden beoordeeld of ingezet.
Risico op kennisverlies bij volledige fine-tuning
AWS waarschuwde dat FFT niet in alle gevallen beter was: zowel FFT als LoRA presteerden op exact match voor MATH slechter dan het basismodel, en in een afzonderlijke vergelijking waarbij een LLM als beoordelaar optrad, kreeg LoRA met 81,5% de voorkeur boven FFT met 79,5%.
Agressieve leersnelheden leidden tot ernstige verliezen. Bij 5e-5 of hoger daalden de MATH-scores in de tests van AWS naar 2–3% en de MMLU-nauwkeurigheid naar 3,6%. Dat wijst op catastrofaal vergeten: het verlies van bredere vaardigheden wanneer domeinspecifieke training eerder verworven kennis overschrijft. Volgens de risicokaart van AWS was 2e-5 een veiligere instelling voor grote datasets. Van de geteste configuraties behield een basisconfiguratie met die leersnelheid, een warm-up van 5% en een globale batchgrootte van 8 de algemene kennis volgens MMLU het best.
Ook de batchgrootte was van invloed op kennisbehoud. Bij een vaste leersnelheid zorgden kleinere batches voor meer ruis in de updates, waardoor die zich gedroegen alsof de leersnelheid hoger was en het risico op vergeten toenam. Grotere batches verminderden de ruis, maar leidden ook tot minder optimalisatiestappen, waardoor het model mogelijk onvoldoende werd getraind.
Afwegingen bij de inzet
Volgens de lijst met ondersteunde modellen van AWS is SFT met FFT beschikbaar voor modellen met open gewichten, waaronder DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B en NVIDIA Nemotron 3 Nano 30B (A3B).
Volgens de FFT-documentatie gebruikt deze methode dezelfde datasetindelingen als LoRA, maar vereist ze meer rekenkracht en langere training. Ook levert ze grotere bestanden op met de volledige modelgewichten en is ze niet compatibel met doorlopende aanpassing. Daarnaast vervalt de overhead van adapters tijdens inferentie.
Serverloze uitvoering verandert wie de infrastructuur toewijst en controlepunten beheert; het vermindert niet het aantal gewichten dat wordt getraind. Dankzij deze introductie is diepgaandere aanpassing dus eenvoudiger uit te voeren, maar de verhouding tussen rekenkosten en kwaliteit blijft afhangen van de vraag of de taakspecifieke winst opweegt tegen de zwaardere training en eventueel verlies van bredere vaardigheden.












