Modely a platformy AI
AWS přináší úplné dolaďování všech vah do bezserverového přizpůsobování SageMakeru

Klíčové bodyPlné doladění aktualizuje každou váhu, zatímco LoRA zmrazí předtrénované váhy a vloží…
Zobrazit více
- Plné doladění aktualizuje každou váhu, zatímco LoRA zmrazí předtrénované váhy a vloží adaptéry s nízkou hodností.
- Agresivní míry učení 5e-5 nebo vyšší způsobily katastrofické zapomínání s přesností MMLU klesající na 3,6 %.
- Bezserverový provoz odstraňuje správu infrastruktury, ale nesnižuje počet trénovaných vah.
Společnost Amazon Web Services 18. listopadu 2026 oznámila podporu úplného dolaďování (FFT) v rámci bezserverového přizpůsobování modelů SageMaker AI a uvedla, že v experimentu s programováním dosáhla s využitím více než 100 000 tréninkových příkladů 90,0% sémantické správnosti. Zároveň upozornila, že agresivní nastavení vedla k výraznému zhoršení obecných znalostí.
Zákazníci zadají základní model, datovou sadu a hyperparametry; služba přidělí výpočetní kapacitu a spravuje kontrolní body, aniž by bylo nutné zajišťovat GPU, nastavovat cluster nebo konfigurovat distribuované trénování. V příkladu AWS pro SageMaker Python SDK znamená změna metody nahradit TrainingType.FULL za TrainingType.LORA, přičemž zbytek konfigurace úlohy zůstane beze změny.
FFT upravuje všechny váhy modelu. LoRA naproti tomu zmrazuje předtrénované váhy a vkládá matice adaptérů nízkého řádu. Tím snižuje nároky na kapacitu GPU, ale omezuje aktualizace na menší prostor reprezentací. AWS vysvětluje, že trénování s plnou hodností dokáže s rostoucími datovými sadami zachytit složitější přizpůsobení doméně, místo aby pouze zvyšovalo počet trénovatelných parametrů.
Kontrolované testy programování
AWS porovnala tyto metody pomocí supervidovaného dolaďování (SFT) základního modelu Qwen3-4B, přičemž použila totožné výzvy, cílové výstupy a vyhodnocovací kód. Datová sada Magicoder-Evol-Instruct-110K obsahovala dvojice instrukcí a odpovědí zaměřené na programování, které pokrývaly návrh algoritmů, ladění chyb, datové struktury a programování systémů. Při rozdělení dat bylo 99 000 záznamů určeno k trénování, 5 500 k validaci a 5 500 tvořilo vyhrazenou testovací sadu.
Při vyhodnocování se oddělovala výkonnost při plnění úloh od zachování znalostí. Roli hodnotitele LLM zastával Amazon Nova Pro, který spolu s původní výzvou analyzoval vygenerovaný kód a posuzoval jeho logickou správnost. PRIMECODE měřil podobnost s referenčními řešeními pomocí deterministických metrik BLEU, ROUGE-1/2/L a F1, zatímco MMLU testoval obecné znalosti v 57 akademických oborech.
AWS uvedla, že skóre sémantické správnosti dosáhlo maxima po třech epochách a že delší trénování zhoršilo výsledky všech testovaných variant. V radarovém srovnání FFT překonalo LoRA i základní model ve všech zobrazených dimenzích kvality, přičemž největší náskok mělo v metrikách BLEU a ROUGE-2. To naznačuje, že rozdíl se neomezoval na jedinou metriku.
AWS uvedla, že provedla desítky experimentů s přizpůsobováním několika základních modelů. Měnila při nich rychlost učení, velikost dávky, poměr zahřívání, počet epoch a rozsah datové sady; každý běh od odeslání úlohy po vyhodnocení trval několik hodin. Výsledné modely se automaticky registrovaly jako verzované balíčky modelů v SageMaker Model Registry, kde je bylo možné zkontrolovat nebo nasadit.
Rizika zapomínání při úplném dolaďování
AWS upozornila, že FFT nebylo ve všech případech lepší: FFT i LoRA dosáhly v přesném porovnání na úloze MATH horších výsledků než základní model a v samostatném srovnání metodou LLM jako hodnotitel zvítězila LoRA s výsledkem 81,5 % oproti 79,5 % u FFT.
Agresivní rychlosti učení vedly k výrazným ztrátám. Při rychlosti 5e-5 nebo vyšší kleslo v testech AWS skóre MATH na 2–3 % a přesnost MMLU na 3,6 %. To svědčí o katastrofickém zapomínání — ztrátě širších schopností, k níž dochází, když trénování zaměřené na konkrétní doménu přepíše předtrénované znalosti. Mapa rizik označila hodnotu 2e-5 za bezpečnější nastavení pro rozsáhlé datové sady; základní konfigurace kombinující tuto rychlost s 5% zahříváním a celkovou velikostí dávky 8 zachovala ze všech testovaných konfigurací nejlépe obecné znalosti měřené pomocí MMLU.
Na zachování znalostí měla vliv také velikost dávky. Při stejné rychlosti učení vytvářely menší dávky zašuměnější aktualizace, které se chovaly jako vyšší rychlost učení a zvyšovaly riziko zapomínání. Větší dávky omezily šum, ale zároveň snížily počet optimalizačních kroků, což mohlo vést k nedostatečnému natrénování modelu.
Kompromisy při nasazení
Podle seznamu podporovaných modelů AWS je SFT s FFT k dispozici pro modely s otevřenými vahami, včetně DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B a NVIDIA Nemotron 3 Nano 30B (A3B).
Dokumentace FFT uvádí, že tato metoda používá stejné formáty datových sad jako LoRA, vyžaduje však více výpočetního výkonu a delší trénování, vytváří větší výstupní artefakty obsahující všechny váhy modelu a není kompatibilní s průběžným přizpůsobováním. Zároveň při inferenci odstraňuje režii adaptérů.
Bezserverový provoz mění, kdo přiděluje infrastrukturu a spravuje kontrolní body; nesnižuje však počet trénovaných vah. Toto uvedení na trh tedy usnadňuje provádění hlubšího přizpůsobování, ekonomická stránka výpočetního výkonu a kvality však nadále závisí na tom, zda přínosy pro konkrétní úlohu převáží vyšší nároky na trénování a případnou ztrátu širších schopností.












