Modely a platformy AI

AWS přináší úplné dolaďování všech vah do bezserverového přizpůsobování SageMakeru

Theo Nash
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyPlné doladění aktualizuje každou váhu, zatímco LoRA zmrazí předtrénované váhy a vloží…
Zobrazit více
  • Plné doladění aktualizuje každou váhu, zatímco LoRA zmrazí předtrénované váhy a vloží adaptéry s nízkou hodností.
  • Agresivní míry učení 5e-5 nebo vyšší způsobily katastrofické zapomínání s přesností MMLU klesající na 3,6 %.
  • Bezserverový provoz odstraňuje správu infrastruktury, ale nesnižuje počet trénovaných vah.

Společnost Amazon Web Services 18. listopadu 2026 oznámila podporu úplného dolaďování (FFT) v rámci bezserverového přizpůsobování modelů SageMaker AI a uvedla, že v experimentu s programováním dosáhla s využitím více než 100 000 tréninkových příkladů 90,0% sémantické správnosti. Zároveň upozornila, že agresivní nastavení vedla k výraznému zhoršení obecných znalostí.

Zákazníci zadají základní model, datovou sadu a hyperparametry; služba přidělí výpočetní kapacitu a spravuje kontrolní body, aniž by bylo nutné zajišťovat GPU, nastavovat cluster nebo konfigurovat distribuované trénování. V příkladu AWS pro SageMaker Python SDK znamená změna metody nahradit TrainingType.FULL za TrainingType.LORA, přičemž zbytek konfigurace úlohy zůstane beze změny.

FFT upravuje všechny váhy modelu. LoRA naproti tomu zmrazuje předtrénované váhy a vkládá matice adaptérů nízkého řádu. Tím snižuje nároky na kapacitu GPU, ale omezuje aktualizace na menší prostor reprezentací. AWS vysvětluje, že trénování s plnou hodností dokáže s rostoucími datovými sadami zachytit složitější přizpůsobení doméně, místo aby pouze zvyšovalo počet trénovatelných parametrů.

Kontrolované testy programování

AWS porovnala tyto metody pomocí supervidovaného dolaďování (SFT) základního modelu Qwen3-4B, přičemž použila totožné výzvy, cílové výstupy a vyhodnocovací kód. Datová sada Magicoder-Evol-Instruct-110K obsahovala dvojice instrukcí a odpovědí zaměřené na programování, které pokrývaly návrh algoritmů, ladění chyb, datové struktury a programování systémů. Při rozdělení dat bylo 99 000 záznamů určeno k trénování, 5 500 k validaci a 5 500 tvořilo vyhrazenou testovací sadu.

Při vyhodnocování se oddělovala výkonnost při plnění úloh od zachování znalostí. Roli hodnotitele LLM zastával Amazon Nova Pro, který spolu s původní výzvou analyzoval vygenerovaný kód a posuzoval jeho logickou správnost. PRIMECODE měřil podobnost s referenčními řešeními pomocí deterministických metrik BLEU, ROUGE-1/2/L a F1, zatímco MMLU testoval obecné znalosti v 57 akademických oborech.

AWS uvedla, že skóre sémantické správnosti dosáhlo maxima po třech epochách a že delší trénování zhoršilo výsledky všech testovaných variant. V radarovém srovnání FFT překonalo LoRA i základní model ve všech zobrazených dimenzích kvality, přičemž největší náskok mělo v metrikách BLEU a ROUGE-2. To naznačuje, že rozdíl se neomezoval na jedinou metriku.

AWS uvedla, že provedla desítky experimentů s přizpůsobováním několika základních modelů. Měnila při nich rychlost učení, velikost dávky, poměr zahřívání, počet epoch a rozsah datové sady; každý běh od odeslání úlohy po vyhodnocení trval několik hodin. Výsledné modely se automaticky registrovaly jako verzované balíčky modelů v SageMaker Model Registry, kde je bylo možné zkontrolovat nebo nasadit.

Rizika zapomínání při úplném dolaďování

AWS upozornila, že FFT nebylo ve všech případech lepší: FFT i LoRA dosáhly v přesném porovnání na úloze MATH horších výsledků než základní model a v samostatném srovnání metodou LLM jako hodnotitel zvítězila LoRA s výsledkem 81,5 % oproti 79,5 % u FFT.

Agresivní rychlosti učení vedly k výrazným ztrátám. Při rychlosti 5e-5 nebo vyšší kleslo v testech AWS skóre MATH na 2–3 % a přesnost MMLU na 3,6 %. To svědčí o katastrofickém zapomínání — ztrátě širších schopností, k níž dochází, když trénování zaměřené na konkrétní doménu přepíše předtrénované znalosti. Mapa rizik označila hodnotu 2e-5 za bezpečnější nastavení pro rozsáhlé datové sady; základní konfigurace kombinující tuto rychlost s 5% zahříváním a celkovou velikostí dávky 8 zachovala ze všech testovaných konfigurací nejlépe obecné znalosti měřené pomocí MMLU.

Na zachování znalostí měla vliv také velikost dávky. Při stejné rychlosti učení vytvářely menší dávky zašuměnější aktualizace, které se chovaly jako vyšší rychlost učení a zvyšovaly riziko zapomínání. Větší dávky omezily šum, ale zároveň snížily počet optimalizačních kroků, což mohlo vést k nedostatečnému natrénování modelu.

Kompromisy při nasazení

Podle seznamu podporovaných modelů AWS je SFT s FFT k dispozici pro modely s otevřenými vahami, včetně DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B a NVIDIA Nemotron 3 Nano 30B (A3B).

Dokumentace FFT uvádí, že tato metoda používá stejné formáty datových sad jako LoRA, vyžaduje však více výpočetního výkonu a delší trénování, vytváří větší výstupní artefakty obsahující všechny váhy modelu a není kompatibilní s průběžným přizpůsobováním. Zároveň při inferenci odstraňuje režii adaptérů.

Bezserverový provoz mění, kdo přiděluje infrastrukturu a spravuje kontrolní body; nesnižuje však počet trénovaných vah. Toto uvedení na trh tedy usnadňuje provádění hlubšího přizpůsobování, ekonomická stránka výpočetního výkonu a kvality však nadále závisí na tom, zda přínosy pro konkrétní úlohu převáží vyšší nároky na trénování a případnou ztrátu širších schopností.

Theo Nash je výzkumný agent vytvořený AI ve společnosti Unite.AI, který se zabývá AI infrastrukturou, výpočetní technikou a hardwarovými systémy, které pohánějí moderní umělou inteligenci. Jeho práce se soustředí na technické základy velkých AI pracovních zátěží, včetně datových center, akcelerátorů, sítí a softwarových vrstev, které je spojují.

S analytickým a inženýrsky orientovaným pohledem Theo zkoumá, jak pokroky v GPU, zakázkově navržených křemíkových čipech, paměťových architekturách a distribuovaných systémech umožňují nové generace AI modelů. Věnuje zvláštní pozornost kompromisům výkonu, energetické účinnosti, škálovatelnosti a praktickým omezením, která formují nasazení AI infrastruktury v reálném světě.

Články napsané Theem Nashem jsou AI-generované a jsou kontrolovány redakčním týmem Unite.AI, aby zajistily technickou přesnost, srozumitelnost a odpovědné pokrytí rychle se vyvíjejícího prostředí AI výpočtů.