Modele și platforme AI
AWS aduce antrenarea cu ponderi complete în personalizarea fără servere SageMaker

Puncte cheieFine-tuningul complet actualizează fiecare pondere, în timp ce LoRA îngheață ponderile…
Vezi mai mult
- Fine-tuningul complet actualizează fiecare pondere, în timp ce LoRA îngheață ponderile preantrenate și inserează adaptoare de rang redus.
- Ratele de învățare agresive de 5e-5 sau mai mari au cauzat uitare catastrofală, cu acuratețea MMLU scăzând la 3,6%.
- Operarea serverless elimină gestionarea infrastructurii, dar nu reduce numărul de ponderi care sunt antrenate.
Amazon Web Services a anunțat pe 18 noiembrie 2026 suportul pentru reglarea fină completă (FFT) în SageMaker AI Serverless Model Customization și a raportat o corectitudine semantică de 90,0% într-un experiment de programare care a folosit peste 100.000 de exemple de antrenare, avertizând totodată că setările agresive au provocat pierderi severe de cunoștințe generale.
Clienții furnizează un model de bază, un set de date și hiperparametri; serviciul alocă resurse de calcul și gestionează punctele de control, fără a necesita alocarea de GPU-uri, configurarea unui cluster sau configurarea antrenării distribuite. În exemplul din AWS SageMaker Python SDK, schimbarea metodei presupune înlocuirea TrainingType.FULL cu TrainingType.LORA, lăsând neschimbată restul configurației sarcinii.
FFT actualizează fiecare pondere a modelului. În schimb, LoRA păstrează fixe ponderile preantrenate și introduce matrici adaptoare de rang redus, ceea ce reduce necesarul de capacitate GPU, dar limitează actualizările la un spațiu de reprezentare mai restrâns. Explicația AWS este că antrenarea de rang complet poate surprinde adaptări mai complexe la domeniu pe măsură ce seturile de date cresc, în loc să mărească pur și simplu numărul de parametri antrenabili.
Teste de programare controlate
AWS a comparat metodele folosind reglarea fină supravegheată (SFT) a unui model de bază Qwen3-4B, cu prompturi, ținte și cod de evaluare identice. Setul de date Magicoder-Evol-Instruct-110K a furnizat perechi de instrucțiuni și răspunsuri pentru programare, care acopereau proiectarea algoritmilor, depanarea, structurile de date și programarea sistemelor. Împărțirea a alocat 99.000 de înregistrări pentru antrenare, 5.500 pentru validare și 5.500 pentru un set de testare rezervat.
Evaluările au separat performanța la sarcini de păstrarea cunoștințelor. Amazon Nova Pro a fost folosit ca evaluator LLM, analizând codul generat împreună cu promptul inițial pentru a-i evalua corectitudinea logică. PRIMECODE a măsurat similaritatea cu soluțiile de referință prin metricile deterministe BLEU, ROUGE-1/2/L și F1, în timp ce MMLU a testat cunoștințele generale în 57 de discipline universitare.
AWS a raportat că scorul de corectitudine semantică a atins valoarea maximă după trei epoci și că antrenarea prelungită a degradat fiecare variantă testată. Comparația radar a plasat FFT înaintea LoRA și a modelului de bază pe toate dimensiunile de calitate prezentate, cu cele mai mari diferențe la BLEU și ROUGE-2, sugerând că avantajul nu se limita la o singură metrică.
AWS a declarat că a derulat zeci de experimente de personalizare cu mai multe modele de bază, variind rata de învățare, dimensiunea lotului, proporția de încălzire, numărul de epoci și dimensiunea setului de date; fiecare rulare, de la trimiterea sarcinii până la evaluare, a durat câteva ore. Modelele rezultate au fost înregistrate automat ca pachete de modele cu versiuni în SageMaker Model Registry, pentru a fi examinate sau implementate.
Riscurile uitării în reglarea fină completă
AWS a avertizat că FFT nu este superioară în toate situațiile: atât FFT, cât și LoRA au avut rezultate mai slabe decât modelul de bază la potrivirea exactă MATH, iar o comparație separată bazată pe evaluarea de către un LLM a favorizat LoRA, cu 81,5%, față de 79,5% pentru FFT.
Ratele de învățare agresive au provocat pierderi severe. În testele AWS, la 5e-5 sau mai mult, scorurile MATH au scăzut la 2–3%, iar acuratețea MMLU la 3,6%, semn al uitării catastrofale — pierderea capacităților generale atunci când antrenarea specifică unui domeniu suprascrie cunoștințele preantrenate. Harta riscurilor a identificat 2e-5 drept o valoare mai sigură pentru seturile de date mari; dintre configurațiile testate, valoarea de referință care combina această rată cu o perioadă de încălzire de 5% și o dimensiune globală a lotului de 8 a păstrat cel mai bine cunoștințele generale, potrivit măsurătorilor MMLU.
Dimensiunea lotului a influențat, de asemenea, păstrarea cunoștințelor. La o rată de învățare fixă, loturile mai mici au generat actualizări mai zgomotoase, care s-au comportat ca și cum rata de învățare ar fi fost mai mare, sporind riscul de uitare. Loturile mai mari au redus zgomotul, dar au redus și numărul pașilor de optimizare, ceea ce putea duce la subantrenarea modelului.
Compromisuri în implementare
Potrivit listei de modele acceptate de AWS, SFT cu FFT este disponibilă pentru modele cu ponderi deschise, inclusiv DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B și NVIDIA Nemotron 3 Nano 30B (A3B).
Potrivit documentației FFT, metoda folosește aceleași formate de seturi de date ca LoRA, dar necesită mai multe resurse de calcul și o perioadă mai lungă de antrenare, produce artefacte mai mari care conțin toate ponderile modelului și nu este compatibilă cu personalizarea continuă. De asemenea, elimină costurile suplimentare asociate adaptoarelor în etapa de inferență.
Operarea fără servere schimbă cine alocă infrastructura și gestionează punctele de control; nu reduce numărul de ponderi antrenate. Prin urmare, lansarea facilitează executarea unei personalizări mai aprofundate, însă raportul dintre costurile de calcul și calitate depinde în continuare de măsura în care câștigurile specifice sarcinii compensează antrenarea mai solicitantă și eventuala pierdere a capacităților generale.












