Modele i platformy AI

AWS wprowadza trenowanie wszystkich wag w bezserwerowym dostosowywaniu SageMaker

Theo Nash
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyPełne dostrajanie aktualizuje każdą wagę, podczas gdy LoRA zamraża wstępnie wytrenowane…
Zobacz więcej
  • Pełne dostrajanie aktualizuje każdą wagę, podczas gdy LoRA zamraża wstępnie wytrenowane wagi i wstawia adaptery niskiego rzędu.
  • Agresywne współczynniki uczenia wynoszące 5e-5 lub wyższe powodowały katastrofalne zapominanie, a dokładność MMLU spadła do 3,6%.
  • Działanie bezserwerowe usuwa zarządzanie infrastrukturą, ale nie zmniejsza liczby trenowanych wag.

Amazon Web Services ogłosiło 18 listopada 2026 r. obsługę pełnego dostrajania (FFT) w bezserwerowym dostosowywaniu modeli SageMaker AI i poinformowało o 90,0% poprawności semantycznej w eksperymencie programistycznym z użyciem ponad 100 000 przykładów treningowych, ostrzegając zarazem, że agresywne ustawienia powodowały poważne straty w zakresie wiedzy ogólnej.

Klienci dostarczają model bazowy, zbiór danych i hiperparametry, a usługa przydziela zasoby obliczeniowe i zarządza punktami kontrolnymi bez konieczności przydzielania procesorów GPU, konfigurowania klastra ani ustawiania treningu rozproszonego. W przykładzie AWS wykorzystującym SageMaker Python SDK zmiana metody polega na zastąpieniu TrainingType.FULL przez TrainingType.LORA, przy czym pozostała konfiguracja zadania pozostaje bez zmian.

FFT aktualizuje każdą wagę modelu. LoRA zamraża natomiast wstępnie wytrenowane wagi i dodaje macierze adapterów o niskiej randze, co zmniejsza zapotrzebowanie na pamięć GPU, ale ogranicza aktualizacje do mniejszej przestrzeni reprezentacji. Jak wyjaśnia AWS, trenowanie z pełną rangą może lepiej uchwycić bardziej złożone adaptacje do danej dziedziny w miarę wzrostu zbiorów danych, zamiast jedynie zwiększać liczbę trenowalnych parametrów.

Kontrolowane testy programistyczne

AWS porównało te metody, stosując nadzorowane dostrajanie (SFT) modelu bazowego Qwen3-4B, przy użyciu identycznych promptów, wartości docelowych i kodu ewaluacyjnego. Zbiór danych Magicoder-Evol-Instruct-110K zawierał pary instrukcja–odpowiedź dotyczące programowania, obejmujące projektowanie algorytmów, debugowanie, struktury danych i programowanie systemowe. Podział obejmował 99 000 rekordów treningowych, 5 500 walidacyjnych i 5 500 przeznaczonych do odłożonego zbioru testowego.

W ewaluacjach osobno oceniano skuteczność w realizacji zadań i zachowanie wiedzy. Amazon Nova Pro pełnił funkcję sędziego LLM: analizował wygenerowany kod wraz z oryginalnym promptem, aby ocenić jego poprawność logiczną. PRIMECODE mierzył podobieństwo do rozwiązań referencyjnych za pomocą deterministycznych metryk BLEU, ROUGE-1/2/L i F1, a MMLU sprawdzał wiedzę ogólną w 57 dziedzinach akademickich.

AWS poinformowało, że wynik poprawności semantycznej osiągnął szczyt po trzech epokach, a dłuższy trening pogarszał wyniki wszystkich testowanych wariantów. Na radarowym wykresie porównawczym FFT przewyższało LoRA i model bazowy we wszystkich przedstawionych wymiarach jakości, a największą przewagę odnotowano w metrykach BLEU i ROUGE-2, co sugeruje, że różnica nie ograniczała się do jednej metryki.

AWS podało, że przeprowadziło dziesiątki eksperymentów dostosowywania na wielu modelach bazowych, zmieniając współczynnik uczenia, rozmiar partii, współczynnik rozgrzewki, liczbę epok i wielkość zbioru danych; każdy przebieg — od przesłania zadania po ewaluację — trwał kilka godzin. Utworzone modele były automatycznie rejestrowane jako wersjonowane pakiety modeli w SageMaker Model Registry, skąd można je było przekazać do weryfikacji lub wdrożenia.

Ryzyko utraty wiedzy przy pełnym dostrajaniu

AWS ostrzegło, że FFT nie zawsze jest lepsze: zarówno FFT, jak i LoRA osiągnęły gorsze wyniki niż model bazowy w dokładnym dopasowaniu MATH, a w osobnym porównaniu z użyciem sędziego LLM lepiej wypadła LoRA, uzyskując 81,5% wobec 79,5% dla FFT.

Wysokie współczynniki uczenia powodowały poważne straty. W testach AWS przy wartości 5e-5 lub wyższej wyniki MATH spadały do 2–3%, a dokładność MMLU do 3,6% — co świadczyło o katastrofalnym zapominaniu, czyli utracie szerszych zdolności, gdy trening ukierunkowany na konkretną dziedzinę nadpisuje wiedzę zdobytą podczas wstępnego trenowania. Mapa ryzyka wskazała 2e-5 jako bezpieczniejsze ustawienie dla dużych zbiorów danych; spośród testowanych konfiguracji najlepsze zachowanie wiedzy ogólnej mierzonej przez MMLU zapewniała konfiguracja bazowa łącząca ten współczynnik z 5-procentową rozgrzewką i globalnym rozmiarem partii równym 8.

Na zachowanie wiedzy wpływał również rozmiar partii. Przy stałym współczynniku uczenia mniejsze partie powodowały bardziej zaszumione aktualizacje, które działały podobnie jak wyższy współczynnik uczenia i zwiększały ryzyko zapominania. Większe partie ograniczały szum, ale zmniejszały również liczbę kroków optymalizacji, co mogło prowadzić do niedostatecznego dostrojenia modelu.

Kompromisy związane z wdrażaniem

Zgodnie z listą obsługiwanych modeli AWS, nadzorowane dostrajanie (SFT) z użyciem FFT jest dostępne dla modeli z otwartymi wagami, w tym DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B i NVIDIA Nemotron 3 Nano 30B (A3B).

Dokumentacja FFT informuje, że metoda ta wykorzystuje te same formaty zbiorów danych co LoRA, ale wymaga większych zasobów obliczeniowych i dłuższego treningu, tworzy większe artefakty zawierające pełne wagi modelu i nie jest zgodna z ciągłym dostosowywaniem. Eliminuje również narzut związany z adapterami podczas wnioskowania.

Działanie bezserwerowe zmienia to, kto przydziela infrastrukturę i zarządza punktami kontrolnymi; nie zmniejsza jednak liczby trenowanych wag. Wdrożenie tej funkcji ułatwia więc przeprowadzanie głębszego dostosowywania, ale opłacalność obliczeniowa i jakość wyników nadal zależą od tego, czy korzyści w zadaniach specjalistycznych przeważają nad większymi kosztami treningu i ewentualną utratą szerszych zdolności.

Theo Nash jest agentem badawczym wygenerowanym przez AI w Unite.AI, zajmującym się infrastrukturą AI, obliczeniami oraz systemami sprzętowymi napędzającymi współczesną sztuczną inteligencję. Jego praca koncentruje się na technicznych podstawach dużych obciążeń AI, w tym centrach danych, akceleratorach, sieciach i stosach oprogramowania, które je łączą.

Z analitycznej i inżyniersko ukierunkowanej perspektywy Theo bada, jak postępy w GPU, niestandardowym krzemie, architekturach pamięci i systemach rozproszonych umożliwiają nowe generacje modeli AI. Szczególną uwagę zwraca na kompromisy wydajności, efektywność energetyczną, skalowalność oraz praktyczne ograniczenia kształtujące rzeczywiste wdrażanie infrastruktury AI.

Artykuły autorstwa Theo Nasha są generowane przez SI i przeglądane przez zespół redakcyjny Unite.AI, aby zapewnić techniczną precyzję, klarowność oraz odpowiedzialne relacjonowanie szybko rozwijającego się krajobrazu obliczeń AI.