Моделі та платформи ШІ
AWS додає навчання з оновленням усіх ваг до безсерверного налаштування SageMaker

Ключові моментиПовне донавчання оновлює кожну вагу, тоді як LoRA заморожує попередньо навчені ваги та…
Показати більше
- Повне донавчання оновлює кожну вагу, тоді як LoRA заморожує попередньо навчені ваги та вставляє низькорангові адаптери.
- Агресивні швидкості навчання 5e-5 або вищі спричинили катастрофічне забування, і точність MMLU впала до 3,6%.
- Безсерверна робота усуває управління інфраструктурою, але не зменшує кількість ваг, які навчаються.
Amazon Web Services оголосила 18 листопада 2026 року про підтримку повного донавчання (FFT) у сервісі безсерверного налаштування моделей SageMaker AI та повідомила про 90,0% семантичної коректності в експерименті з програмування, проведеному на понад 100 000 навчальних прикладів. Водночас компанія застерегла, що агресивні параметри призводили до значних втрат загальних знань.
Клієнти надають базову модель, набір даних і гіперпараметри, а сервіс виділяє обчислювальні ресурси та керує контрольними точками, не вимагаючи виділення GPU-ресурсів, налаштування кластера чи конфігурації розподіленого навчання. У прикладі AWS для SageMaker Python SDK перехід на інший метод означає заміну TrainingType.FULL на TrainingType.LORA, залишивши решту конфігурації завдання без змін.
FFT оновлює кожну вагу моделі. LoRA натомість фіксує ваги попередньо навченої моделі й додає матриці адаптерів низького рангу. Це зменшує потребу в ресурсах GPU, але обмежує оновлення вужчим простором представлень. За поясненням AWS, повнорангове навчання дає змогу засвоювати складніші адаптації до предметної області зі зростанням наборів даних, а не просто збільшувати кількість параметрів, які навчаються.
Контрольовані випробування з програмування
AWS порівняла методи за допомогою навчання з учителем (SFT) базової моделі Qwen3-4B, використовуючи однакові запити, цільові відповіді й код оцінювання. Набір даних Magicoder-Evol-Instruct-110K містив пари інструкцій і відповідей із програмування, що охоплювали проєктування алгоритмів, налагодження, структури даних і системне програмування. Під час поділу 99 000 записів призначили для навчання, 5 500 — для перевірки, а ще 5 500 — для відкладеного тестового набору.
Під час оцінювання окремо вимірювали виконання завдань і збереження знань. Amazon Nova Pro виступала суддею на основі великої мовної моделі (LLM): вона аналізувала згенерований код разом з оригінальним запитом, щоб оцінити логічну правильність. PRIMECODE вимірювала подібність до еталонних рішень за детермінованими метриками BLEU, ROUGE-1/2/L і F1, тоді як MMLU перевіряла загальні знання з 57 академічних дисциплін.
За даними AWS, показник семантичної коректності сягнув максимуму після трьох епох, а довше навчання погіршувало результати кожного випробуваного варіанта. На радарній діаграмі FFT випереджала LoRA та базову модель за всіма наведеними показниками якості, причому найбільші переваги спостерігалися за BLEU і ROUGE-2. Це свідчить, що різниця не обмежувалася однією метрикою.
AWS повідомила, що провела десятки експериментів із налаштування на кількох базових моделях, змінюючи швидкість навчання, розмір пакета, частку прогрівання, кількість епох і масштаб набору даних; від подання завдання до оцінювання кожен запуск тривав кілька годин. Отримані моделі автоматично реєструвалися як версійовані пакети моделей у SageMaker Model Registry для перевірки або розгортання.
Ризик забування під час повного донавчання
AWS застерегла, що FFT не завжди кращий за інші методи: і FFT, і LoRA поступалися базовій моделі за точним збігом у MATH, а в окремому порівнянні за оцінкою LLM перевагу віддали LoRA — 81,5% проти 79,5% у FFT.
Надто високі швидкості навчання спричиняли значні втрати. У випробуваннях AWS за швидкості 5e-5 або вище показники MATH падали до 2–3%, а точність MMLU — до 3,6%. Це свідчило про катастрофічне забування — втрату ширших можливостей, коли навчання на вузькоспеціалізованих даних перезаписує знання, отримані під час попереднього навчання. На карті ризиків значення 2e-5 визначили як безпечніше для великих наборів даних; базовий варіант із такою швидкістю, 5% прогріванням і глобальним розміром пакета 8 найкраще зберігав загальні знання за показником MMLU серед випробуваних конфігурацій.
Розмір пакета також впливав на збереження знань. За незмінної швидкості навчання менші пакети створювали більш зашумлені оновлення, що діяли подібно до підвищення швидкості навчання та збільшували ризик забування. Більші пакети зменшували шум, але водночас скорочували кількість кроків оптимізації, що могло призвести до недостатнього навчання моделі.
Компроміси під час розгортання
За даними AWS, SFT із FFT доступне для моделей із відкритими вагами, зокрема DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B і NVIDIA Nemotron 3 Nano 30B (A3B), згідно зі списком підтримуваних моделей.
У документації FFT зазначено, що цей метод використовує ті самі формати наборів даних, що й LoRA, але потребує більше обчислювальних ресурсів і тривалішого навчання, створює більші артефакти з повними вагами моделі та несумісний із безперервним налаштуванням. Крім того, під час інференсу він усуває накладні витрати на адаптери.
Безсерверний режим змінює те, хто виділяє інфраструктуру та керує контрольними точками, але не зменшує кількості ваг, що навчаються. Тож запуск спрощує виконання глибшого налаштування, однак співвідношення витрат на обчислення та якості й надалі залежить від того, чи переважають переваги для конкретного завдання над більшими витратами на навчання та можливою втратою ширших можливостей.












