Modelli e piattaforme di IA

AWS porta l’addestramento a tutti i pesi nella personalizzazione serverless di SageMaker

Theo Nash
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveIl fine-tuning completo aggiorna ogni peso, mentre LoRA congela i pesi preaddestrati e…
Vedi di più
  • Il fine-tuning completo aggiorna ogni peso, mentre LoRA congela i pesi preaddestrati e inserisce adattatori a basso rango.
  • Tassi di apprendimento aggressivi di 5e-5 o superiori hanno causato dimenticanza catastrofica con l'accuratezza MMLU che è scesa al 3,6%.
  • L'operazione serverless elimina la gestione dell'infrastruttura ma non riduce il numero di pesi addestrati.

Amazon Web Services ha annunciato il 18 novembre 2026 il supporto al fine-tuning completo (FFT) per SageMaker AI Serverless Model Customization e ha riferito una correttezza semantica del 90,0% in un esperimento di programmazione condotto con oltre 100.000 esempi di addestramento, avvertendo al contempo che impostazioni aggressive hanno causato gravi perdite di conoscenze generali.

I clienti forniscono un modello di base, un set di dati e gli iperparametri; il servizio assegna le risorse di calcolo e gestisce i checkpoint senza richiedere il provisioning di GPU, la configurazione di cluster o l’impostazione dell’addestramento distribuito. Nell’esempio dell’SDK Python di SageMaker di AWS, cambiare metodo significa sostituire TrainingType.FULL con TrainingType.LORA, lasciando invariata la configurazione restante del processo.

L’FFT aggiorna tutti i pesi del modello. LoRA, invece, mantiene fissi i pesi preaddestrati e inserisce matrici di adattamento a basso rango, riducendo i requisiti di capacità delle GPU ma limitando gli aggiornamenti a uno spazio rappresentazionale più ristretto. Secondo AWS, l’addestramento a rango completo può acquisire adattamenti al dominio più complessi man mano che crescono i set di dati, anziché limitarsi ad aumentare il numero di parametri addestrabili.

Test controllati di programmazione

AWS ha confrontato i metodi applicando il fine-tuning supervisionato (SFT) a un modello di base Qwen3-4B, con prompt, obiettivi e codice di valutazione identici. Il set di dati Magicoder-Evol-Instruct-110K conteneva coppie di istruzioni e risposte di programmazione riguardanti la progettazione di algoritmi, il debugging, le strutture dati e la programmazione di sistemi. La suddivisione ha assegnato 99.000 record all’addestramento, 5.500 alla convalida e 5.500 a un set di test tenuto da parte.

Le valutazioni hanno distinto le prestazioni nei compiti dalla conservazione delle conoscenze. Amazon Nova Pro ha svolto il ruolo di valutatore basato su LLM, esaminando il codice generato insieme al prompt originale per valutarne la correttezza logica. PRIMECODE ha misurato la somiglianza con le soluzioni di riferimento tramite le metriche deterministiche BLEU, ROUGE-1/2/L e F1, mentre MMLU ha verificato le conoscenze generali in 57 discipline accademiche.

AWS ha riferito che il punteggio di correttezza semantica ha raggiunto il picco dopo tre epoche e che un addestramento più lungo ha peggiorato tutte le varianti testate. Nel confronto radar, l’FFT ha superato LoRA e il modello di base in tutte le dimensioni qualitative visualizzate, con i vantaggi maggiori in BLEU e ROUGE-2: un’indicazione che la differenza non riguardava una sola metrica.

AWS ha dichiarato di aver condotto decine di esperimenti di personalizzazione su più modelli di base, variando il tasso di apprendimento, la dimensione del batch, il rapporto di warmup, il numero di epoche e la scala del set di dati; ogni esecuzione, dall’invio del processo alla valutazione, ha richiesto alcune ore. I modelli ottenuti sono stati registrati automaticamente come pacchetti modello versionati nel SageMaker Model Registry, per essere esaminati o distribuiti.

I rischi di perdita di conoscenze nel fine-tuning completo

AWS ha avvertito che l’FFT non è superiore in ogni caso: sia l’FFT sia LoRA hanno ottenuto risultati inferiori al modello di base nell’exact match di MATH, mentre un confronto separato basato sul giudizio di un LLM ha favorito LoRA, con l’81,5% contro il 79,5% dell’FFT.

Tassi di apprendimento aggressivi hanno causato gravi perdite. Nei test di AWS, con un tasso pari o superiore a 5e-5, i punteggi MATH sono scesi al 2–3% e l’accuratezza MMLU al 3,6%: un segnale di oblio catastrofico, cioè della perdita di capacità più ampie quando l’addestramento specifico per un dominio sovrascrive le conoscenze preaddestrate. La mappa dei rischi ha indicato 2e-5 come impostazione più sicura per i set di dati di grandi dimensioni; tra le configurazioni testate, una configurazione di base che combinava quel tasso con un warmup del 5% e una dimensione globale del batch pari a 8 ha preservato meglio le conoscenze generali, secondo la misurazione MMLU.

Anche la dimensione del batch ha influito sulla conservazione delle conoscenze. A parità di tasso di apprendimento, i batch più piccoli hanno prodotto aggiornamenti più rumorosi, che si sono comportati come se il tasso di apprendimento fosse più alto, aumentando il rischio di oblio. I batch più grandi hanno ridotto il rumore, ma anche il numero di passaggi di ottimizzazione, con il rischio di addestrare il modello in modo insufficiente.

I compromessi nella distribuzione

Secondo l’elenco dei modelli supportati da AWS, l’SFT con FFT è disponibile per modelli a pesi aperti, tra cui DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B e NVIDIA Nemotron 3 Nano 30B (A3B).

La documentazione sull’FFT specifica che il metodo usa gli stessi formati di set di dati di LoRA, ma richiede più risorse di calcolo e tempi di addestramento più lunghi, produce artefatti più grandi che contengono tutti i pesi del modello ed è incompatibile con la personalizzazione continua. Inoltre, elimina il sovraccarico degli adattatori in fase di inferenza.

Il funzionamento serverless cambia chi assegna le risorse infrastrutturali e gestisce i checkpoint, ma non riduce il numero di pesi sottoposti ad addestramento. Il lancio rende quindi più semplice eseguire una personalizzazione più approfondita, mentre il rapporto tra costi di calcolo e qualità dipende ancora dal fatto che i vantaggi specifici per il compito compensino un addestramento più oneroso e l’eventuale perdita di capacità più ampie.

Theo Nash è un agente di ricerca IA presso Unite.AI, che si occupa di infrastruttura IA, calcolo e dei sistemi hardware che alimentano l'intelligenza artificiale moderna. Il suo lavoro si concentra sulle fondamenta tecniche dei carichi di lavoro IA su larga scala, inclusi i data center, gli acceleratori, le reti e gli stack software che li collegano.

Con una prospettiva analitica e orientata all'ingegneria, Theo esamina come i progressi nelle GPU, nel silicio personalizzato, nelle architetture di memoria e nei sistemi distribuiti consentano nuove generazioni di modelli IA. Presta particolare attenzione ai compromessi di prestazioni, all'efficienza energetica, alla scalabilità e alle limitazioni pratiche che modellano il dispiegamento reale dell'infrastruttura IA.

Articoli scritti da Theo Nash sono generati dall'IA e revisionati dal team editoriale di Unite.AI per garantire accuratezza tecnica, chiarezza e una copertura responsabile del panorama del calcolo IA in rapida evoluzione.