Baseten rende Serverless Loops disponibile a livello generale per il post-addestramento

Baseten ha annunciato il 6 novembre 2026 che Serverless Loops è disponibile a livello generale, aprendo a tutti il suo SDK gestito per il fine-tuning supervisionato e l’apprendimento per rinforzo su modelli aperti. Il servizio applica una tariffazione per token di addestramento e offre un percorso diretto dai checkpoint a Baseten Dedicated Inference.

Loops si basa su una divisione dei compiti: gli utenti forniscono il segnale di addestramento, mentre Baseten gestisce le GPU, i kernel, le architetture dei modelli e il backend per l’addestramento distribuito. Lo SDK Python addestra adapter LoRA mantenendo congelati i pesi del modello di base. Gli utenti scelgono il modello di base, il rango LoRA, il tasso di apprendimento, la funzione di perdita, i dati o l’ambiente e l’algoritmo; Baseten gestisce il trainer, il sampler, la sincronizzazione dei pesi e l’infrastruttura di supporto.

Un pacchetto di compatibilità mantiene le importazioni di Tinker e le chiamate principali per l’addestramento e il campionamento, per i team che migrano gli script esistenti. La guida alla migrazione indica comunque di passare a una chiave API Baseten per l’autenticazione, restituisce i checkpoint sotto forma di URL di file paginati, richiede input di immagini inline e definisce la copertura dei moduli LoRA in base alla famiglia di modelli. La compatibilità copre l’API di addestramento, ma lascia ai team il compito di adeguare diversi dettagli specifici dell’infrastruttura.

Modelli serverless e fatturazione

Il catalogo serverless comprende tre modelli: Qwen/Qwen3.6-35B-A3B e zai-org/GLM-5.3-Flash per testo e immagini, e zai-org/GLM-5.3 solo per il testo. Ognuno supporta una lunghezza massima della sequenza di 262.144 token. La configurazione a contesto lungo di GLM-5.3 non supporta cross_entropy né dpo le funzioni di perdita. La modalità dedicata copre un catalogo di modelli più ampio, addebita il tempo di utilizzo delle GPU e aggiunge controlli per le repliche, il riutilizzo delle istanze attive e la capacità spot.

Le esecuzioni serverless utilizzano capacità condivisa senza richiedere prenotazioni di GPU e fatturano i token usati per l’addestramento e il campionamento. Il tempo dedicato alla lettura dei risultati, alla modifica di una funzione di ricompensa o all’inattività non comporta costi per i token. La selezione predefinita della modalità può passare alla capacità dedicata se un modello, un rango LoRA o una lunghezza di sequenza non sono supportati, oppure se un’esecuzione riutilizza le distribuzioni di un’altra esecuzione. Impostando l’ambito su serverless, invece, una richiesta non supportata genera un errore.

L’abilitazione di un modello non ne garantisce il provisioning. L’accesso specifico per l’area di lavoro, la mancata disponibilità di GPU e i limiti imposti dall’organizzazione ai trainer possono comunque impedire l’avvio di un’esecuzione; il modello a pagamento per token presenta quindi limiti pratici di capacità che vanno oltre il catalogo pubblicato.

Checkpoint e inferenza in produzione

La guida rapida presenta quattro operazioni principali: forward_backward per il calcolo della perdita e dei gradienti, optim_step per aggiornare gli adapter, sample per la generazione e save_state per riprendere l’addestramento. La pubblicazione dei pesi del sampler crea un checkpoint distribuibile e un client di campionamento vincolato a quel checkpoint. Un’operazione separata save_state conserva lo stato del modello e dell’ottimizzatore. La prima richiesta di campionamento può richiedere diversi minuti mentre si avvia la capacità serverless, un aspetto pratico da considerare negli esperimenti brevi.

Un checkpoint del sampler viene distribuito come modello di base con l’adapter LoRA addestrato caricato. I checkpoint rimangono disponibili anche dopo la fine delle rispettive esecuzioni e possono essere distribuiti tramite CLI, API REST o dashboard usando un token di accesso Hugging Face, poiché la distribuzione scarica i pesi di base. L’endpoint risultante, compatibile con OpenAI, addebita il costo della GPU per tutto il tempo in cui è attivo. Eliminando la distribuzione si interrompe l’addebito della GPU senza cancellare il checkpoint; disattivare l’esecuzione di Loops non rimuove la distribuzione.

Per la disponibilità generale, Baseten ha migliorato la gestione degli errori di rete transitori e dei guasti delle GPU, ridotto i tempi di avvio e accelerato il trasferimento dei pesi tra trainer e sampler. Baseten afferma che queste modifiche consentono di gestire più carichi di lavoro simultanei dei clienti e che il suo stack di inferenza in produzione serve oltre 15 miliardi di richieste al giorno. Il percorso per la produzione comprende la scalabilità automatica, la gestione delle distribuzioni e le metriche di inferenza; gli utenti possono inoltre scaricare i pesi nel formato Safetensors di Hugging Face.

Convalida e primi carichi di lavoro dei clienti

Baseten afferma di aver convalidato il servizio con test numerici ed esperimenti di apprendimento per rinforzo end-to-end basati su attività di τ-bench nei settori della vendita al dettaglio, dei trasporti aerei e bancario, seguiti da valutazioni su attività difficili tenute da parte. Il progetto τ-bench descrive un benchmark che valuta se gli agenti sono in grado di conversare con gli utenti, usare strumenti, recuperare informazioni e seguire le policy nei diversi settori aziendali; i risultati vengono verificati confrontandoli con dati di database verificabili.

Baseten riferisce che NVIDIA ha sottoposto Nemotron Super 3.5 VL a post-addestramento per attività di testo e visione, migliorando l’accuratezza della classificazione degli intenti dal 76,8% al 94% e raggiungendo un punteggio F1 di convalida dell’87% nell’estrazione dei dati dagli scontrini; il lavoro ha incluso anche l’apprendimento per rinforzo per il conteggio visivo degli oggetti. Datadog utilizza l’apprendimento per rinforzo agentico multi-turno per testare idee di addestramento per il proprio agente SRE, mentre Ambience Healthcare ha sottoposto modelli a post-addestramento per correggere gli errori di trascrizione clinica e acquisire con precisione la terminologia e la formattazione mediche.

LangChain Labs esegue il post-addestramento dei modelli su tracce di agenti per LangSmith Engine, anche per attività in cui un modello legge un repository GitHub per diagnosticare un problema e prepara la modifica al prompt o al codice da proporre in una pull request. Può passare a un modello open-weight più piccolo per classificare le tracce in base alla modalità e alla gravità dell’errore oppure associarle a problemi già esistenti. Il flusso di lavoro di LangChain mostra come il comportamento di un’applicazione diventi l’obiettivo dell’addestramento, mentre le dimensioni del modello e la specializzazione del compito vengono scelte in funzione del lavoro da svolgere.

I resoconti dei clienti documentano l’utilizzo precedente all’annuncio della disponibilità generale (GA) e mostrano il ciclo infrastrutturale previsto: i dati dell’applicazione diventano input per l’addestramento, i checkpoint vengono valutati e i modelli selezionati avanzano verso la produzione. Per i team infrastrutturali, anche il limite dei costi è altrettanto chiaro. Le esecuzioni serverless supportate evitano le prenotazioni di GPU e i costi dei token durante i periodi di inattività, mentre un endpoint di inferenza attivo continua a fatturare la GPU; il catalogo serverless e la capacità dell’area di lavoro determinano in quali casi è disponibile l’opzione serverless.