Together AI lancia Together Post-Training, il servizio per creare modelli personalizzati

Il 19 ottobre 2026 Together AI ha lanciato Together Post-Training, un servizio per creare modelli personalizzati tramite cicli di apprendimento per rinforzo e fine-tuning supervisionato definiti dagli utenti, con un prezzo promozionale introduttivo di 9 $ per ogni ora-GPU di utilizzo di B200 per le prime sei settimane.

Modelli al lancio, prezzi e accesso anticipato

Il servizio è progettato per creare modelli personalizzati sia a partire dalle ricompense dell’ambiente tramite RL, sia dai dati di supervisione tramite SFT. I clienti definiscono il ciclo di addestramento, compresi dati, ambienti e framework per agenti, e possono aggiungere passaggi come la registrazione dei dati o il benchmarking esterno; nel frattempo, Together co-ottimizza i sistemi e l’infrastruttura sottostanti per migliorare la qualità dei modelli e la velocità di addestramento. Together ha dichiarato di aver creato il servizio perché l’infrastruttura per l’RL sta diventando più complessa e molte aziende che potrebbero trarre vantaggio dal post-addestramento non iniziano mai, oppure iniziano ma si bloccano a causa dell’onere infrastrutturale.

Al lancio, il servizio include i modelli open-weight Muse Spark Open, GLM 5.3, Kimi K3 e Qwen 3.8-27B. Together ha dichiarato che nelle prossime settimane amplierà la selezione, includendo sia LLM all’avanguardia sia modelli più piccoli ed efficienti. Per le prime sei settimane, il servizio è offerto al prezzo ridotto di 9 $ per ogni ora-GPU di utilizzo di B200.

Nei mesi precedenti al lancio, Together ha concesso l’accesso anticipato a un gruppo selezionato di organizzazioni. Adit Jain, ricercatore presso Collinear AI, ha dichiarato che il suo team collaborava con l’azienda sin dal lancio della versione beta di Post-Training, nell’aprile 2026.

Risorse di modello dedicate e fatturazione al minuto-GPU

Tutti gli esperimenti vengono eseguiti su quelle che Together chiama Model Resources: risorse GPU assegnate a un singolo cliente, senza competere con le richieste di priorità degli altri utenti. Ogni Model Resource può contenere una o più Training Sessions; ciascuna sessione corrisponde a un singolo esperimento sullo stesso modello di base, ad esempio con un unico insieme di adattatori LoRA. Together ha dichiarato che le risorse dedicate consentono anche di eseguire il fine-tuning dell’intero insieme dei pesi, oltre a LoRA, quando si adattano i modelli ad attività che richiedono una vasta conoscenza.

Ogni sessione include un’istanza Trainer, responsabile dei passaggi forward e backward e degli aggiornamenti dei pesi, e istanze Generator, che eseguono le generazioni a partire dalla policy. Per il fine-tuning supervisionato, una risorsa di modello può iniziare senza generatori, così da contenere i costi. Gli utenti decidono quando inviare al generatore i parametri del trainer; è inoltre supportato l’RL asincrono, per sfruttare appieno le GPU di entrambi i componenti, soprattutto durante le lunghe generazioni degli agenti.

Gli utenti possono eseguire l’addestramento LoRA, anche con più adattatori LoRA che condividono la stessa capacità GPU, oltre a esperimenti che aggiornano l’intero insieme dei pesi per alcuni modelli. Il servizio supporta funzioni di perdita standard, tra cui cross-entropy, GRPO, CISPO e DPPO; gli utenti possono anche calcolare localmente un obiettivo di addestramento personalizzato e inviarne i gradienti al Trainer.

Secondo la documentazione sul post-addestramento, l’interfaccia principale dell’SDK comprende un metodo create, che alloca una risorsa di modello (l’unità fatturata), e un metodo create_session, che vi associa una sessione di addestramento. Seguono le chiamate per ciascun passaggio: sample_batch genera completamenti da valutare, forward_backward calcola la perdita e propaga all’indietro i gradienti, optim_step aggiorna i pesi e weights_sync pubblica i nuovi pesi sulle repliche del generatore. SFT e DPO non eseguono sample_batch e weights_sync, perché non generano completamenti.

Le risorse di modello sono fatturate al minuto-GPU e Together ha dichiarato che, non appena gli esperimenti aumentano di scala, i costi complessivi di addestramento scendono al di sotto di quelli della tariffazione basata sui token. La documentazione confronta il servizio con quello standard di fine-tuning dell’azienda, fatturato per token elaborato e avviato come un processo che prosegue fino al completamento senza possibilità di intervenire durante l’esecuzione. Gli utenti del servizio di post-addestramento possono invece consultare le metriche di ogni passaggio, modificare il tasso di apprendimento, rimescolare i dati o interrompere un’esecuzione secondo la propria logica.

Stabilità dell’addestramento e percorso verso la distribuzione

Together ha dichiarato che il servizio elimina numerose cause di divergenza della policy tra i motori di addestramento e quelli di inferenza, dove lievi discrepanze numeriche, pur a parità di pesi, possono compromettere o far collassare un’esecuzione di RL. A tal fine, impiega tecniche standard come Rollout Routing Replay, insieme a ottimizzazioni derivate dalla ricerca dell’azienda sulla stabilità dell’addestramento. L’azienda ha affermato che i motori di generazione si basano sulle stesse ottimizzazioni della sua infrastruttura di serving, con caching intelligente e instradamento per gli agenti multi-turno, mentre il parallelismo ottimizzato e il raggruppamento delle sequenze accelerano sia i passaggi SFT sia quelli RL.

Al termine dell’addestramento, l’azienda supporta ora il serving di adattatori multi-LoRA in Dedicated Model Inference, consentendo agli utenti di sostituire gli adattatori all’interno di una singola distribuzione GPU invece di avviare una distribuzione di produzione separata per ogni esecuzione. Together ha dichiarato che ogni checkpoint di addestramento mantiene la propria qualità in fase di serving anche dopo il passaggio dal campionamento multi-LoRA all’inferenza con pesi unificati in precisione FP4.

La documentazione descrive un flusso di lavoro che comprende addestramento, valutazione e messa in produzione: addestrare più adattatori sullo stesso modello di base congelato, associare i candidati a una singola distribuzione multi-LoRA e confrontarli indicando un adattatore diverso in ciascuna richiesta, quindi distribuire il candidato migliore in modalità con pesi unificati, su una distribuzione dedicata. Per GLM-5.3 e Kimi-K3, gli adattatori devono prima passare attraverso una fase di preparazione per l’inferenza FP4.

Onboarding, migrazione da Tinker e primi utenti

Per iniziare sono necessari la versione più recente del Together SDK e la documentazione. Together ha pubblicato su GitHub delle raccolte di esempi nel repository post-training-cookbook, che illustrano l’addestramento GRPO sul benchmark GSM8K, il DPO implementato come funzione di perdita personalizzata e l’addestramento di più adattatori LoRA all’interno della stessa risorsa modello; la documentazione descrive la raccolta come una libreria Python di cicli predefiniti, i cui notebook illustrano GRPO, SFT e l’addestramento con più adattatori su un’unica risorsa modello, utilizzando le chiamate asincrone dell’SDK. Per i team che dispongono già di una configurazione basata sull’API Tinker, un percorso di migrazione sostituisce una riga di importazione con import together.post_training.tinker as tinker, come descritto in una guida alla migrazione.

Tra gli utenti con accesso anticipato, Anthony Li, vicedirettore della scienza dei dati presso Deel, ha affermato che il controllo e la flessibilità della piattaforma hanno permesso al suo team di iniziare a eseguire esperimenti RL reali nel giro di un paio d’ore e di condurne fino a cinque contemporaneamente sulla stessa capacità GPU. Oliver Normand, ingegnere fondatore di Jack & Jill, ha dichiarato che il suo team ha sottoposto a post-addestramento un modello che prevede quali candidati un responsabile delle assunzioni vorrà incontrare, una fase fondamentale della ricerca svolta dall’agente di selezione del personale Jill dell’azienda, e che, nelle valutazioni offline, ha raggiunto la qualità di un modello proprietario usando un modello open source molto meno costoso da servire; ha aggiunto che gli ingegneri di Together assegnati direttamente ai clienti hanno scritto gli script che hanno prodotto i primi risultati del team.

Jain di Collinear AI ha affermato che la procedura di onboarding autonomo e senza intoppi ha reso semplice avviare esecuzioni di RL agentico su vasta scala. Gli ingegneri di Together assegnati direttamente ai clienti collaborano con loro durante l’intero ciclo di vita del post-addestramento, dalla scelta di un modello open source e di un framework per agenti fino ai dati e agli ambienti di addestramento, alle valutazioni e alla pubblicazione di un endpoint ottimizzato.