Together AI porta la compilazione continua nell’inferenza in produzione

Together AI ha annunciato l’inferenza polimorfica il 4 novembre 2026, presentando Together Compiler come sua prima implementazione. Il sistema basato su agenti ritara continuamente l’inferenza in funzione dei cambiamenti nei modelli, nel traffico e nell’hardware, ed è già in uso su molti dei principali carichi di lavoro di inferenza in produzione dell’azienda e su alcuni popolari endpoint serverless.

Together AI riferisce che, in meno di 24 ore, il compilatore ha raggiunto una velocità compresa tra 1,3 e 3 volte il numero di token al secondo delle baseline open source altamente ottimizzate, nei test condotti con Kimi K3, GLM 5.3, MiniMax M3.1-Flash e DeepSeek v4.1-Flash. Questi risultati delineano la tesi centrale dell’annuncio: l’ottimizzazione può essere un processo di ricerca continuo, legato a una distribuzione specifica, anziché una fase di regolazione manuale che si conclude al lancio.

Modelli, traffico e hardware in evoluzione

Inferenza polimorfica è il termine con cui Together AI definisce un’infrastruttura di serving capace di adattarsi al rilascio più rapido dei modelli, alla varietà delle architetture, all’evoluzione dei profili di traffico e dei requisiti a livello di servizio, nonché ai cambiamenti più frequenti dell’hardware. L’approccio statico, per contro, parte da una configurazione fissa del motore. Una configurazione ottimizzata per una situazione non è necessariamente adatta a un’altra, soprattutto quando cambiano il comportamento dei modelli e la distribuzione delle richieste.

Le osservazioni dell’azienda in produzione forniscono esempi concreti. Together AI riferisce che, durante l’orario lavorativo di un paese, i prompt hanno raggiunto circa 97.000 token, contro i 70.000 registrati altrove, e che la lunghezza dei prompt è aumentata dell’80% nelle due settimane successive al rilascio di un modello, man mano che l’utilizzo si spostava verso carichi di lavoro agentici. I picchi di attività dei clienti possono inoltre raddoppiare la lunghezza dei prompt e ridurre i tassi di hit della cache, modificando le condizioni per cui era stata ottimizzata una configurazione esistente.

L’annuncio rivede anche la precedente enfasi di Together AI sui megakernel, che fondono più operazioni in un unico kernel. Dopo aver portato in produzione le prime versioni, l’azienda ha concluso che la fusione, da sola, non è un obiettivo progettuale valido in ogni situazione: le architetture mixture-of-experts e i carichi di lavoro dinamici possono richiedere tecniche diverse. Anche i kernel sviluppati per un traffico fisso o casuale possono risultare mal calibrati per il traffico di produzione, in cui l’instradamento basato sui dati influisce sulle ottimizzazioni più efficaci.

Come funziona la compilazione continua

Together Compiler prende in input il profilo di traffico, il modello e l’hardware, quindi utilizza agenti per generare e misurare possibili ottimizzazioni per un motore di inferenza. Un motore persistente carica il modello una sola volta e ricarica a caldo i passaggi forward candidati senza riavviare l’intero motore. Gli agenti operano in parallelo, generano candidati e comunicano tramite una bacheca di messaggi, mantenendo gli esperimenti in coda mentre gli altri agenti ragionano o utilizzano strumenti.

Due livelli di misurazione bilanciano il numero di esperimenti con il realismo. I motori più veloci caricano un sottoinsieme di livelli per consentire iterazioni rapide e misurazioni a bassa varianza; quelli più lenti ne caricano un numero maggiore per verificare se i candidati reggono su distribuzioni di dati realistiche. Un modello dei costi separato combina le specifiche dell’hardware, i microbenchmark e i passaggi forward misurati per restringere la ricerca delle configurazioni di parallelismo prima che gli agenti dedichino tempo all’ottimizzazione dei candidati.

Il documento tecnico afferma che i candidati vincitori vengono sottoposti a test di verifica della contaminazione della cache KV e della qualità degli output prima di poter essere messi in servizio. I controlli vengono eseguiti una volta esaurito il budget di ottimizzazione, quando il codice sorgente definitivo è pronto per essere integrato nel motore di serving.

Il confronto sui tempi di avvio riportato nel post di lancio indica 467 secondi per arrivare alla messa in servizio con la sequenza dello status quo, contro 9,0 secondi con la configurazione di Together Compiler. Queste cifre riguardano l’avvio del motore durante l’ottimizzazione, non la latenza delle singole richieste, e aiutano a spiegare perché la ricarica a caldo sia fondamentale per la capacità del sistema di eseguire esperimenti.

Ambito della valutazione e accesso per i clienti

Per confrontare i motori, il documento ha utilizzato le principali configurazioni aperte disponibili al 30 ottobre 2026 e ha mantenuto fissa la strategia di parallelismo della baseline, così da isolare l’effetto dell’ottimizzazione agentica. Trainium2 è stata l’eccezione dichiarata rispetto al carico di lavoro standard della valutazione: è stato utilizzato un set di dati sintetico multi-turno, perché l’implementazione non supportava ancora livelli di concorrenza più elevati entro la capacità HBM disponibile.

Together AI attribuisce in parte i risultati dell’ottimizzazione a un throughput degli esperimenti 252 volte superiore a quello dei sistemi di ottimizzazione di riferimento basati sull’auto-miglioramento ricorsivo agentico.

Oltre all’inferenza dei modelli linguistici, il documento riporta accelerazioni da 1,5 a 6,4 volte sui modelli testati di meteorologia, biologia, serie temporali ed equazioni alle derivate parziali, mantenendo output identici bit per bit nelle valutazioni indicate.

I clienti finali possono richiedere l’accesso anticipato tramite una beta limitata. Together AI prevede di offrire l’ottimizzazione degli endpoint dedicati con un solo clic; la roadmap di ricerca comprende inoltre la decodifica speculativa adattata al dominio, alla richiesta, al token e al carico di traffico, oltre all’instradamento dinamico tra worker e configurazioni di distribuzione per il traffico serverless eterogeneo.

Il lancio pone al centro dello stack di inferenza di Together AI le misurazioni specifiche per ciascun deployment, anziché un kernel ottimale in ogni situazione. Per i clienti, la questione immediata è se la beta limitata possa riprodurre i miglioramenti dichiarati sui propri modelli, con il proprio traffico e sul proprio hardware, superando al contempo gli stessi controlli di qualità: è proprio a questa variabilità che Continuous Compilation è progettata per rispondere.