Fireworks annuncia un’inferenza più veloce per gli agenti e la distribuzione sovrana

Fireworks ha annunciato una serie di prodotti di IA per le aziende il 3 novembre 2026, in occasione della prima edizione della sua conferenza annuale Forge. Tra le novità principali c’è un’anteprima di Ultra-fast, una soluzione di inferenza che, secondo l’azienda, ha raggiunto fino a 1.500 token al secondo su DeepSeek V4.1 Flash. Sono stati presentati anche strumenti per l’instradamento dei modelli, la valutazione e l’erogazione di modelli specializzati, oltre a un’anteprima privata di Fireworks Sovereign, pensata per le infrastrutture di proprietà dei clienti.

Adeguare velocità e costi dell’inferenza al carico di lavoro

Ultra-fast è disponibile in anteprima pubblica sulle GPU NVIDIA Blackwell ed è progettato per gli agenti che eseguono più passaggi, nei quali ogni chiamata al modello aumenta il tempo necessario per ottenere un risultato. Fireworks ha riferito che, con Ultra-fast, il tempo di completamento del proprio benchmark per agenti a 30 turni è sceso da un minuto a otto secondi. La funzionalità è pensata per le attività in cui il tempo è determinante, mentre per quelle che possono attendere sono disponibili opzioni meno costose.

Per le attività che tollerano ritardi, Background Mode esegue a metà prezzo le attività idonee, come la generazione di dati per la valutazione e la ricerca durante la notte. Multi-day Prompt Caching riduce i costi del contesto riutilizzato. Per i carichi di lavoro più intensi sono generalmente disponibili limiti di frequenza più elevati per il serverless ed Elastic Burst; quando è disponibile capacità inutilizzata, Elastic Burst può superare il normale limite di utilizzo del cliente, senza modifiche al codice o ai prezzi.

Un benchmark di Fireworks del 14 settembre 2026 su DeepSeek V4.1 Flash mostra perché il contesto riutilizzato è importante. Nell’esecuzione di DeepSWE, il 99,6% dei token di input era costituito da cache hit e i relativi addebiti rappresentavano il 60% della fattura. Questa ripartizione indica che, per gli agenti a esecuzione prolungata, il contesto riutilizzato è un obiettivo rilevante per ridurre i costi: la spesa non dipende soltanto dai risultati generati.

Lo stesso tema dei costi riguarda anche la specializzazione dei modelli. Ember-1, presentato il 23 settembre 2026 come anteprima di ricerca serverless, ha utilizzato circa il 40% di token in meno rispetto a Kimi K3, a parità di qualità, nelle valutazioni di Fireworks. È disponibile nelle modalità serverless e con distribuzione dedicata.

Nexus Desktop e prezzi degli abbonamenti

Fireworks Nexus instrada le richieste tra modelli aperti e proprietari all’interno degli strumenti già esistenti per la programmazione e la collaborazione, selezionando i modelli in modo personalizzato e tenendo conto della cache. Inoltre, centralizza la visibilità sulla spesa e i relativi controlli per le organizzazioni. Nexus Desktop è stato lanciato insieme al già disponibile Nexus CLI; Nexus è integrato nell’app Codex, in Claude Desktop e in OpenCode.

I nuovi piani Nexus Pro partono da 8 $ al mese, mentre i piani Teams partono da 10 $ al mese per utente. I piani Enterprise aggiungono l’accesso singolo (SSO), la governance, i budget condivisi e i controlli di accesso.

La documentazione di Nexus Desktop elenca una versione universale di macOS per i Mac con chip Apple e processori Intel; il supporto per Linux e Windows arriverà a breve. La CLI funziona su macOS e Linux e offre un supporto limitato per Windows tramite Git Bash. Le connessioni desktop includono ChatGPT, Claude Code, Cursor IDE, VS Code e OpenCode, mentre il supporto per Claude Desktop è descritto come limitato.

Valutazione e distribuzione di modelli specializzati

No Eval, ora disponibile in anteprima privata, utilizza le tracce dei sistemi di produzione e i segnali provenienti dai prodotti per creare valutazioni relative ad attività specifiche. Le valutazioni servono a individuare i punti deboli dei modelli e a verificare se l’addestramento successivo li risolve, affrontando un lavoro che altrimenti può richiedere settimane di etichettatura e valutazione dei dati.

L’inferenza di modelli specializzati è entrata in anteprima pubblica per l’esecuzione di adattatori LoRA sul pool serverless condiviso di Fireworks, inizialmente con GLM 5.3 Flash. I clienti pagano per token al prezzo serverless del modello di base, senza dover creare una distribuzione. Il caricamento di un adattatore, il mantenerlo caricato e il tempo di inattività non comportano costi di erogazione, mentre l’addestramento viene fatturato separatamente.

Per GLM 5.3 Flash, le tariffe documentate sono 0,15 $ per milione di token di input, 0,03 $ per milione di token di input memorizzati nella cache e 0,50 $ per milione di token di output.

L’anteprima supporta un rango LoRA massimo di 64 e fino a tre adattatori caricati per account per il modello di base. Secondo la documentazione di Fireworks, il caricamento richiede meno di cinque minuti, la prima richiesta può richiedere fino a un minuto e le richieste successive hanno una latenza approssimativamente pari a quella del modello di base; durante l’anteprima non è garantita alcuna latenza.

Gli adattatori vengono eseguiti su GPU condivise con gli adattatori di altri clienti. Per i carichi di lavoro che richiedono una latenza costante, GPU isolate, una regione specifica o un’erogazione a maggiore precisione, si raccomandano le distribuzioni dedicate; il serverless è pensato per la sperimentazione e il traffico con picchi improvvisi.

Controlli aziendali e distribuzione sovrana

La governance dei modelli, i controlli sulla spesa e i registri di audit esportabili sono ora generalmente disponibili. La gestione centralizzata degli account, i controlli regionali sui dati e la crittografia gestita dai clienti restano in anteprima.

Fireworks Sovereign, disponibile in anteprima privata, esegue il motore di inferenza dell’azienda nel cloud, nel neocloud o nel data center del cliente. L’inferenza e l’addestramento rimangono all’interno dell’ambiente del cliente e sono soggetti alle sue politiche di sicurezza e gestione delle modifiche. Fireworks riferisce di gestire oltre 25.000 GPU negli ambienti dei clienti.

Il modello operativo ripartisce le responsabilità tra le due parti. Fireworks verifica il cluster, distribuisce i modelli e si occupa degli aggiornamenti, del monitoraggio, dell’ottimizzazione delle prestazioni e della risposta agli incidenti, mentre il cliente mantiene la proprietà dell’architettura e delle politiche. I clienti gestiscono il traffico in ingresso, il bilanciamento del carico, il DNS, i certificati TLS e le route di uscita autorizzate. Il piano di controllo di Fireworks utilizza una credenziale dedicata e verificabile, con il traffico in uscita limitato al download dei pesi dei modelli e delle immagini, oltre che alla telemetria operativa.

Fireworks afferma che Sovereign offre un throughput superiore dal 20% al 50% a parità di hardware e circa 2,3 volte più token per dollaro speso in hardware. L’overflow ibrido opzionale trasferisce i carichi di lavoro idonei a Fireworks Cloud, nelle regioni approvate dal cliente, quando un cluster raggiunge la saturazione; quando la domanda diminuisce, li riporta sulle GPU del cliente, utilizzando la stessa API.

La gamma Forge riunisce la scelta dei modelli, i costi dell’inferenza e il controllo dell’infrastruttura in un’unica decisione aziendale. La precisazione fondamentale è che ogni opzione comporta condizioni operative diverse: gli adattatori serverless evitano la necessità di capacità dedicata, ma funzionano su GPU condivise e, durante l’anteprima, non offrono garanzie sulla latenza; Sovereign, invece, abbina un’infrastruttura di proprietà del cliente a uno stack per l’inferenza gestito da Fireworks.