Fireworks anunță inferență mai rapidă pentru agenți și implementare suverană

Fireworks a anunțat o serie de produse IA pentru companii pe 3 noiembrie 2026, la prima ediție a conferinței sale anuale Forge. În centrul anunțului s-a aflat o versiune de previzualizare a inferenței Ultra-fast, despre care compania afirmă că a atins până la 1.500 de tokeni pe secundă pe DeepSeek V4.1 Flash, alături de instrumente pentru rutarea modelelor, evaluare și servire specializată, precum și de o previzualizare privată a Fireworks Sovereign, destinată infrastructurii deținute de clienți.

Adaptarea vitezei inferenței și a costurilor la volumul de lucru

Ultra-fast este disponibil în previzualizare publică pe GPU-uri NVIDIA Blackwell și este conceput pentru agenți cu mai mulți pași, unde fiecare apel al modelului prelungește timpul de așteptare a unui rezultat. Fireworks a raportat că, folosind Ultra-fast, durata de execuție a benchmarkului său pentru agenți, cu 30 de ture, a scăzut de la un minut la opt secunde. Această capabilitate este destinată sarcinilor care necesită răspuns rapid, iar pentru cele care pot aștepta există opțiuni mai ieftine.

Pentru sarcinile care pot suporta întârzieri, Background Mode execută sarcinile eligibile, precum generarea datelor de evaluare și cercetarea desfășurată peste noapte, la jumătate de preț. Multi-day Prompt Caching vizează reducerea costurilor asociate contextului repetat. Limitele mai mari de tarifare pentru serviciile serverless și Elastic Burst sunt disponibile în general pentru volume de lucru mai mari; Elastic Burst poate depăși plafonul normal de utilizare al unui client atunci când există capacitate disponibilă, fără modificări de cod sau de preț.

Un benchmark realizat de Fireworks pe DeepSeek V4.1 Flash la 14 septembrie 2026 arată de ce contează contextul repetat. În testul DeepSWE, 99,6% dintre tokenii de intrare au fost accesări din cache, iar costurile pentru tokenii accesați din cache au reprezentat 60% din factură. Această defalcare arată că contextul repetat este o țintă importantă pentru reducerea costurilor agenților care rulează perioade îndelungate, în loc ca rezultatul generat să fie considerat singura sursă de cheltuieli.

Aceeași preocupare privind costurile se extinde și la specializarea modelelor. Ember-1, lansat pe 23 septembrie 2026 ca previzualizare de cercetare serverless, a folosit cu aproximativ 40% mai puțini tokeni decât Kimi K3, obținând o calitate comparabilă în evaluările Fireworks. Este disponibil atât în implementări serverless, cât și în cele dedicate.

Nexus Desktop și prețurile abonamentelor

Fireworks Nexus rutează solicitările între modele deschise și închise în instrumentele existente de programare și colaborare, folosind selecția personalizată a modelului și informații despre cache. De asemenea, centralizează vizibilitatea asupra cheltuielilor și comenzile de control pentru organizații. Nexus Desktop a fost lansat alături de Nexus CLI, deja disponibil, iar Nexus poate rula în aplicația Codex, Claude Desktop și OpenCode.

Noile planuri Nexus Pro pornesc de la 8 $ pe lună, iar planurile Teams, de la 10 $ pe loc de utilizator pe lună. Planurile Enterprise includ autentificare unică, guvernanță, bugete partajate și controale de acces.

Documentația Nexus Desktop menționează o versiune universală pentru macOS, compatibilă cu Mac-urile cu cipuri Apple și cu cele cu procesoare Intel, iar compatibilitatea cu Linux și Windows urmează să fie disponibilă în curând. CLI funcționează pe macOS și Linux, iar compatibilitatea cu Windows este limitată și se bazează pe Git Bash. Conexiunile pentru versiunea desktop includ ChatGPT, Claude Code, Cursor IDE, VS Code și OpenCode, în timp ce compatibilitatea cu Claude Desktop este descrisă ca fiind limitată.

Evaluare și servirea specializată a modelelor

No Eval, disponibil acum în previzualizare privată, folosește urme de execuție din sistemele de producție și semnale de la produse pentru a crea evaluări pentru sarcini specifice. Evaluările sunt concepute pentru a scoate la iveală punctele slabe ale modelelor și a arăta dacă antrenarea ulterioară le remediază, abordând un tip de activitate care, în caz contrar, poate necesita săptămâni de etichetare și evaluare a datelor.

Inferența specializată a modelelor a intrat în previzualizare publică pentru servirea adaptoarelor LoRA în fondul serverless comun al Fireworks, inițial cu GLM 5.3 Flash. Clienții plătesc per token, la tariful serverless al modelului de bază, fără să creeze o implementare. Încărcarea unui adaptor, menținerea acestuia în memorie și timpul de inactivitate nu generează costuri de servire, în timp ce antrenarea se facturează separat.

Pentru GLM 5.3 Flash, tarifele documentate sunt de 0,15 $ pentru un milion de tokeni de intrare, 0,03 $ pentru un milion de tokeni de intrare accesați din cache și 0,50 $ pentru un milion de tokeni de ieșire.

Previzualizarea permite un rang LoRA maxim de 64 și până la trei adaptoare încărcate per cont pentru modelul de bază. Potrivit documentației Fireworks, încărcarea durează mai puțin de cinci minute, prima solicitare poate dura până la un minut, iar solicitările ulterioare au o latență aproximativ egală cu cea a modelului de bază; pe durata previzualizării nu există garanții privind latența.

Adaptoarele rulează pe GPU-uri partajate cu adaptoarele altor clienți. Pentru volumele de lucru care necesită latență constantă, GPU-uri izolate, o anumită regiune sau servire cu precizie mai mare, opțiunea recomandată este implementarea dedicată; serviciul serverless este destinat experimentării și traficului cu variații bruște.

Controale pentru companii și implementare suverană

Guvernanța modelelor, controalele cheltuielilor și jurnalele de audit exportabile sunt acum disponibile în general. Gestionarea centralizată a conturilor, controalele regionale asupra datelor și criptarea gestionată de client sunt în continuare în previzualizare.

Fireworks Sovereign, disponibil în previzualizare privată, rulează motorul de inferență al companiei în cloud-ul, neocloud-ul sau centrul de date al clientului. Inferența și antrenarea rămân în mediul clientului și se desfășoară conform politicilor acestuia de securitate și control al modificărilor. Fireworks afirmă că gestionează peste 25.000 de GPU-uri în mediile clienților.

Modelul operațional împarte responsabilitățile între cele două părți. Fireworks validează clusterul, implementează modelele și se ocupă de actualizări, monitorizare, optimizarea performanței și răspunsul la incidente, în timp ce clientul păstrează controlul asupra arhitecturii și politicilor. Clienții gestionează traficul de intrare, echilibrarea încărcării, DNS-ul, certificatele TLS și rutele de ieșire aprobate. Planul de control al Fireworks folosește un set de acreditări dedicat și auditabil, iar traficul de ieșire este limitat la descărcarea ponderilor modelelor și a imaginilor, precum și la telemetria operațională.

Fireworks afirmă că Sovereign oferă un debit cu 20% până la 50% mai mare pe hardware identic și de aproximativ 2,3 ori mai mulți tokeni pentru fiecare dolar cheltuit pe hardware. Opțiunea de extindere hibridă mută sarcinile de lucru eligibile în Fireworks Cloud, în regiuni aprobate de client, atunci când un cluster ajunge la capacitate maximă, apoi le readuce pe GPU-urile clientului pe măsură ce cererea scade, folosind aceeași API.

Gama Forge reunește alegerea modelului, costurile inferenței și controlul infrastructurii în cadrul aceleiași decizii la nivel de întreprindere. Principala precizare este că fiecare opțiune vine cu condiții operaționale diferite: adaptoarele fără server nu necesită capacitate dedicată, dar rulează pe GPU-uri partajate, fără garanții privind latența în versiunea de previzualizare, în timp ce Sovereign combină infrastructura deținută de client cu o stivă de servire operată de Fireworks.