Fireworks kunngjør raskere inferens for agenter og suveren utrulling

Fireworks kunngjorde en rekke AI-produkter for virksomheter 3. november 2026 på sin første årlige Forge-konferanse. Hovednyheten var en forhåndsvisning av Ultra-fast-inferens, som ifølge selskapet nådde opptil 1 500 tokens per sekund på DeepSeek V4.1 Flash. Samtidig ble det lansert verktøy for modellruting, evaluering og spesialisert modellbetjening, samt en lukket forhåndsvisning av Fireworks Sovereign for infrastruktur som eies av kunden.

Tilpass inferenshastighet og kostnader til arbeidsbelastningen

Ultra-fast er tilgjengelig i offentlig forhåndsvisning på NVIDIA Blackwell-GPU-er og er utviklet for agenter med flere trinn, der hvert modellkall øker ventetiden på et resultat. Fireworks rapporterte at gjennomføringstiden for selskapets agentreferansetest med 30 turer gikk ned fra ett minutt til åtte sekunder med Ultra-fast. Funksjonen er rettet mot tidssensitive oppgaver, mens rimeligere alternativer passer for oppgaver som kan vente.

For oppgaver som tåler forsinkelser, kjører Background Mode kvalifiserte oppgaver, som generering av evalueringsdata og forskning over natten, til halv pris. Multi-day Prompt Caching er rettet mot kostnadene ved gjentatt kontekst. Høyere hastighetsgrenser for serverløse tjenester og Elastic Burst er nå generelt tilgjengelige for større arbeidsbelastninger. Elastic Burst kan overskride kundens normale bruksgrense når det finnes ledig kapasitet, uten endringer i kode eller priser.

En Fireworks-benchmark av DeepSeek V4.1 Flash fra 14. september 2026 viser hvorfor gjentatt kontekst er viktig. I kjøringen av DeepSWE var 99,6 % av inndatatokenene cachetreff, og kostnadene for cachetreff utgjorde 60 % av regningen. Denne fordelingen viser at gjentatt kontekst er et vesentlig kostnadsmål for agenter som kjører over lang tid, i stedet for å behandle generert utdata som den eneste utgiftskilden.

Det samme kostnadsfokuset gjelder spesialisering av modeller. Ember-1, som ble introdusert 23. september 2026 som en serverløs forskningsforhåndsvisning, brukte omtrent 40 % færre tokens enn Kimi K3 ved sammenlignbar kvalitet i Fireworks’ evalueringer. Den er tilgjengelig både for serverløs drift og i dedikerte distribusjoner.

Nexus Desktop og abonnementspriser

Fireworks Nexus ruter mellom åpne og lukkede modeller i eksisterende kode- og samarbeidsverktøy ved hjelp av personlig modellvalg og cachebevissthet. Løsningen samler også oversikt over forbruk og styringskontroller for organisasjoner på ett sted. Nexus Desktop ble lansert sammen med den eksisterende Nexus CLI, og Nexus kan brukes i Codex-appen, Claude Desktop og OpenCode.

De nye Nexus Pro-abonnementene starter på 8 dollar per måned, mens Teams-abonnementene starter på 10 dollar per bruker per måned. Enterprise-abonnementene inkluderer enkel pålogging, styring, delte budsjetter og tilgangskontroller.

Dokumentasjonen for Nexus Desktop beskriver en universell macOS-versjon for Mac-maskiner med Apple silicon og Intel-prosessorer, med støtte for Linux og Windows på vei. CLI-en kjører på macOS og Linux, med begrenset Windows-støtte via Git Bash. Desktop kan kobles til ChatGPT, Claude Code, Cursor IDE, VS Code og OpenCode, mens støtten for Claude Desktop beskrives som begrenset.

Evaluering og spesialisert modellbetjening

No Eval, som nå er tilgjengelig i lukket forhåndsvisning, bruker spor fra produksjonssystemer og signaler fra produkter til å lage evalueringer for bestemte oppgaver. Evalueringene skal avdekke svakheter ved modeller og vise om senere trening løser dem. Dette tar for seg arbeid som ellers kan kreve flere uker med datamerking og vurdering.

Inferens for spesialiserte modeller ble tilgjengelig i offentlig forhåndsvisning for betjening av LoRA-adaptere i Fireworks’ delte serverløse ressursgruppe, i første omgang med GLM 5.3 Flash. Kundene betaler per token til den serverløse grunnprisen for basismodellen, uten å opprette en distribusjon. Det påløper ingen betjeningskostnader for å laste inn en adapter, holde den innlastet eller for inaktiv tid, mens trening faktureres separat.

For GLM 5.3 Flash er de oppgitte prisene 0,15 dollar per million inndatatokener, 0,03 dollar per million hurtigbufrede inndatatokener og 0,50 dollar per million utdata-tokener.

Forhåndsvisningen støtter en maksimal LoRA-rang på 64 og opptil tre innlastede adaptere per konto for basismodellen. Fireworks oppgir at innlasting tar under fem minutter, at den første forespørselen kan ta opptil ett minutt, og at påfølgende forespørsler har omtrent samme forsinkelse som basismodellen. Det gis ingen garantier for forsinkelse i forhåndsvisningsperioden.

Adaptere kjører på GPU-er som deles med andre kunders adaptere. Dedikerte distribusjoner anbefales for arbeidsbelastninger som krever stabil forsinkelse, isolerte GPU-er, en bestemt region eller betjening med høyere presisjon. Serverløs drift er beregnet på eksperimentering og varierende trafikk.

Styring for virksomheter og suveren utrulling

Modellstyring, forbrukskontroller og eksporterbare revisjonslogger er nå generelt tilgjengelige. Sentralisert kontoadministrasjon, regionale datakontroller og kundeadministrert kryptering er fortsatt i forhåndsvisning.

Fireworks Sovereign, som er tilgjengelig i lukket forhåndsvisning, kjører selskapets inferensmotor i kundens sky, neosky eller datasenter. Inferens og trening forblir i kundens miljø og underlagt kundens retningslinjer for sikkerhet og endringskontroll. Fireworks oppgir at selskapet administrerer mer enn 25 000 GPU-er i kundemiljøer.

Driftsmodellen fordeler ansvaret mellom de to partene. Fireworks godkjenner klyngen, distribuerer modeller og håndterer oppgraderinger, overvåking, ytelsesjustering og hendelseshåndtering, mens kunden beholder eierskapet til arkitekturen og retningslinjene. Kundene håndterer innkommende trafikk, lastbalansering, DNS, TLS-sertifikater og godkjente utgående ruter. Fireworks’ kontrollplan bruker en egen, reviderbar tilgangslegitimasjon, og utgående trafikk er begrenset til henting av modellvekter og containerbilder samt operasjonell telemetri.

Fireworks sier at Sovereign gir 20 % til 50 % høyere gjennomstrømning på identisk maskinvare og omtrent 2,3 ganger så mange tokener per dollar brukt på maskinvare. Med valgfri hybrid avlastning flyttes kvalifiserte arbeidsbelastninger til Fireworks Cloud i regioner som kunden har godkjent, når en klynge når kapasitetsgrensen. Når etterspørselen avtar, flyttes arbeidsbelastningene tilbake til kundens GPU-er. Den samme API-en brukes hele veien.

Forge-serien gjør valg av modeller, inferensøkonomi og kontroll over infrastrukturen til deler av den samme beslutningen på virksomhetsnivå. Det viktigste forbeholdet er at hvert alternativ har ulike driftsvilkår: Serverløse adaptere krever ikke dedikert kapasitet, men kjører på delte GPU-er uten garantier for ventetid i forhåndsvisningsfasen, mens Sovereign kombinerer infrastruktur som kunden eier, med en inferensstakk som driftes av Fireworks.