Fireworks annoncerer hurtigere inferens for agenter og suveræn drift

Fireworks annoncerede en række AI-produkter til virksomheder den 3. november 2026 på sin første årlige Forge-konference. Blandt nyhederne var en forhåndsvisning af Ultra-fast-inferens, som ifølge virksomheden nåede op på 1.500 tokens i sekundet med DeepSeek V4.1 Flash, samt værktøjer til modelrouting, evaluering, specialiseret drift og en privat forhåndsvisning af Fireworks Sovereign til infrastruktur, som kunderne selv ejer.

Tilpas inferenshastighed og -omkostninger til arbejdsbyrden

Ultra-fast er i offentlig forhåndsvisning på NVIDIA Blackwell-GPU’er og er udviklet til agenter, der udfører flere trin, hvor hvert modelkald lægger ekstra ventetid til, før resultatet foreligger. Fireworks oplyste, at gennemførelsestiden for virksomhedens benchmark med en agent på 30 ture faldt fra ét minut til otte sekunder med Ultra-fast. Funktionen er rettet mod tidsfølsomme opgaver, mens billigere muligheder er tilgængelige for opgaver, der godt kan vente.

Til opgaver, hvor forsinkelse ikke er et problem, kører Background Mode kvalificerede opgaver, såsom generering af evalueringsdata og research natten over, til halv pris. Multi-day Prompt Caching skal reducere omkostningerne ved gentagen kontekst. Højere hastighedsgrænser for serverløs drift og Elastic Burst er generelt tilgængelige til større arbejdsbelastninger. Elastic Burst kan overskride kundens normale forbrugsloft, når der er ledig kapacitet, uden ændringer af kode eller priser.

Et Fireworks-benchmark af DeepSeek V4.1 Flash fra 14. september 2026 viser, hvorfor gentagen kontekst er vigtig. I kørslen med DeepSWE var 99,6 % af inputtokens cachehits, og gebyrerne for cachehits udgjorde 60 % af regningen. Denne fordeling gør gentagen kontekst til et væsentligt mål for omkostningsreduktion i langvarige agentforløb, i stedet for kun at betragte genereret output som en udgiftspost.

Det samme fokus på omkostninger gælder specialisering af modeller. Ember-1, der blev introduceret den 23. september 2026 som en serverløs Research Preview, brugte omkring 40 % færre tokens end Kimi K3 ved sammenlignelig kvalitet i Fireworks’ evalueringer. Den er tilgængelig til serverløs drift og i dedikerede implementeringer.

Nexus Desktop og abonnementspriser

Fireworks Nexus dirigerer forespørgsler på tværs af åbne og lukkede modeller i eksisterende værktøjer til kodning og samarbejde ved hjælp af personligt tilpasset modelvalg og cachebevidsthed. Løsningen samler også organisationers indsigt i forbrug og styring ét sted. Nexus Desktop blev lanceret sammen med det eksisterende Nexus CLI, og Nexus kan bruges i Codex-appen, Claude Desktop og OpenCode.

De nye Nexus Pro-abonnementer starter ved 8 $ om måneden, mens Teams-abonnementer starter ved 10 $ pr. bruger pr. måned. Enterprise-abonnementer omfatter single sign-on, styring, fælles budgetter og adgangskontroller.

Dokumentationen til Nexus Desktop beskriver en universel macOS-version til Mac-computere med Apple-chip og Intel-processorer samt kommende understøttelse af Linux og Windows. CLI’et kører på macOS og Linux og har begrænset understøttelse af Windows via Git Bash. Desktop-forbindelser omfatter ChatGPT, Claude Code, Cursor IDE, VS Code og OpenCode, mens understøttelsen af Claude Desktop beskrives som begrænset.

Evaluering og specialiseret modeldrift

No Eval, der nu er i privat forhåndsvisning, bruger sporingsdata fra produktionssystemer og signaler fra produkter til at opbygge evalueringer af specifikke opgaver. Evalueringerne skal afdække modellernes svagheder og vise, om senere træning afhjælper dem. Dermed løser værktøjet en opgave, som ellers kan kræve flere ugers dataannotering og bedømmelse.

Specialiseret modelinferens gik i offentlig forhåndsvisning til drift af LoRA-adaptere på Fireworks’ fælles serverløse pulje, i første omgang med GLM 5.3 Flash. Kunder betaler pr. token til basismodellens serverløse pris uden at skulle oprette en implementering. Der opkræves ikke betaling for at indlæse en adapter, holde den indlæst eller for inaktiv tid, mens træning faktureres særskilt.

De offentliggjorte priser for GLM 5.3 Flash er 0,15 $ pr. million inputtokens, 0,03 $ pr. million cachelagrede inputtokens og 0,50 $ pr. million outputtokens.

Forhåndsvisningen understøtter en maksimal LoRA-rang på 64 og op til tre indlæste adaptere pr. konto til basismodellen. Ifølge Fireworks tager indlæsningen under fem minutter, den første forespørgsel kan tage op til ét minut, og efterfølgende forespørgsler har omtrent samme latenstid som basismodellen. Der gives ingen garantier for latenstid i forhåndsvisningsperioden.

Adaptere kører på GPU’er, der deles med andre kunders adaptere. Dedikerede implementeringer anbefales til arbejdsbelastninger, der kræver ensartet latenstid, isolerede GPU’er, en bestemt region eller drift med højere præcision. Serverløs drift er rettet mod eksperimenter og svingende trafik.

Virksomhedskontroller og suveræn drift

Modelstyring, forbrugskontroller og eksporterbare revisionslogfiler er nu generelt tilgængelige. Centraliseret kontoadministration, regionale datakontroller og kundestyret kryptering er stadig i forhåndsvisning.

Fireworks Sovereign, der er i privat forhåndsvisning, kører virksomhedens inferensmotor i kundens cloud, neocloud eller datacenter. Inferens og træning forbliver i kundens miljø og er underlagt kundens sikkerheds- og ændringsstyringspolitikker. Fireworks oplyser, at virksomheden administrerer mere end 25.000 GPU’er i kundemiljøer.

Driftsmodellen fordeler ansvaret mellem de to parter. Fireworks kvalificerer klyngen, implementerer modeller og står for opgraderinger, overvågning, optimering af ydeevnen og håndtering af hændelser, mens kunden fortsat ejer arkitekturen og fastlægger politikkerne. Kunderne håndterer indgående trafik, belastningsfordeling, DNS, TLS-certifikater og godkendte udgående forbindelser. Fireworks’ kontrolplan bruger en dedikeret, revisionsbar adgangsoplysning, og den udgående trafik er begrænset til hentning af modelvægte og aftryk samt operationelle telemetridata.

Fireworks oplyser, at Sovereign leverer 20 % til 50 % større gennemløb på identisk hardware og cirka 2,3 gange så mange tokens pr. dollar brugt på hardware. Med valgfri hybrid kapacitetsaflastning flyttes kvalificerede arbejdsbelastninger til Fireworks Cloud i områder, der er godkendt af kunden, når en klynge når sin kapacitetsgrænse. Når efterspørgslen falder, flyttes arbejdsbelastningerne tilbage til kundens GPU’er via det samme API.

Forge-serien gør valg af model, inferensøkonomi og kontrol over infrastrukturen til dele af den samme virksomhedsbeslutning. Det afgørende forbehold er, at hver mulighed har forskellige driftsvilkår: Serverløse adaptere kræver ikke dedikeret kapacitet, men kører på delte GPU’er uden garantier for latenstid i forhåndsvisningsfasen, mens Sovereign kombinerer kundeejet infrastruktur med en inferensstak, der drives af Fireworks.