Fireworks kondigt snellere inferentie voor agents en soevereine implementatie aan

Fireworks kondigde op 3 november 2026 tijdens zijn eerste jaarlijkse Forge-conferentie een reeks zakelijke AI-producten aan. Daartoe behoort een preview van Ultra-fast-inferentie, die volgens Fireworks tot 1.500 tokens per seconde haalde op DeepSeek V4.1 Flash. Ook kondigde het bedrijf tools aan voor modelroutering, evaluatie en gespecialiseerde serving, plus een besloten preview van Fireworks Sovereign voor infrastructuur die eigendom is van de klant.

Inferentiesnelheid en -kosten afstemmen op de werklast

Ultra-fast is als openbare preview beschikbaar op NVIDIA Blackwell-GPU’s en is ontworpen voor agents die meerdere stappen uitvoeren, waarbij elke modelaanroep de wachttijd op een resultaat verlengt. Fireworks meldde dat de voltooiingstijd voor zijn benchmark met een agent die 30 beurten doorloopt, met Ultra-fast daalde van één minuut naar acht seconden. De mogelijkheid is bedoeld voor tijdgevoelig werk; voor taken die kunnen wachten, zijn er goedkopere opties.

Voor werk waarbij vertraging geen probleem is, voert Background Mode geschikte taken, zoals het genereren van evaluatiegegevens en nachtelijk onderzoek, uit voor de helft van de prijs. Multi-day Prompt Caching is gericht op de kosten van herhaalde context. Hogere serverless-tarieflimieten en Elastic Burst zijn algemeen beschikbaar voor drukkere werklasten. Elastic Burst kan de normale gebruikslimiet van een klant overschrijden wanneer er reservecapaciteit beschikbaar is, zonder wijzigingen in de code of prijzen.

Een benchmark van Fireworks van 14 september 2026 voor DeepSeek V4.1 Flash laat zien waarom herhaalde context ertoe doet. Bij de DeepSWE-run bestond 99,6% van de invoertokens uit cachetreffers, en waren de kosten voor cachetreffers goed voor 60% van de rekening. Uit die uitsplitsing blijkt dat herhaalde context een aanzienlijke kostenpost is waarop langlopende agents zich kunnen richten, in plaats van gegenereerde uitvoer als enige bron van uitgaven te beschouwen.

Dezelfde aandacht voor kosten geldt voor modelspecialisatie. Ember-1, dat op 23 september 2026 werd geïntroduceerd als serverless-onderzoekspreview, gebruikte in evaluaties van Fireworks ongeveer 40% minder tokens dan Kimi K3 bij vergelijkbare kwaliteit. Het is beschikbaar voor serverless- en toegewezen implementaties.

Nexus Desktop en abonnementsprijzen

Fireworks Nexus routeert tussen open en gesloten modellen binnen bestaande tools voor programmeren en samenwerken, met gepersonaliseerde modelselectie en inzicht in caches. Ook biedt het organisaties een centraal overzicht van uitgaven en de bijbehorende beheeropties. Nexus Desktop werd gelanceerd naast de bestaande Nexus CLI; Nexus werkt in de Codex-app, Claude Desktop en OpenCode.

Nieuwe Nexus Pro-abonnementen beginnen bij $8 per maand, terwijl Teams-abonnementen beginnen bij $10 per gebruiker per maand. Enterprise-abonnementen bieden daarnaast eenmalige aanmelding, governance, gedeelde budgetten en toegangsbeheer.

De documentatie van Nexus Desktop vermeldt een universele macOS-build voor Macs met Apple silicon en Intel-processors. Ondersteuning voor Linux en Windows volgt binnenkort. De CLI werkt op macOS en Linux, met beperkte Windows-ondersteuning via Git Bash. Desktopverbindingen zijn beschikbaar met ChatGPT, Claude Code, Cursor IDE, VS Code en OpenCode; de ondersteuning voor Claude Desktop wordt als beperkt omschreven.

Evaluatie en gespecialiseerde modelserving

No Eval, dat nu beschikbaar is als besloten preview, gebruikt traces van productiesystemen en signalen uit producten om evaluaties voor specifieke taken samen te stellen. De evaluaties zijn bedoeld om zwakke punten van modellen bloot te leggen en te laten zien of latere training die verhelpt. Zo pakt de functie werk aan waarvoor anders weken nodig kunnen zijn om gegevens te labelen en te beoordelen.

Inferentie met gespecialiseerde modellen is als openbare preview beschikbaar gekomen voor het aanbieden van LoRA-adapters op de gedeelde serverless-pool van Fireworks, aanvankelijk met GLM 5.3 Flash. Klanten betalen per token tegen het serverless-tarief van het basismodel, zonder een implementatie aan te maken. Voor het laden van een adapter, het geladen houden ervan en inactieve tijd worden geen servingkosten in rekening gebracht; training wordt afzonderlijk gefactureerd.

Voor GLM 5.3 Flash gelden volgens de documentatie de volgende tarieven: $0,15 per miljoen invoertokens, $0,03 per miljoen gecachte invoertokens en $0,50 per miljoen uitvoertokens.

De preview ondersteunt een maximale LoRA-rang van 64 en maximaal drie geladen adapters per account voor het basismodel. Volgens Fireworks duurt het laden minder dan vijf minuten, kan de eerste aanvraag maximaal één minuut duren en verlopen volgende aanvragen met ongeveer de latentie van het basismodel. Tijdens de preview worden geen latenties gegarandeerd.

Adapters draaien op GPU’s die worden gedeeld met de adapters van andere klanten. Voor werklasten die een consistente latentie, geïsoleerde GPU’s, een specifieke regio of serving met hogere precisie vereisen, worden toegewezen implementaties aanbevolen. Serverless is bedoeld voor experimenten en piekverkeer.

Bedrijfsbeheer en soevereine implementatie

Modelbeheer, uitgavenbeheer en exporteerbare auditlogboeken zijn nu algemeen beschikbaar. Gecentraliseerd accountbeheer, regionale gegevensbeheeropties en door de klant beheerde versleuteling zijn nog in de previewfase.

Fireworks Sovereign, dat beschikbaar is als besloten preview, draait de inferentie-engine van het bedrijf in de cloud, neocloud of het datacenter van de klant. Inferentie en training blijven binnen de omgeving van de klant en vallen onder diens beveiligings- en wijzigingsbeheerbeleid. Fireworks meldt dat het meer dan 25.000 GPU’s beheert in omgevingen van klanten.

Het operationele model verdeelt de verantwoordelijkheid tussen beide partijen. Fireworks kwalificeert het cluster, implementeert modellen en verzorgt upgrades, monitoring, prestatieoptimalisatie en incidentrespons, terwijl de klant eigenaar blijft van de architectuur en het beleid. Klanten beheren inkomend verkeer, loadbalancing, DNS, TLS-certificaten en goedgekeurde uitgaande routes. Het besturingsvlak van Fireworks gebruikt een speciaal controleerbaar toegangsgegeven; uitgaand verkeer is beperkt tot het ophalen van modelgewichten en images, plus operationele telemetrie.

Volgens Fireworks levert Sovereign op identieke hardware 20% tot 50% meer doorvoer en ongeveer 2,3 keer zoveel tokens per dollar aan hardwarekosten. Met de optionele hybride overloop worden daarvoor in aanmerking komende workloads verplaatst naar Fireworks Cloud in door de klant goedgekeurde regio’s zodra een cluster verzadigd raakt. Als de vraag afneemt, worden ze teruggezet naar de GPU’s van de klant. Daarbij wordt dezelfde API gebruikt.

Het Forge-aanbod maakt de modelkeuze, de kosten van inferentie en de controle over de infrastructuur onderdeel van dezelfde zakelijke beslissing. De belangrijkste kanttekening is dat elke optie andere operationele voorwaarden heeft: serverloze adapters vereisen geen gereserveerde capaciteit, maar draaien op gedeelde GPU’s en bieden tijdens de preview geen latentiegaranties. Sovereign combineert infrastructuur in eigendom van de klant met een stack voor modelbediening die door Fireworks wordt beheerd.