Fireworks kündigt schnellere Agenteninferenz und souveräne Bereitstellung an

Fireworks kündigte am 3. November 2026 auf seiner ersten jährlichen Forge-Konferenz eine Reihe von KI-Produkten für Unternehmen an. Im Mittelpunkt stand eine Vorschau auf Ultra-fast-Inferenz, die laut Unternehmen bei DeepSeek V4.1 Flash bis zu 1.500 Token pro Sekunde erreichte. Hinzu kamen Tools für Modellrouting, Evaluierung und spezialisiertes Serving sowie eine private Vorschau von Fireworks Sovereign für kundeneigene Infrastruktur.

Inferenzgeschwindigkeit und Kosten auf die jeweilige Arbeitslast abstimmen

Ultra-fast befindet sich auf NVIDIA Blackwell-GPUs in der öffentlichen Vorschau und ist für mehrstufige Agenten ausgelegt, bei denen jeder Modellaufruf die Wartezeit auf ein Ergebnis verlängert. Fireworks zufolge sank die Bearbeitungszeit seines Agenten-Benchmarks mit 30 Durchläufen durch Ultra-fast von einer Minute auf acht Sekunden. Die Funktion ist auf zeitkritische Aufgaben ausgerichtet; für Aufgaben, die warten können, gibt es günstigere Optionen.

Für Aufgaben, bei denen Verzögerungen unproblematisch sind, führt der Background Mode geeignete Tätigkeiten – etwa die Erstellung von Evaluierungsdaten und nächtliche Recherchen – zum halben Preis aus. Multi-day Prompt Caching zielt darauf ab, die Kosten für wiederholt verwendeten Kontext zu senken. Höhere Serverless-Ratenlimits und Elastic Burst sind für arbeitsintensivere Workloads allgemein verfügbar. Bei vorhandener freier Kapazität kann Elastic Burst die übliche Nutzungsobergrenze eines Kunden überschreiten, ohne dass Code- oder Preisänderungen erforderlich sind.

Ein Fireworks-Benchmark vom 14. September 2026 zu DeepSeek V4.1 Flash zeigt, warum wiederholt verwendeter Kontext eine Rolle spielt. Im DeepSWE-Durchlauf waren 99,6 % der Eingabe-Token Cache-Treffer, und die Kosten für Cache-Treffer machten 60 % der Rechnung aus. Diese Aufschlüsselung zeigt, dass wiederholt verwendeter Kontext bei lang laufenden Agenten ein wesentlicher Ansatzpunkt zur Kostensenkung ist, statt die erzeugte Ausgabe als einzige Kostenquelle zu betrachten.

Dasselbe Kostenthema betrifft die Spezialisierung von Modellen. Ember-1, das am 23. September 2026 als serverlose Forschungsvorschau vorgestellt wurde, benötigte in den Evaluierungen von Fireworks bei vergleichbarer Qualität etwa 40 % weniger Token als Kimi K3. Es ist über serverlose und dedizierte Bereitstellungen verfügbar.

Nexus Desktop und Abonnementpreise

Fireworks Nexus leitet Anfragen innerhalb vorhandener Programmier- und Kollaborationstools an offene und geschlossene Modelle weiter und berücksichtigt dabei eine personalisierte Modellauswahl sowie den Cache. Außerdem bündelt es für Unternehmen die Ausgabenübersicht und Kontrollmöglichkeiten. Nexus Desktop wurde zusammen mit der bereits verfügbaren Nexus CLI eingeführt. Nexus läuft in der Codex-App, in Claude Desktop und in OpenCode.

Die neuen Nexus-Pro-Tarife beginnen bei 8 $ pro Monat, die Teams-Tarife bei 10 $ pro Sitzplatz und Monat. Die Enterprise-Tarife umfassen zusätzlich Single Sign-on, Governance, gemeinsame Budgets und Zugriffskontrollen.

Die Dokumentation zu Nexus Desktop führt einen universellen macOS-Build für Macs mit Apple Silicon und Intel-Prozessoren auf; Unterstützung für Linux und Windows soll in Kürze folgen. Die CLI läuft unter macOS und Linux und bietet eingeschränkte Windows-Unterstützung über Git Bash. Zu den Desktop-Verbindungen zählen ChatGPT, Claude Code, Cursor IDE, VS Code und OpenCode. Die Unterstützung für Claude Desktop wird als eingeschränkt beschrieben.

Evaluierung und spezialisiertes Modell-Serving

No Eval, das sich derzeit in der privaten Vorschau befindet, nutzt Ablaufspuren aus Produktivsystemen und Signale aus Produkten, um Evaluierungen für bestimmte Aufgaben zu erstellen. Diese Evaluierungen sollen Schwächen von Modellen aufdecken und zeigen, ob sie durch späteres Training behoben werden. Damit adressiert No Eval einen Arbeitsaufwand, für den andernfalls wochenlang Daten gekennzeichnet und bewertet werden müssten.

Spezialisierte Modellinferenz ist in die öffentliche Vorschau gestartet. Damit lassen sich LoRA-Adapter zunächst mit GLM 5.3 Flash auf dem gemeinsam genutzten serverlosen Pool von Fireworks bereitstellen. Kunden zahlen pro Token den serverlosen Preis des Basismodells, ohne eine Bereitstellung einrichten zu müssen. Für das Laden eines Adapters, dessen Bereithalten und Leerlaufzeit fallen keine Serving-Gebühren an; das Training wird separat berechnet.

Für GLM 5.3 Flash gelten laut Dokumentation folgende Preise: 0,15 $ pro Million Eingabe-Token, 0,03 $ pro Million zwischengespeicherte Eingabe-Token und 0,50 $ pro Million Ausgabe-Token.

Die Vorschau unterstützt einen maximalen LoRA-Rang von 64 und bis zu drei geladene Adapter pro Konto für das Basismodell. Fireworks gibt eine Ladezeit von unter fünf Minuten an. Die erste Anfrage kann bis zu eine Minute dauern, nachfolgende Anfragen haben ungefähr die Latenz des Basismodells. Während der Vorschau werden keine Latenzgarantien gegeben.

Die Adapter laufen auf GPUs, die auch von den Adaptern anderer Kunden genutzt werden. Für Workloads, die eine gleichbleibende Latenz, isolierte GPUs, eine bestimmte Region oder Serving mit höherer Genauigkeit erfordern, werden dedizierte Bereitstellungen empfohlen. Serverless eignet sich vor allem für Experimente und stark schwankenden Datenverkehr.

Unternehmenskontrollen und souveräne Bereitstellung

Modell-Governance, Ausgabenkontrollen und exportierbare Prüfprotokolle sind jetzt allgemein verfügbar. Die zentrale Kontoverwaltung, regionale Datenkontrollen und kundenseitig verwaltete Verschlüsselung befinden sich weiterhin in der Vorschau.

Fireworks Sovereign befindet sich in der privaten Vorschau und führt die Inferenz-Engine des Unternehmens in der Cloud, einer Neocloud oder einem Rechenzentrum des Kunden aus. Inferenz und Training bleiben innerhalb der Kundenumgebung und unterliegen deren Sicherheitsrichtlinien und Änderungsprozessen. Fireworks gibt an, mehr als 25.000 GPUs in Kundenumgebungen zu verwalten.

Das Betriebsmodell teilt die Zuständigkeiten zwischen den beiden Parteien auf. Fireworks qualifiziert den Cluster, stellt Modelle bereit und kümmert sich um Upgrades, Überwachung, Leistungsoptimierung und die Reaktion auf Vorfälle, während der Kunde die Architektur und die Richtlinien verantwortet. Die Kunden verwalten den eingehenden Datenverkehr, den Lastenausgleich, DNS, TLS-Zertifikate und genehmigte ausgehende Verbindungen. Die Steuerungsebene von Fireworks verwendet eigens dafür vorgesehene, auditierbare Zugangsdaten. Der ausgehende Datenverkehr ist auf das Abrufen von Modellgewichten und Images sowie auf betriebliche Telemetriedaten beschränkt.

Fireworks zufolge liefert Sovereign auf identischer Hardware einen um 20 % bis 50 % höheren Durchsatz und etwa 2,3-mal so viele Tokens pro in Hardware investiertem Dollar. Bei der optionalen hybriden Ausweichkapazität werden geeignete Workloads in vom Kunden genehmigte Regionen der Fireworks Cloud verlagert, sobald ein Cluster ausgelastet ist. Wenn die Nachfrage sinkt, werden sie über dieselbe API wieder auf die GPUs des Kunden zurückgeführt.

Die Forge-Produktreihe macht Modellauswahl, Wirtschaftlichkeit der Inferenz und Kontrolle über die Infrastruktur zu Bestandteilen derselben Unternehmensentscheidung. Entscheidend ist dabei, dass für jede Option andere Betriebsbedingungen gelten: Serverless-Adapter kommen ohne dedizierte Kapazität aus, laufen jedoch auf gemeinsam genutzten GPUs und bieten in der Vorschau keine garantierten Latenzzeiten. Sovereign wiederum verbindet eine kundeneigene Infrastruktur mit einem von Fireworks betriebenen Serving-Stack.