KI-Modelle und Plattformen
Together AI bringt kontinuierliche Kompilierung in die Inferenz im Produktivbetrieb
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Together AI kündigte am 4. November 2026 Polymorphic Inference an und stellte Together Compiler als erste Implementierung vor. Das agentengesteuerte System passt die Inferenz kontinuierlich an veränderte Modelle, Datenverkehr und Hardware an und läuft bereits für viele der wichtigsten Inferenz-Workloads des Unternehmens im Produktivbetrieb sowie auf einigen beliebten Serverless-Endpunkten.
Laut Together AI erzielte der Compiler innerhalb von weniger als 24 Stunden bei Tests mit Kimi K3, GLM 5.3, MiniMax M3.1-Flash und DeepSeek v4.1-Flash eine 1,3- bis 3-mal höhere Token-Rate pro Sekunde als hochoptimierte Open-Source-Baselines. Diese Ergebnisse veranschaulichen die zentrale These der Ankündigung: Optimierung kann als fortlaufender, an eine konkrete Bereitstellung gebundener Suchprozess erfolgen, statt als manuelle Feinabstimmung, die zum Start abgeschlossen ist und danach unverändert bleibt.
Veränderliche Modelle, Datenverkehr und Hardware
Polymorphic Inference ist Together AIs Bezeichnung für eine Serving-Infrastruktur, die sich an schnellere Modellveröffentlichungen, vielfältige Architekturen, wechselnde Datenverkehrsmuster und Service-Level-Anforderungen sowie häufigere Hardwareänderungen anpasst. Der gegensätzliche statische Ansatz geht von einer festgelegten Engine-Konfiguration aus. Eine für eine bestimmte Umgebung optimierte Konfiguration eignet sich nicht zwangsläufig auch für eine andere – insbesondere dann nicht, wenn sich Modellverhalten und Verteilung der Anfragen ändern.
Die Beobachtungen des Unternehmens aus dem Produktivbetrieb liefern konkrete Beispiele. Together AI berichtet, dass Prompts während der Arbeitszeiten in einem Land etwa 97.000 Tokens erreichten, verglichen mit 70.000 andernorts, und dass die Prompt-Längen in den zwei Wochen nach der Veröffentlichung eines Modells um 80 % zunahmen, als sich die Nutzung stärker auf agentische Workloads verlagerte. Auch können Lastspitzen bei Kunden die Prompt-Längen verdoppeln und die Cache-Trefferraten senken. Dadurch ändern sich die Bedingungen, unter denen eine bestehende Konfiguration optimiert wurde.
Die Ankündigung rückt auch den früheren Schwerpunkt von Together AI auf Megakernels in ein neues Licht. Dabei werden mehrere Operationen in einem einzelnen Kernel zusammengeführt. Nachdem das Unternehmen frühe Versionen im Produktivbetrieb eingesetzt hatte, kam es zu dem Schluss, dass das Zusammenführen allein kein universelles Entwicklungsziel ist: Mixture-of-Experts-Architekturen und dynamische Workloads können andere Techniken erfordern. Auch können Kernel, die für festen oder zufälligen Datenverkehr entwickelt wurden, für den Produktionsverkehr falsch abgestimmt sein, wenn das datenabhängige Routing beeinflusst, welche Optimierungen am besten funktionieren.
So funktioniert die kontinuierliche Kompilierung
Together Compiler verwendet das Datenverkehrsmuster, das Modell und die Hardware als Eingaben und lässt anschließend Agenten mögliche Optimierungen für eine Inferenz-Engine erzeugen und messen. Eine dauerhaft laufende Engine lädt das Modell einmal und lädt mögliche Vorwärtsläufe im laufenden Betrieb neu, ohne die gesamte Engine neu zu starten. Parallel arbeitende Agenten erzeugen Kandidaten und tauschen sich über ein Nachrichtenboard aus. So bleiben Experimente in der Warteschlange, während andere Agenten Schlussfolgerungen ziehen oder Werkzeuge verwenden.
Zwei Messtufen schaffen einen Ausgleich zwischen der Zahl der Experimente und der Praxisnähe. Schnelle Engines laden eine Teilmenge der Schichten, um rasche Iterationen und Messungen mit geringer Varianz zu ermöglichen; langsamere Engines laden mehr Schichten, um zu prüfen, ob die Kandidaten sich auch bei realistischen Datenverteilungen bewähren. Ein separates Kostenmodell kombiniert Hardwarespezifikationen, Mikrobenchmarks und gemessene Vorwärtsläufe, um die Suche nach Parallelisierungskonfigurationen einzugrenzen, bevor die Agenten Zeit in die Optimierung von Kandidaten investieren.
Im Fachartikel heißt es, dass erfolgreiche Kandidaten vor ihrem Einsatz Verifikationstests auf Verunreinigungen des KV-Caches und auf die Ausgabequalität durchlaufen. Die Prüfungen erfolgen, nachdem das Optimierungsbudget aufgebraucht ist und der endgültige Quellcode für die Integration in die Serving-Engine vorbereitet wird.
Der Vergleich der Startzeiten im Ankündigungsbeitrag gibt für die herkömmliche Vorgehensweise 467 Sekunden bis zur Bereitstellung an, gegenüber 9,0 Sekunden mit der Einrichtung von Together Compiler. Diese Werte beziehen sich auf den Start der Engine während der Optimierung, nicht auf die Latenz einzelner Anfragen. Sie verdeutlichen, warum das Neuladen im laufenden Betrieb für den Experimentdurchsatz des Systems zentral ist.
Umfang der Evaluierung und Zugang für Kunden
Für die Engine-Vergleiche verwendete der Fachartikel führende offene Konfigurationen mit Stand vom 30. Oktober 2026 und hielt die Parallelisierungsstrategie der Baseline konstant, um die Wirkung agentischer Optimierung isoliert zu untersuchen. Trainium2 bildete die offengelegte Ausnahme vom üblichen Evaluierungs-Workload: Dafür kam ein synthetischer Datensatz mit mehreren Gesprächsrunden zum Einsatz, da die Implementierung bei der verfügbaren HBM-Kapazität noch keine höhere Zahl gleichzeitiger Anfragen unterstützte.
Together AI führt die Optimierungsergebnisse zum Teil auf einen um den Faktor 252 höheren Experimentdurchsatz als bei agentischen Baseline-Systemen zur Optimierung durch rekursive Selbstverbesserung zurück.
Über die Inferenz von Sprachmodellen hinaus berichtet der Fachartikel von Beschleunigungen um den Faktor 1,5 bis 6,4 bei getesteten Wetter-, Biologie-, Zeitreihen- und Modellen partieller Differentialgleichungen. Bei den angegebenen Evaluierungen blieben die Ausgaben dabei bitgenau.
Endkunden können über eine begrenzte Betaphase einen vorzeitigen Zugang beantragen. Together AI plant eine Optimierung dedizierter Endpunkte mit nur einem Klick. Die Forschungsroadmap des Unternehmens umfasst außerdem spekulatives Dekodieren, das sich an Domäne, Anfrage, Token und Datenverkehrslast anpasst, sowie dynamisches Routing über Worker und Bereitstellungskonfigurationen hinweg, um heterogenen Serverless-Datenverkehr zu bewältigen.
Mit der Einführung wird die messungsspezifische Auswertung der jeweiligen Bereitstellung zum Leitprinzip des Inferenz-Stacks von Together AI – nicht ein universell optimaler Kernel. Für Kunden stellt sich zunächst die Frage, ob sich die gemeldeten Leistungssteigerungen in der begrenzten Betaphase mit ihren eigenen Modellen, ihrem Datenverkehr und ihrer Hardware reproduzieren lassen und dabei dieselben Qualitätsprüfungen bestehen – genau auf diese Unterschiede ist Continuous Compilation ausgelegt.
