Together AI přináší průběžnou kompilaci do produkční inference

Společnost Together AI oznámila 4. listopadu 2026 polymorfní inferenci a představila kompilátor Together jako její první implementaci. Systém řízený agenty průběžně znovu optimalizuje inferenci pro měnící se modely, provoz a hardware a již běží v mnoha nejvýznamnějších produkčních inferenčních úlohách společnosti i na některých oblíbených bezserverových koncových bodech.

Together AI uvádí, že kompilátor dosáhl při testech modelů Kimi K3, GLM 5.3, MiniMax M3.1-Flash a DeepSeek v4.1-Flash během méně než 24 hodin 1,3 až 3násobného počtu tokenů za sekundu oproti vysoce optimalizovaným základním řešením s otevřeným zdrojovým kódem. Tyto výsledky vystihují hlavní myšlenku oznámení: optimalizace může být průběžným hledáním přizpůsobeným konkrétnímu nasazení, nikoli jednorázovým manuálním laděním, které se při spuštění zafixuje.

Měnící se modely, provoz a hardware

Polymorphic Inference je označení, které Together AI používá pro obslužnou infrastrukturu přizpůsobující se rychlejšímu vydávání modelů, různorodým architekturám, měnícím se vzorcům provozu a požadavkům na úroveň služeb i častějším změnám hardwaru. Oproti tomu statický přístup vychází z pevně dané konfigurace inferenčního enginu. Konfigurace vyladěná pro jednu situaci nemusí být vhodná pro jinou, zvlášť když se mění chování modelu a rozložení požadavků.

Pozorování společnosti z produkčního provozu dokládají tento problém konkrétními příklady. Together AI uvádí, že během pracovní doby v jedné zemi dosahovaly prompty přibližně 97 000 tokenů, zatímco jinde to bylo 70 000, a že délka promptů během dvou týdnů po vydání jednoho modelu vzrostla o 80 %, protože se využití přesunulo k úlohám s autonomními agenty. Nárazové zvýšení provozu u zákazníků může také zdvojnásobit délku promptů a snížit míru zásahů do mezipaměti, čímž se změní podmínky, pro které byla stávající konfigurace vyladěna.

Oznámení také mění dřívější důraz Together AI na megajádra, která slučují operace do jediného jádra. Po nasazení raných verzí do produkčního provozu společnost dospěla k závěru, že samotné slučování není univerzálním cílem návrhu: architektury typu směsi expertů a dynamické úlohy mohou vyžadovat odlišné techniky. Jádra vyvíjená pro pevně daný nebo náhodný provoz mohou být podobně špatně nastavena pro produkční provoz, v němž směrování závislé na datech ovlivňuje, které optimalizace přinesou nejlepší výsledky.

Jak funguje průběžná kompilace

Together Compiler přijímá jako vstupy charakter provozu, model a hardware a poté pomocí agentů vytváří a měří potenciální optimalizace pro inferenční engine. Trvale běžící engine načte model jednou a za chodu znovu načítá kandidátní dopředné průchody, aniž by bylo nutné restartovat celý engine. Paralelně pracující agenti vytvářejí kandidáty a komunikují prostřednictvím nástěnky zpráv, takže experimenty zůstávají ve frontě, zatímco ostatní agenti uvažují nebo používají nástroje.

Dvě úrovně měření vyvažují objem experimentů a věrnost reálným podmínkám. Rychlé enginy načítají podmnožinu vrstev, aby umožnily rychlé iterace a měření s nízkým rozptylem; pomalejší enginy načítají více vrstev, aby ověřily, zda se kandidátní řešení osvědčí na realistickém rozložení dat. Samostatný nákladový model kombinuje hardwarové specifikace, mikrobenchmarky a naměřené dopředné průchody, aby zúžil hledání konfigurace paralelismu ještě předtím, než agenti začnou věnovat čas optimalizaci kandidátů.

Odborný článek uvádí, že vítězné kandidáty před nasazením čekají ověřovací testy zaměřené na kontaminaci mezipaměti KV a kvalitu výstupů. Kontroly se provádějí po vyčerpání rozpočtu na optimalizaci, když se připravuje finální zdrojový kód k integraci do obslužného enginu.

Srovnání spuštění uvedené v příspěvku k oznámení uvádí, že u dosavadního postupu trvalo spuštění enginu a jeho uvedení do provozu 467 sekund, zatímco s nastavením Together Compileru to bylo 9,0 sekundy. Tyto hodnoty se týkají spouštění enginu během optimalizace, nikoli latence jednotlivých požadavků, a pomáhají vysvětlit, proč je opětovné načítání za chodu pro propustnost experimentování zásadní.

Rozsah vyhodnocení a přístup zákazníků

Pro srovnání enginů článek použil přední otevřené konfigurace dostupné k 30. říjnu 2026 a při izolování vlivu optimalizace řízené agenty ponechal strategii paralelismu základního řešení beze změny. Trainium2 byl uvedenou výjimkou oproti standardní vyhodnocovací zátěži: použil syntetickou vícetahovou datovou sadu, protože implementace zatím nepodporovala vyšší míru souběžnosti v rámci dostupné kapacity HBM.

Together AI připisuje dosažené výsledky optimalizace zčásti 252krát vyšší propustnosti experimentů oproti základním systémům agentické optimalizace založené na rekurzivním sebezdokonalování.

Kromě inference jazykových modelů článek uvádí 1,5 až 6,4násobné zrychlení u testovaných modelů počasí, biologie, časových řad a parciálních diferenciálních rovnic při zachování bitově přesných výstupů v uvedených evaluacích.

Koncoví zákazníci mohou požádat o přednostní přístup v rámci omezené betaverze. Together AI plánuje optimalizaci vyhrazených koncových bodů jedním kliknutím; výzkumný plán společnosti zahrnuje také spekulativní dekódování přizpůsobující se podle domény, požadavku, tokenu a objemu provozu, a dále dynamické směrování mezi pracovními uzly a konfiguracemi nasazení pro různorodý bezserverový provoz.

Uvedení na trh staví do centra inferenční infrastruktury Together AI měření pro konkrétní nasazení, nikoli hledání univerzálně optimálního jádra. Pro zákazníky je nyní zásadní otázkou, zda omezená beta dokáže zopakovat uváděné zlepšení na jejich vlastních modelech, při jejich provozním zatížení a na jejich hardwaru a zároveň projít stejnými kontrolami kvality — právě s těmito rozdíly si má poradit Continuous Compilation.