Together AI tar kontinuerlig kompilering till inferens i produktionsmiljö

Together AI tillkännagav polymorf inferens den 4 november 2026 och presenterade Together Compiler som sin första implementation. Det agentdrivna systemet finjusterar kontinuerligt inferensen efter förändringar i modeller, trafik och hårdvara, och används redan för många av företagets viktigaste inferensarbetslaster i produktionsmiljö och för vissa populära serverlösa slutpunkter.

Together AI uppger att kompilatorn på mindre än 24 timmar levererade 1,3 till 3 gånger så många token per sekund som högoptimerade baslinjer med öppen källkod, i tester med Kimi K3, GLM 5.3, MiniMax M3.1-Flash och DeepSeek v4.1-Flash. Resultaten lyfter fram tillkännagivandets huvudbudskap: optimering kan vara en fortlöpande sökprocess knuten till en driftsättning, snarare än en omgång manuell finjustering som låses vid lanseringen.

Modeller, trafik och hårdvara i förändring

Polymorf inferens är Together AI:s benämning på serveringsinfrastruktur som anpassas till snabbare modellsläpp, varierande arkitekturer, förändrade trafikmönster och servicenivåkrav samt tätare hårdvarubyten. Den motsatta, statiska metoden utgår från en fast motorkonfiguration. En konfiguration som finjusterats för en situation passar inte nödvändigtvis för en annan, särskilt när modellbeteendet och fördelningen av förfrågningar förändras.

Företagets observationer från produktionsmiljö ger konkreta exempel. Together AI uppger att frågor under ett lands arbetstid nådde omkring 97 000 token, jämfört med 70 000 på andra håll, och att frågelängderna ökade med 80 % under de två veckorna efter att en modell släpptes, i takt med att användningen skiftade mot agentbaserade arbetslaster. Kundernas trafiktoppar kan också fördubbla frågelängderna och sänka cacheträfffrekvensen, vilket förändrar förutsättningarna som en befintlig konfiguration finjusterades för.

Tillkännagivandet nyanserar också Together AI:s tidigare fokus på megakärnor, som slår samman operationer till en enda kärna. Efter att ha tagit tidiga versioner i drift drog företaget slutsatsen att sammanslagning i sig inte är ett universellt designmål: blandade expertarkitekturer och dynamiska arbetslaster kan kräva andra metoder. Kärnor som utvecklats för fast eller slumpmässig trafik kan på samma sätt vara felkalibrerade för produktionstrafik, där databeronde dirigering påverkar vilka optimeringar som ger bäst resultat.

Så fungerar kontinuerlig kompilering

Together Compiler tar trafikmönstret, modellen och hårdvaran som indata och använder sedan agenter för att skapa och mäta möjliga optimeringar för en inferensmotor. En permanent körande motor läser in modellen en gång och laddar om möjliga framåtpassningar direkt, utan att starta om hela motorn. Parallella agenter skapar förslag och kommunicerar via en meddelandetavla, så att experiment kan ligga i kö medan andra agenter resonerar eller använder verktyg.

Två mätnivåer skapar en balans mellan antalet experiment och realism. Snabba motorer läser in ett urval av lagren för snabb iteration och mätningar med låg varians; långsammare motorer läser in fler lager för att testa om förslagen håller även med realistiska datafördelningar. En separat kostnadsmodell kombinerar hårdvaruspecifikationer, mikrobenchmarktester och uppmätta framåtpassningar för att gallra bland sökalternativen för parallellitetskonfigurationer innan agenterna lägger tid på att optimera förslag.

Den tekniska rapporten uppger att de bästa förslagen genomgår verifieringstester för kontaminering av KV-cachen och utdatakvalitet innan de kan tas i drift. Kontrollerna körs när optimeringsbudgeten är förbrukad, i samband med att den slutliga källkoden förbereds för integrering i serveringsmotorn.

I jämförelsen av uppstart i tillkännagivandets blogginlägg anges 467 sekunder från start till servering för sekvensen med den befintliga metoden, jämfört med 9,0 sekunder med Together Compilers lösning. Tiderna gäller motorstart under optimeringen, inte fördröjningen för enskilda förfrågningar, och bidrar till att förklara varför direkt omladdning är central för systemets experimentgenomströmning.

Utvärderingens omfattning och kundernas tillgång

I jämförelserna av motorer använde rapporten de ledande öppna konfigurationerna per den 30 oktober 2026 och höll baslinjens parallelliseringsstrategi fast för att isolera effekten av agentbaserad optimering. Trainium2 var det angivna undantaget från den ordinarie utvärderingsarbetslasten: där användes en syntetisk datauppsättning med flera turer, eftersom implementationen ännu inte hade stöd för högre samtidighetsnivåer inom den tillgängliga HBM-kapaciteten.

Together AI tillskriver optimeringsresultaten delvis en 252 gånger högre experimentgenomströmning än i baslinjesystem för agentbaserad rekursiv självförbättringsoptimering.

Utöver inferens för språkmodeller rapporterar rapporten hastighetsökningar på 1,5 till 6,4 gånger för testade modeller inom väder, biologi, tidsserier och partiella differentialekvationer, samtidigt som utdata var bitexakta i de angivna utvärderingarna.

Slutkunder kan ansöka om tidig åtkomst genom en begränsad betaversion. Together AI planerar optimering av dedikerade slutpunkter med ett enda klick, medan företagets forskningsplan omfattar spekulativ avkodning som anpassas efter domän, förfrågan, token och trafikbelastning, samt dynamisk dirigering mellan arbetare och driftsättningskonfigurationer för heterogen serverlös trafik.

Lanseringen gör mätningar för varje enskild driftsättning, snarare än en universellt optimal kärna, till grundprincipen för Together AI:s inferensstack. Den omedelbara frågan för kunderna är om den begränsade betaversionen kan återskapa de rapporterade prestandavinsterna med deras egna modeller, trafik och maskinvara, samtidigt som samma kvalitetskontroller klaras – den variation som kontinuerlig kompilering är utformad för att hantera.