Together AI bringer løbende kompilering til inferens i produktion

Together AI annoncerede polymorf inferens den 4. november 2026 og introducerede Together Compiler som den første implementering. Det agentstyrede system finjusterer løbende inferensen efter ændringer i modeller, trafik og hardware og kører allerede på tværs af mange af virksomhedens største inferensarbejdsbelastninger i produktion og på nogle populære serverløse endepunkter.

Together AI oplyser, at compileren på under 24 timer leverede 1,3 til 3 gange så mange tokens pr. sekund som højt optimerede open source-baselines i test med Kimi K3, GLM 5.3, MiniMax M3.1-Flash og DeepSeek v4.1-Flash. Resultaterne indrammer meddelelsens centrale påstand: Optimering kan være en løbende søgeproces, der er knyttet til en konkret implementering, frem for en omgang manuel finjustering, der fastlåses ved lanceringen.

Modeller, trafik og hardware i forandring

Polymorf inferens er Together AIs betegnelse for inferensinfrastruktur, der tilpasser sig hurtigere modeludgivelser, forskellige arkitekturer, skiftende trafikmønstre og krav til serviceniveau samt hyppigere hardwareændringer. Den modsatte, statiske tilgang tager udgangspunkt i en fast motoropsætning. En konfiguration, der er finjusteret til én situation, er ikke nødvendigvis egnet til en anden, især når modellens adfærd og fordelingen af forespørgsler ændrer sig.

Virksomhedens observationer fra produktion giver konkrete eksempler. Together AI oplyser, at prompts i arbejdstiden i ét land nåede op på omkring 97.000 tokens mod 70.000 andre steder, og at promptlængderne steg med 80 % i de to uger efter udgivelsen af én model, efterhånden som brugen skiftede i retning af agentbaserede arbejdsbelastninger. Kundernes trafikspidser kan også fordoble promptlængderne og sænke cachetræffrekvensen, hvilket ændrer de forhold, som en eksisterende konfiguration blev finjusteret under.

Meddelelsen nuancerer også Together AIs tidligere fokus på megakerner, der samler operationer i én enkelt kerne. Efter at have sat de tidlige versioner i produktion konkluderede virksomheden, at sammenlægning alene ikke er et universelt designmål: mixture-of-experts-arkitekturer og dynamiske arbejdsbelastninger kan kræve andre teknikker. Kerner, der er udviklet til fast eller tilfældig trafik, kan tilsvarende være forkert kalibreret til produktionstrafik, hvor dataafhængig routing påvirker, hvilke optimeringer der giver de bedste resultater.

Sådan fungerer løbende kompilering

Together Compiler bruger trafikmønsteret, modellen og hardwaren som input og anvender derefter agenter til at generere og måle mulige optimeringer af en inferensmotor. En vedvarende motor indlæser modellen én gang og genindlæser dynamisk mulige forward-pass-forløb uden at genstarte hele motoren. Agenter arbejder parallelt på at generere forslag og kommunikerer via en opslagstavle, så eksperimenterne forbliver i kø, mens andre agenter ræsonnerer eller bruger værktøjer.

To måleniveauer afvejer mængden af eksperimenter mod realismen. Hurtige motorer indlæser et udvalg af lag for at muliggøre hurtig iteration og målinger med lav varians; langsommere motorer indlæser flere lag for at teste, om forslagene holder stik med realistiske datafordelinger. En separat omkostningsmodel kombinerer hardwarespecifikationer, mikrobenchmarks og målte forward-pass-forløb for at indsnævre søgningen efter parallelismekonfigurationer, før agenterne bruger tid på at optimere forslagene.

Den tekniske artikel oplyser, at de bedste forslag gennemgår verifikationstest for kontaminering af KV-cache og outputkvalitet, før de kan tages i brug. Kontrollerne udføres, når optimeringsbudgettet er opbrugt, og den endelige kildekode klargøres til integration i inferensmotoren.

Lanceringens sammenligning af opstartstider angiver 467 sekunder, før inferensen kunne betjene forespørgsler med sekvensen for den eksisterende løsning, mod 9,0 sekunder med Together Compilers opsætning. Tallene dækker motorens opstart under optimeringen, ikke svartiden for individuelle forespørgsler, og er med til at forklare, hvorfor dynamisk genindlæsning er central for systemets kapacitet til at gennemføre eksperimenter.

Evalueringens omfang og kundernes adgang

Til sammenligningerne af motorerne brugte artiklen førende åbne konfigurationer pr. 30. oktober 2026 og fastholdt baseline-strategien for parallelisme for at isolere effekten af agentbaseret optimering. Trainium2 var den oplyste undtagelse fra standardarbejdsbelastningen i evalueringen: Her blev der brugt et syntetisk datasæt med flere samtalerunder, fordi implementeringen endnu ikke understøttede højere samtidighedsniveauer inden for den tilgængelige HBM-kapacitet.

Together AI tilskriver delvist optimeringsresultaterne et 252 gange større gennemløb af eksperimenter end i baseline-systemer til agentbaseret optimering med rekursiv selvforbedring.

Ud over inferens med sprogmodeller rapporterer artiklen hastighedsforbedringer på 1,5 til 6,4 gange for de testede modeller inden for vejr, biologi, tidsrækker og partielle differentialligninger, samtidig med at outputtene var bitidentiske i de angivne evalueringer.

Slutkunder kan anmode om tidlig adgang via en begrænset betaversion. Together AI planlægger optimering af dedikerede endepunkter med ét klik, mens virksomhedens forskningsplan omfatter spekulativ dekodning, der tilpasser sig efter domæne, forespørgsel, token og trafikbelastning, samt dynamisk routing på tværs af arbejdere og implementeringskonfigurationer til heterogen serverløs trafik.

Lanceringen gør målinger, der er specifikke for den enkelte udrulning, frem for en universelt optimal kerne til det bærende princip i Together AI’s inferensstack. Det umiddelbare spørgsmål for kunderne er, om den begrænsede betaversion kan genskabe de rapporterede gevinster på deres egne modeller, med deres egen trafik og på deres egen hardware, samtidig med at de samme kvalitetskontroller bestås – netop den variation, Continuous Compilation er udviklet til at håndtere.