Together AI bringer kontinuerlig kompilering til inferens i produksjon

Together AI kunngjorde Polymorphic Inference 4. november 2026 og introduserte Together Compiler som den første implementeringen. Det agentstyrte systemet justerer kontinuerlig inferensen på nytt etter hvert som modeller, trafikk og maskinvare endrer seg, og er allerede i bruk på mange av selskapets største inferensarbeidsbelastninger i produksjon og på noen populære serverløse endepunkter.

Together AI opplyser at kompilatoren leverte 1,3 til 3 ganger så mange tokener per sekund som svært optimaliserte baseliner med åpen kildekode på under 24 timer, i tester med Kimi K3, GLM 5.3, MiniMax M3.1-Flash og DeepSeek v4.1-Flash. Resultatene illustrerer hovedpåstanden i kunngjøringen: Optimalisering kan være en løpende søkeprosess knyttet til en bestemt utrulling, i stedet for en runde med manuell finjustering som låses ved lansering.

Modeller, trafikk og maskinvare i endring

Polymorphic Inference er Together AIs betegnelse på infrastruktur for modellbetjening som tilpasser seg raskere modellutgivelser, ulike arkitekturer, skiftende trafikkmønstre og krav til tjenestenivå, samt hyppigere endringer i maskinvaren. Den statiske tilnærmingen tar derimot utgangspunkt i en fast motorkonfigurasjon. En konfigurasjon som er finjustert for én situasjon, passer ikke nødvendigvis for en annen, særlig når modellatferd og forespørselsfordelinger endrer seg.

Selskapets observasjoner fra produksjonsmiljøer gir konkrete eksempler. Together AI opplyser at forespørsler i arbeidstiden i ett land inneholdt opptil rundt 97 000 tokener, mot 70 000 andre steder, og at forespørselslengdene økte med 80 % i løpet av de to ukene etter lanseringen av én modell, etter hvert som bruken dreide mot agentbaserte arbeidsbelastninger. Trafikktopper hos kunder kan også doble forespørselslengdene og redusere hurtigbufferens treffrate, slik at forholdene som en eksisterende konfigurasjon ble finjustert for, endres.

Kunngjøringen justerer også Together AIs tidligere vektlegging av megakjerner, som slår sammen operasjoner i én enkelt kjerne. Etter å ha tatt tidlige versjoner i bruk i produksjon konkluderte selskapet med at sammenslåing alene ikke er et universelt designmål: mixture-of-experts-arkitekturer og dynamiske arbeidsbelastninger kan kreve andre teknikker. Kjerner som er utviklet med utgangspunkt i fast eller tilfeldig trafikk, kan også være feiljustert for produksjonstrafikk der datastyrt ruting påvirker hvilke optimaliseringer som gir best resultat.

Slik fungerer kontinuerlig kompilering

Together Compiler tar trafikkmønster, modell og maskinvare som inndata, og bruker deretter agenter til å generere og måle mulige optimaliseringer for en inferensmotor. En vedvarende motor laster inn modellen én gang og laster inn nye kandidatkjøringer av fremoverpasseringer uten å starte hele motoren på nytt. Agenter arbeider parallelt med å generere kandidater og kommuniserer via en meldingstavle, slik at eksperimenter kan stå i kø mens andre agenter resonerer eller bruker verktøy.

To målenivåer balanserer antallet eksperimenter mot realismen. Raske motorer laster inn et utvalg lag for rask iterasjon og målinger med lav varians, mens langsommere motorer laster inn flere lag for å teste om kandidatene holder mål med realistiske datafordelinger. En separat kostnadsmodell kombinerer maskinvarespesifikasjoner, mikrobenchmarktester og målte fremoverpasseringer for å begrense søket etter parallelliseringskonfigurasjoner før agentene bruker tid på å optimalisere kandidater.

Den tekniske artikkelen sier at de beste kandidatene gjennomgår verifiseringstester for kontaminering av KV-hurtigbufferen og kvaliteten på resultatene før de kan tas i bruk. Kontrollene utføres når optimaliseringsbudsjettet er brukt opp, idet den endelige kildekoden klargjøres for integrering i motoren for modellbetjening.

I lanseringsinnleggets sammenligning av oppstart oppgis det at det tok 467 sekunder før tjenesten var tilgjengelig med sekvensen som var standard på det tidspunktet, mot 9,0 sekunder med Together Compilers oppsett. Tallene gjelder oppstart av motoren under optimalisering, ikke ventetid for enkeltforespørsler, og bidrar til å forklare hvorfor dynamisk innlasting uten omstart står sentralt for systemets kapasitet til å gjennomføre eksperimenter.

Evalueringens omfang og tilgang for kunder

I sammenligningene av motorene brukte artikkelen ledende åpne konfigurasjoner per 30. oktober 2026, og holdt strategien for parallellisering i grunnlinjen fast for å isolere effekten av agentbasert optimalisering. Trainium2 var det oppgitte unntaket fra standardarbeidsbelastningen i evalueringen: Der brukte man et syntetisk datasett med flere turer fordi implementeringen ennå ikke støttet høyere grad av samtidighet innenfor den tilgjengelige HBM-kapasiteten.

Together AI tilskriver optimaliseringsresultatene delvis en 252 ganger høyere eksperimentgjennomstrømning enn i grunnlinjesystemer for agentbasert rekursiv selvforbedringsoptimalisering.

Utover inferens med språkmodeller rapporterer artikkelen hastighetsøkninger på 1,5 til 6,4 ganger for testede modeller innen vær, biologi, tidsserier og partielle differensialligninger, samtidig som resultatene var bitidentiske i de oppgitte evalueringene.

Sluttkunder kan be om tidlig tilgang gjennom en begrenset betaversjon. Together AI planlegger optimalisering av dedikerte endepunkter med ett klikk. Selskapets forskningsplan omfatter også spekulativ dekoding som tilpasser seg etter domene, forespørsel, token og trafikkbelastning, samt dynamisk ruting på tvers av arbeidere og utrullingskonfigurasjoner for heterogen serverløs trafikk.

Lanseringen gjør målinger som er spesifikke for hver utrulling, snarere enn en universelt optimal kjerne, til det bærende prinsippet i inferensstakken til Together AI. Det umiddelbare spørsmålet for kundene er om den begrensede betaversjonen kan gjenskape de rapporterte gevinstene med deres egne modeller, trafikk og maskinvare, samtidig som de samme kvalitetskontrollene bestås – variasjonen Continuous Compilation er utviklet for å håndtere.