Together AI tuo jatkuvan kääntämisen tuotantopäättelyyn

Together AI julkisti polymorfisen päättelyn 4. marraskuuta 2026 ja esitteli samalla Together Compilerin sen ensimmäisenä toteutuksena. Agenttiohjattu järjestelmä virittää päättelyä jatkuvasti uudelleen mallien, liikenteen ja laitteiston muuttuessa. Se on jo käytössä useissa yhtiön merkittävimmistä tuotantopäättelykuormista ja joissakin suosituissa palvelimettomissa päätepisteissä.

Together AI kertoo, että kääntäjä saavutti Kimi K3-, GLM 5.3-, MiniMax M3.1-Flash- ja DeepSeek v4.1-Flash -testeissä 1,3–3 kertaa enemmän tokeneita sekunnissa kuin pitkälle optimoidut avoimen lähdekoodin vertailutoteutukset. Tulokset kiteyttävät julkistuksen keskeisen ajatuksen: optimointi voi olla käyttöönottoon sidottu jatkuva hakuprosessi sen sijaan, että kyse olisi julkaisuvaiheessa tehtävästä ja sen jälkeen muuttumattomaksi jäävästä manuaalisesta virityksestä.

Mallit, liikenne ja laitteisto muuttuvat

Polymorfinen päättely on Together AI:n käyttämä nimitys palveluinfrastruktuurille, joka mukautuu mallien nopeampaan julkaisutahdin, erilaisiin arkkitehtuureihin, muuttuvaan liikenneprofiiliin ja palvelutasovaatimuksiin sekä aiempaa useammin vaihtuviin laitteistoihin. Vastakohtana staattisessa lähestymistavassa käytetään kiinteää moottorin kokoonpanoa. Yhteen tilanteeseen viritetty kokoonpano ei välttämättä sovi toiseen, varsinkaan silloin, kun mallin toiminta ja pyyntöjen jakauma muuttuvat.

Yhtiön tuotantokäytössä tekemät havainnot tarjoavat konkreettisia esimerkkejä. Together AI kertoo, että yhden maan työaikana kehotteet olivat noin 97 000 tokenin pituisia, kun taas muualla niiden pituus oli 70 000 tokenia. Yhden mallin julkaisua seuranneiden kahden viikon aikana kehotteiden pituus kasvoi 80 prosenttia, kun käyttö painottui agenttisiin kuormiin. Asiakkaiden käytössä esiintyvät kuormituspiikit voivat myös kaksinkertaistaa kehotteiden pituuden ja pienentää välimuistin osumaprosenttia, jolloin olosuhteet, joita varten olemassa oleva kokoonpano viritettiin, muuttuvat.

Julkistus tarkentaa myös Together AI:n aiempaa painotusta megaytimiin, joissa useita operaatioita yhdistetään yhdeksi ytimeksi. Otettuaan varhaiset versiot tuotantokäyttöön yhtiö päätteli, ettei yhdistäminen yksinään ole yleispätevä suunnittelutavoite: asiantuntijasekoitusarkkitehtuurit ja dynaamiset työkuormat voivat edellyttää erilaisia menetelmiä. Kiinteän tai satunnaisen liikenteen perusteella kehitetyt ytimet voivat myös olla huonosti viritettyjä tuotantoliikenteeseen, jossa datasta riippuva reititys vaikuttaa siihen, mitkä optimoinnit toimivat parhaiten.

Näin jatkuva kääntäminen toimii

Together Compiler ottaa syötteiksi liikenneprofiilin, mallin ja laitteiston ja käyttää sitten agentteja päättelymoottorin optimointivaihtoehtojen tuottamiseen ja mittaamiseen. Pysyvä moottori lataa mallin kerran ja lataa ehdokasvaiheen eteenpäinlaskennat uudelleen lennossa käynnistämättä koko moottoria uudelleen. Rinnakkaiset agentit tuottavat vaihtoehtoja ja viestivät viestitaulun kautta, joten kokeet pysyvät jonossa muiden agenttien päättelyn tai työkalujen käytön ajan.

Kaksi mittaustasoa tasapainottaa kokeiden määrän ja realistisuuden. Nopeat moottorit lataavat osan kerroksista nopeaa kokeilua ja vähäisen vaihtelun ajoitusmittauksia varten. Hitaammat moottorit lataavat enemmän kerroksia testatakseen, toimivatko ehdokkaat realistisilla datan jakaumilla. Erillinen kustannusmalli yhdistää laitteiston tekniset tiedot, mikrovertailutestit ja mitatut eteenpäinlaskennat karsiakseen rinnakkaisuusasetusten hakutilaa ennen kuin agentit käyttävät aikaa ehdokkaiden optimointiin.

Teknisessä artikkelissa kerrotaan, että parhaiten toimiville ehdokkaille tehdään KV-välimuistin saastumista ja tulosten laatua koskevat varmennustestit ennen niiden käyttöönottoa palvelussa. Tarkistukset tehdään optimointibudjetin loputtua, kun lopullinen lähdekoodi valmistellaan integroitavaksi palvelumoottoriin.

Julkistusjulkaisun käynnistysvertailussa palvelun käynnistymiseen kului vakiomenetelmällä 467 sekuntia ja Together Compilerin kokoonpanolla 9,0 sekuntia. Luvut koskevat moottorin käynnistymistä optimoinnin aikana, eivät yksittäisen pyynnön viivettä, ja auttavat selittämään, miksi uudelleenlataus lennossa on keskeinen osa järjestelmän kokeiden suoritustehoa.

Arvioinnin laajuus ja asiakkaiden pääsy

Moottorien vertailussa artikkelissa käytettiin johtavia avoimia kokoonpanoja 30. lokakuuta 2026 tilanteen mukaan, ja perustason rinnakkaisuusstrategia pidettiin vakiona, jotta agenttisen optimoinnin vaikutus voitiin erottaa. Trainium2 oli ilmoitettu poikkeus tavanomaisesta arviointikuormasta: siinä käytettiin synteettistä monivuorovaikutteista aineistoa, koska toteutus ei vielä tukenut suurempaa samanaikaisten pyyntöjen määrää käytettävissä olevan HBM-kapasiteetin puitteissa.

Together AI arvioi optimointitulosten johtuvan osittain siitä, että kokeiden läpimeno oli 252-kertainen perustason agenttisiin rekursiivisen itseparantamisen optimointijärjestelmiin verrattuna.

Kielimallien päättelyn lisäksi artikkelissa raportoidaan 1,5–6,4-kertaisista nopeutuksista testatuilla sää-, biologia-, aikasarja- ja osittaisdifferentiaaliyhtälömalleilla. Tulokset säilyivät bittitarkkoina ilmoitetuissa arvioinneissa.

Loppuasiakkaat voivat hakea ennakkokäyttöoikeutta rajatun beetaversion kautta. Together AI suunnittelee omistettujen päätepisteiden optimointia yhdellä napsautuksella. Yhtiön tutkimussuunnitelmaan kuuluu myös spekulatiivinen dekoodaus, joka mukautuu toimialan, pyynnön, tokenin ja liikennekuorman mukaan, sekä dynaaminen reititys työntekijöiden ja käyttöönottokokoonpanojen välillä heterogeenistä palvelimetonta liikennettä varten.

Julkaisun myötä Together AI:n päättelypinon lähtökohdaksi nousee käyttöönottoympäristökohtainen mittaaminen yleispätevän optimaalisen ytimen sijaan. Asiakkaiden välitön kysymys on, pystyykö rajattu beetaversio tuottamaan ilmoitetut parannukset myös heidän omilla malleillaan, liikenteellään ja laitteistollaan ja samalla läpäisemään samat laatutarkistukset – juuri tällaiseen vaihteluun Continuous Compilation on suunniteltu vastaamaan.