AI-modellen en platforms
Together AI brengt doorlopende compilatie naar inferentie in productie
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Together AI kondigde op 4 november 2026 polymorfe inferentie aan en introduceerde Together Compiler als eerste implementatie daarvan. Het agentgestuurde systeem stemt inferentie voortdurend opnieuw af op veranderende modellen, verkeerspatronen en hardware, en wordt al ingezet voor veel van de belangrijkste inferentieworkloads van het bedrijf in productie en voor enkele populaire serverloze eindpunten.
Volgens Together AI leverde de compiler binnen 24 uur 1.3x tot 3x zoveel tokens per seconde als sterk geoptimaliseerde open-sourcereferentiesystemen, in tests met Kimi K3, GLM 5.3, MiniMax M3.1-Flash en DeepSeek v4.1-Flash. Die resultaten onderstrepen de centrale belofte van de aankondiging: optimalisatie kan een doorlopend zoekproces zijn dat is afgestemd op een specifieke implementatie, in plaats van een eenmalige optimalisatieronde die bij de lancering wordt vastgelegd.
Veranderende modellen, verkeerspatronen en hardware
Polymorfe inferentie is de term die Together AI gebruikt voor infrastructuur voor het aanbieden van modellen die zich aanpast aan snellere modelreleases, uiteenlopende architecturen, veranderende verkeerspatronen en service-levelvereisten, en frequentere hardwarewijzigingen. De statische tegenhanger gaat uit van een vaste engineconfiguratie. Een configuratie die op één situatie is afgestemd, is niet noodzakelijk geschikt voor een andere, vooral wanneer het modelgedrag en de verdeling van verzoeken veranderen.
De waarnemingen van het bedrijf in productie geven concrete voorbeelden. Volgens Together AI liepen prompts tijdens de werktijden in een bepaald land op tot ongeveer 97.000 tokens, tegenover 70.000 elders, en nam de promptlengte in de twee weken na de release van een model met 80% toe doordat het gebruik verschoof naar workloads met AI-agenten. Ook kunnen pieken in klantverkeer de promptlengte verdubbelen en het cachetrefferpercentage verlagen, waardoor de omstandigheden veranderen waarop een bestaande configuratie was afgestemd.
De aankondiging nuanceert ook Together AI’s eerdere nadruk op megakernels, waarbij bewerkingen in één kernel worden samengevoegd. Nadat het bedrijf vroege versies in productie had genomen, concludeerde het dat samenvoegen op zichzelf geen universeel ontwerpdoel is: mixture-of-experts-architecturen en dynamische workloads kunnen andere technieken vereisen. Ook kunnen kernels die zijn ontwikkeld voor vast of willekeurig verkeer verkeerd zijn afgesteld op productieverkeer, waar datagestuurde routering bepaalt welke optimalisaties het beste werken.
Zo werkt doorlopende compilatie
Together Compiler gebruikt het verkeerspatroon, het model en de hardware als invoer en zet vervolgens agents in om mogelijke optimalisaties voor een inferentie-engine te genereren en te meten. Een permanente engine laadt het model één keer en laadt mogelijke forwardpasses opnieuw in zonder de volledige engine opnieuw te starten. Parallel werkende agents genereren mogelijkheden en communiceren via een berichtenbord, zodat experimenten in de wachtrij blijven staan terwijl andere agents redeneren of hulpmiddelen gebruiken.
Twee meetniveaus zorgen voor een balans tussen het aantal experimenten en de mate waarin ze de werkelijkheid weerspiegelen. Snelle engines laden een deel van de lagen voor snelle iteraties en metingen met weinig variatie; tragere engines laden meer lagen om te testen of mogelijke optimalisaties standhouden bij realistische dataverdelingen. Een afzonderlijk kostenmodel combineert hardwarespecificaties, microbenchmarks en gemeten forwardpasses om de zoekruimte voor parallelismeconfiguraties in te perken voordat agents tijd besteden aan het optimaliseren van mogelijkheden.
Volgens het technische artikel worden succesvolle optimalisaties onderworpen aan verificatietests op vervuiling van de KV-cache en uitvoerkwaliteit voordat ze kunnen worden aangeboden. De controles vinden plaats nadat het optimalisatiebudget is opgebruikt, wanneer de uiteindelijke broncode wordt klaargemaakt voor integratie in de serve-engine.
In de vergelijking in het lanceringsbericht staat dat het met de gebruikelijke werkwijze 467 seconden duurt voordat de engine beschikbaar is, tegenover 9.0 seconden met de configuratie van Together Compiler. Deze cijfers betreffen het opstarten van de engine tijdens de optimalisatie, niet de latentie van afzonderlijke verzoeken, en helpen verklaren waarom het opnieuw laden zonder herstart essentieel is voor de experimenteercapaciteit van het systeem.
Reikwijdte van de evaluatie en toegang voor klanten
Voor de vergelijkingen van de engines gebruikte het artikel toonaangevende open configuraties van 30 oktober 2026. Om het effect van agentgestuurde optimalisatie afzonderlijk te meten, hield het de strategie voor parallelisme van de referentieconfiguratie vast. Trainium2 vormde de genoemde uitzondering op de standaardwerklast voor de evaluatie: daarvoor werd een synthetische dataset met meerdere beurten gebruikt, omdat de implementatie bij de beschikbare HBM-capaciteit nog geen hogere niveaus van gelijktijdigheid ondersteunde.
Together AI schrijft de optimalisatieresultaten deels toe aan een 252 keer hogere experimentele doorvoer dan die van systemen voor optimalisatie via agentgestuurde recursieve zelfverbetering als referentie.
Naast inferentie met taalmodellen meldt het artikel versnellingen van 1.5x tot 6.4x voor geteste modellen voor weer, biologie, tijdreeksen en partiële differentiaalvergelijkingen, waarbij de uitvoer in de genoemde evaluaties bit voor bit exact bleef.
Eindklanten kunnen via een beperkte bètaversie om vroege toegang vragen. Together AI is van plan optimalisatie van toegewezen eindpunten met één klik aan te bieden. De onderzoeksroadmap omvat daarnaast speculatief decoderen dat zich aanpast aan het domein, het verzoek, het token en de verkeersbelasting, plus dynamische routering over workers en implementatieconfiguraties voor uiteenlopend serverloos verkeer.
De lancering maakt metingen per implementatie, in plaats van een universeel optimale kernel, tot het leidende principe van Together AI’s inferentiestack. Voor klanten is de onmiddellijke vraag of de beperkte bètaversie de gerapporteerde verbeteringen kan reproduceren met hun eigen modellen, verkeer en hardware, en daarbij dezelfde kwaliteitscontroles kan doorstaan — precies de variatie waarop Continuous Compilation is ontworpen om in te spelen.
