Together AI aduce compilarea continuă în inferența de producție

Together AI a anunțat inferința polimorfă pe 4 noiembrie 2026, prezentând compilatorul Together drept prima sa implementare. Sistemul bazat pe agenți reajustează continuu inferența în funcție de schimbările modelelor, traficului și hardware-ului și rulează deja pe multe dintre principalele sarcini de inferență de producție ale companiei și pe unele dintre cele mai populare puncte finale fără server.

Together AI afirmă că, în mai puțin de 24 de ore, compilatorul a oferit un debit de 1,3 până la 3 ori mai mare, măsurat în tokenuri pe secundă, decât configurațiile de referință open-source puternic optimizate, în cadrul testelor cu Kimi K3, GLM 5.3, MiniMax M3.1-Flash și DeepSeek v4.1-Flash. Aceste rezultate conturează ideea centrală a anunțului: optimizarea poate fi un proces de căutare continuu, adaptat unei implementări, nu o rundă de reglaje manuale, înghețată la lansare.

Modele, trafic și hardware în schimbare

Inferința polimorfă este termenul folosit de Together AI pentru infrastructura de servire care se adaptează la lansarea mai rapidă a modelelor, arhitecturi diverse, forme de trafic în continuă schimbare, cerințe privind nivelul serviciilor și schimbări mai frecvente ale hardware-ului. Abordarea statică, prin contrast, pornește de la o configurație fixă a motorului. O configurație reglată pentru un anumit context nu este neapărat potrivită pentru altul, mai ales când se schimbă comportamentul modelului și distribuțiile solicitărilor.

Observațiile companiei din mediul de producție oferă exemple concrete. Together AI afirmă că, în timpul orelor de lucru dintr-o anumită țară, prompturile au ajuns la aproximativ 97.000 de tokenuri, față de 70.000 în alte părți, și că lungimea prompturilor a crescut cu 80% în cele două săptămâni de după lansarea unui model, pe măsură ce utilizarea s-a orientat către sarcini agentice. Creșterile bruște ale cererii din partea clienților pot, de asemenea, să dubleze lungimea prompturilor și să reducă ratele de accesare a cache-ului, schimbând condițiile pentru care fusese reglată o configurație existentă.

Anunțul revizuiește și accentul pus anterior de Together AI pe megakerneluri, care reunesc operațiile într-un singur kernel. După ce a pus în producție primele versiuni, compania a ajuns la concluzia că fuziunea, de una singură, nu este un obiectiv universal de proiectare: arhitecturile de tip mixture-of-experts și sarcinile dinamice pot necesita tehnici diferite. De asemenea, kernelurile dezvoltate pentru trafic fix sau aleatoriu pot fi reglate necorespunzător pentru traficul de producție, în care rutarea dependentă de date influențează optimizările care dau cele mai bune rezultate.

Cum funcționează compilarea continuă

Compilatorul Together folosește forma traficului, modelul și hardware-ul ca date de intrare, apoi utilizează agenți pentru a genera și măsura optimizări candidate pentru un motor de inferență. Un motor persistent încarcă modelul o singură dată și reîncarcă la cald propagările înainte candidate, fără a reporni întregul motor. Agenții care lucrează în paralel generează candidați și comunică printr-un panou de mesaje, menținând experimentele în coadă în timp ce alți agenți raționează sau folosesc instrumente.

Două niveluri de măsurare echilibrează volumul experimentelor cu realismul. Motoarele rapide încarcă un subset de straturi pentru iterații rapide și măsurători cu variație redusă; motoarele mai lente încarcă mai multe straturi pentru a verifica dacă rezultatele candidaților se mențin pe distribuții de date realiste. Un model separat al costurilor combină specificațiile hardware, microbenchmarkurile și propagările înainte măsurate pentru a restrânge spațiul de căutare al configurațiilor de paralelism înainte ca agenții să investească timp în optimizarea candidaților.

Lucrarea tehnică precizează că, înainte de a putea fi folosiți pentru servire, candidații câștigători sunt supuși unor teste de verificare a contaminării cache-ului KV și a calității rezultatelor. Verificările au loc după epuizarea bugetului de optimizare, când codul sursă final este pregătit pentru integrarea în motorul de servire.

Comparația din postarea de lansare privind pornirea sistemului indică 467 de secunde până la servire pentru succesiunea standard, față de 9,0 secunde cu configurația compilatorului Together. Aceste cifre se referă la pornirea motorului în timpul optimizării, nu la latența unei solicitări individuale, și ajută la explicarea motivului pentru care reîncărcarea la cald este esențială pentru volumul de experimente al sistemului.

Domeniul evaluării și accesul clienților

Pentru comparațiile dintre motoare, lucrarea a folosit configurații open-source de vârf, disponibile la 30 octombrie 2026, și a menținut fixă strategia de paralelism a configurației de referință pentru a izola efectul optimizării agentice. Trainium2 a fost excepția menționată de la sarcina standard de evaluare: s-a folosit un set de date sintetic, cu mai multe ture, deoarece implementarea nu suporta încă niveluri mai ridicate de concurență în limita capacității HBM disponibile.

Together AI atribuie rezultatele optimizării, în parte, unui debit al experimentelor de 252 de ori mai mare decât cel al sistemelor de optimizare de referință bazate pe autoperfecționare recursivă agentică.

Dincolo de inferența modelelor lingvistice, lucrarea raportează accelerări de 1,5 până la 6,4 ori pentru modelele testate de meteorologie, biologie, serii temporale și ecuații cu derivate parțiale, menținând rezultate identice la nivel de bit în evaluările menționate.

Clienții finali pot solicita acces timpuriu printr-o versiune beta cu acces limitat. Together AI intenționează să ofere optimizarea punctelor finale dedicate printr-un singur clic, iar foaia sa de parcurs pentru cercetare include decodarea speculativă, adaptată în funcție de domeniu, solicitare, token și încărcarea traficului, precum și rutarea dinamică între lucrători și configurații de implementare pentru trafic fără server eterogen.

Lansarea pune măsurarea specifică fiecărei implementări, nu existența unui nucleu optim în orice situație, în centrul stivei de inferență a Together AI. Întrebarea imediată pentru clienți este dacă beta limitată poate reproduce câștigurile raportate folosind propriile modele, propriul trafic și propriul hardware, trecând în același timp aceleași verificări de calitate — tocmai variația pe care Continuous Compilation este concepută să o abordeze.