Together AI apporte la compilation continue à l’inférence en production

Together AI a annoncé Polymorphic Inference le 4 novembre 2026, en présentant Together Compiler comme sa première mise en œuvre. Ce système piloté par des agents réajuste en continu l’inférence en fonction de l’évolution des modèles, du trafic et du matériel. Il est déjà utilisé pour de nombreuses charges d’inférence de production parmi les plus importantes de l’entreprise, ainsi que pour certains points de terminaison sans serveur populaires.

Together AI indique que le compilateur a atteint un débit de 1,3 à 3 fois supérieur, en jetons par seconde, à celui de références open source hautement optimisées, en moins de 24 heures, lors de tests portant sur Kimi K3, GLM 5.3, MiniMax M3.1-Flash et DeepSeek v4.1-Flash. Ces résultats illustrent la principale proposition de l’annonce : l’optimisation peut prendre la forme d’un processus de recherche continu, adapté à un déploiement, plutôt que d’une phase de réglage manuel figée au lancement.

Des modèles, du trafic et du matériel en constante évolution

Polymorphic Inference est le terme employé par Together AI pour désigner une infrastructure de service qui s’adapte à la sortie plus rapide des modèles, à la diversité des architectures, à l’évolution des profils de trafic et des exigences de niveau de service, ainsi qu’aux changements plus fréquents de matériel. À l’inverse, une approche statique repose sur une configuration fixe du moteur. Une configuration réglée pour un contexte ne convient pas nécessairement à un autre, en particulier lorsque le comportement des modèles et la répartition des requêtes évoluent.

Les observations de l’entreprise en production fournissent des exemples concrets. Together AI indique que les invites envoyées pendant les heures de travail dans un pays atteignaient environ 97 000 jetons, contre 70 000 ailleurs, et que leur longueur a augmenté de 80 % au cours des deux semaines suivant la sortie d’un modèle, à mesure que l’utilisation s’orientait vers des charges de travail agentiques. Les pics d’activité des clients peuvent également doubler la longueur des invites et réduire le taux de succès du cache, modifiant ainsi les conditions pour lesquelles une configuration existante avait été réglée.

L’annonce revient également sur l’importance que Together AI accordait auparavant aux méganoyaux, qui fusionnent plusieurs opérations en un seul noyau. Après avoir mis en production de premières versions, l’entreprise a conclu que la fusion n’est pas à elle seule un objectif de conception universel : les architectures à mélange d’experts et les charges de travail dynamiques peuvent nécessiter d’autres techniques. De même, des noyaux conçus pour un trafic fixe ou aléatoire peuvent être mal réglés pour le trafic de production, où le routage dépendant des données influe sur les optimisations les plus efficaces.

Fonctionnement de la compilation continue

Together Compiler prend en entrée le profil de trafic, le modèle et le matériel, puis fait appel à des agents pour générer et mesurer des optimisations candidates destinées à un moteur d’inférence. Un moteur persistant charge le modèle une seule fois et recharge à chaud les passes avant candidates sans redémarrer le moteur dans son intégralité. Des agents exécutés en parallèle génèrent des candidats et communiquent au moyen d’un tableau de messages, ce qui permet de maintenir les expériences en file d’attente pendant que d’autres agents raisonnent ou utilisent des outils.

Deux niveaux de mesure permettent de concilier le volume d’expériences et le réalisme. Les moteurs rapides chargent un sous-ensemble de couches pour accélérer les essais et obtenir des mesures à faible variance ; les moteurs plus lents chargent davantage de couches afin de vérifier que les candidats restent performants avec des distributions de données réalistes. Un modèle de coût distinct combine les caractéristiques du matériel, les microtests de performance et les passes avant mesurées afin de réduire l’espace de recherche des configurations de parallélisme avant que les agents ne consacrent du temps à l’optimisation des candidats.

L’article technique indique que les candidats retenus font l’objet de tests de vérification visant à détecter toute contamination du cache KV et à contrôler la qualité des résultats avant leur mise en service. Ces vérifications sont effectuées une fois le budget d’optimisation épuisé, au moment où le code source final est préparé pour son intégration au moteur de service.

La comparaison des temps de démarrage présentée dans l’article de lancement indique un délai de 467 secondes avant la mise en service pour la séquence de référence, contre 9,0 secondes avec la configuration de Together Compiler. Ces chiffres correspondent au démarrage du moteur pendant l’optimisation, et non à la latence de requêtes individuelles ; ils expliquent pourquoi le rechargement à chaud est essentiel au débit d’expérimentation du système.

Périmètre de l’évaluation et accès des clients

Pour comparer les moteurs, l’article a utilisé les principales configurations ouvertes disponibles au 30 octobre 2026 et a maintenu fixe la stratégie de parallélisme de référence afin d’isoler l’effet de l’optimisation agentique. Trainium2 constituait l’exception déclarée à la charge de travail d’évaluation standard : un jeu de données synthétique à plusieurs tours a été utilisé, car l’implémentation ne prenait pas encore en charge des niveaux de concurrence supérieurs dans les limites de la capacité HBM disponible.

Together AI attribue en partie les résultats d’optimisation à un débit d’expérimentation 252 fois supérieur à celui des systèmes de référence d’optimisation agentique par auto-amélioration récursive.

Au-delà de l’inférence des modèles de langage, l’article fait état d’accélérations de 1,5 à 6,4 fois sur les modèles testés en météorologie, en biologie, en séries temporelles et en équations aux dérivées partielles, tout en conservant des résultats identiques au bit près lors des évaluations indiquées.

Les clients finaux peuvent demander un accès anticipé dans le cadre d’une bêta limitée. Together AI prévoit de proposer l’optimisation des points de terminaison dédiés en un clic. Sa feuille de route de recherche comprend également le décodage spéculatif adapté au domaine, à la requête, au jeton et à la charge de trafic, ainsi que le routage dynamique entre les processus de travail et les configurations de déploiement pour gérer un trafic sans serveur hétérogène.

Ce lancement fait de la mesure propre à chaque déploiement, plutôt que de la recherche d’un noyau universellement optimal, le principe directeur de la pile d’inférence de Together AI. Pour les clients, la question immédiate est de savoir si la bêta limitée permet de reproduire les gains annoncés avec leurs propres modèles, leur trafic et leur matériel, tout en passant les mêmes contrôles qualité — une variabilité à laquelle la compilation continue est conçue pour répondre.