Together AI lance Together Post-Training, un service destiné aux modèles personnalisés

Le 19 octobre 2026, Together AI a lancé le service de post-entraînement de Together, qui permet de créer des modèles personnalisés au moyen de boucles d’apprentissage par renforcement et d’ajustement fin supervisé définies par les utilisateurs. Pendant les six premières semaines, le tarif de lancement est de 9 $ par heure-GPU d’utilisation de B200.

Modèles proposés au lancement, tarifs et accès anticipé

Le service est conçu pour créer des modèles personnalisés à partir de récompenses issues de l’environnement, au moyen de l’apprentissage par renforcement, ou de données de supervision, au moyen de l’ajustement fin supervisé. Les clients définissent la boucle d’entraînement, notamment les données, les environnements et les cadres d’orchestration agentique, et peuvent y ajouter des étapes telles que la journalisation ou l’évaluation comparative externe. De son côté, Together optimise conjointement les systèmes et l’infrastructure sous-jacents afin d’améliorer la qualité des modèles et la vitesse d’entraînement. Together explique avoir créé ce service parce que l’infrastructure nécessaire à l’apprentissage par renforcement gagne en complexité et que de nombreuses entreprises susceptibles de tirer parti du post-entraînement ne se lancent jamais, ou commencent puis s’arrêtent, freinées par la charge que représente l’infrastructure.

Au lancement, le service propose des modèles à poids ouverts : Muse Spark Open, GLM 5.3, Kimi K3 et Qwen 3.8-27B. Together a indiqué que la sélection s’élargirait dans les semaines à venir pour inclure aussi bien des grands modèles de langage de pointe que des modèles plus petits et efficaces. Pendant les six premières semaines, le service est proposé à un tarif réduit de 9 $ par heure-GPU d’utilisation de B200.

Avant le lancement, Together a accordé un accès anticipé à un groupe restreint d’organisations au cours des derniers mois. Adit Jain, chercheur chez Collinear AI, a déclaré que son équipe collaborait avec l’entreprise depuis le lancement de la version bêta de son service de post-entraînement, en avril 2026.

Ressources de calcul dédiées et facturation à la minute-GPU

Toutes les expériences s’exécutent sur ce que Together appelle des ressources de calcul pour modèles : des capacités GPU réservées à un seul client, sans que celui-ci ait à rivaliser avec les demandes prioritaires d’autres utilisateurs. Chaque ressource peut accueillir une ou plusieurs sessions d’entraînement, chacune correspondant à une expérience unique sur le même modèle de base, par exemple avec un ensemble de adaptateurs LoRA. Selon Together, ces capacités réservées permettent également d’effectuer un ajustement fin de l’ensemble des poids, au-delà de LoRA, pour adapter des modèles à des tâches exigeant une vaste base de connaissances.

Chaque session comprend une instance Trainer, chargée des étapes de propagation avant et arrière ainsi que de la mise à jour des poids, et des instances Generator, qui exécutent les trajectoires générées par la politique. Pour l’ajustement fin supervisé, une ressource de calcul pour modèle peut démarrer sans générateur afin de réduire les coûts. Les utilisateurs décident à quel moment les paramètres du Trainer sont transmis au Generator. L’apprentissage par renforcement asynchrone est pris en charge afin d’optimiser l’utilisation des GPU des deux composants, en particulier lors de longues trajectoires agentiques.

Les utilisateurs peuvent entraîner des modèles avec LoRA, notamment en faisant partager la même capacité GPU à plusieurs adaptateurs LoRA, et réaliser des expériences portant sur l’ensemble des poids pour certains modèles. Le service prend en charge les fonctions de perte standard, notamment l’entropie croisée, GRPO, CISPO et DPPO. Les utilisateurs peuvent également calculer localement une fonction objectif d’entraînement personnalisée et transmettre ses gradients au Trainer.

Selon la documentation sur le post-entraînement, l’interface principale du SDK comprend une méthode create, qui provisionne une ressource de calcul pour modèle (l’unité facturée), et une méthode create_session, qui lui associe une session d’entraînement. Viennent ensuite les appels exécutés à chaque étape : sample_batch génère des complétions à évaluer, forward_backward calcule la perte et rétropropage les gradients, optim_step met à jour les poids et weights_sync publie les nouveaux poids auprès des réplicas du générateur. L’ajustement fin supervisé et DPO ignorent sample_batch et weights_sync, car ils ne génèrent pas de complétions à échantillonner.

Les ressources de calcul pour modèles sont facturées à la minute-GPU. Selon Together, dès que les expériences prennent de l’ampleur, leur coût total d’entraînement devient inférieur à celui d’une facturation au token. La documentation compare ce modèle au service d’ajustement fin standard de l’entreprise, facturé en fonction du nombre de tokens traités et exécuté sous la forme d’une tâche qui va jusqu’à son terme sans possibilité d’intervention en cours d’exécution. Avec le post-entraînement, les utilisateurs peuvent consulter les métriques à chaque étape, modifier le taux d’apprentissage, mélanger les données à nouveau ou interrompre une exécution en fonction de leur propre logique.

Stabilité de l’entraînement et passage au déploiement

Together affirme que le service élimine de nombreuses sources de dérive de la politique entre les moteurs d’entraînement et d’inférence. De légers écarts numériques, malgré des poids identiques, peuvent en effet entraîner des résultats insuffisants, voire l’effondrement d’une exécution d’apprentissage par renforcement. Pour y remédier, le service applique des techniques standard, telles que Rollout Routing Replay, ainsi que des optimisations issues des recherches de l’entreprise sur la stabilité de l’entraînement. L’entreprise indique que ses moteurs de génération de trajectoires bénéficient des mêmes optimisations que sa pile d’inférence, notamment une mise en cache et un routage intelligents pour les agents multi-tours, ainsi qu’un parallélisme optimisé et un regroupement des séquences qui accélèrent les étapes d’ajustement fin supervisé comme d’apprentissage par renforcement.

Après l’entraînement, l’entreprise prend désormais en charge le service d’adaptateurs multi-LoRA dans Dedicated Model Inference. Les utilisateurs peuvent ainsi changer d’adaptateur au sein d’un même déploiement GPU, plutôt que de lancer un déploiement de production distinct pour chaque exécution. Together affirme que chaque point de contrôle d’entraînement conserve sa qualité en service, même après le passage de l’échantillonnage multi-LoRA à l’inférence avec poids fusionnés en précision FP4.

La documentation décrit un processus d’entraînement, d’évaluation et de mise en production : entraîner plusieurs adaptateurs sur un même modèle de base figé, associer les candidats à un seul déploiement multi-LoRA et les comparer en indiquant un nom d’adaptateur différent dans chaque requête, puis déployer le modèle retenu en mode fusionné dans son propre déploiement. Pour GLM-5.3 et Kimi-K3, les adaptateurs doivent d’abord passer par une étape de préparation à l’inférence FP4.

Intégration, migration depuis Tinker et premiers utilisateurs

Pour démarrer, il faut disposer de la dernière version de Together SDK et consulter la documentation. Together a publié sur GitHub des guides pratiques dans un dépôt nommé post-training-cookbook, qui couvrent l’entraînement GRPO sur le benchmark GSM8K, le DPO mis en œuvre sous la forme d’une fonction de perte personnalisée et l’entraînement de plusieurs adaptateurs LoRA au sein d’une même ressource de modèle. La documentation présente ce guide pratique comme une bibliothèque Python de boucles prêtes à l’emploi, dont les notebooks détaillent le GRPO, le SFT et l’entraînement multi-adaptateurs sur une même ressource de modèle, à l’aide des appels asynchrones du SDK. Pour les équipes qui utilisent déjà l’API Tinker, une procédure de migration consiste à remplacer une ligne d’importation par import together.post_training.tinker as tinker, comme l’explique un guide de migration détaillé.

Parmi les utilisateurs ayant bénéficié d’un accès anticipé, Anthony Li, directeur adjoint de la science des données chez Deel, a déclaré que le contrôle et la flexibilité de la plateforme avaient permis à son équipe de lancer de véritables expériences d’apprentissage par renforcement en quelques heures et d’en mener jusqu’à cinq simultanément avec les mêmes ressources GPU. Oliver Normand, ingénieur fondateur chez Jack & Jill, a indiqué que son équipe avait entraîné un modèle à prédire les candidats qu’un responsable du recrutement souhaiterait rencontrer — une étape clé dans la recherche menée par l’agent de recrutement Jill de l’entreprise — et avait égalé la qualité d’un modèle propriétaire lors d’évaluations hors ligne en utilisant un modèle open source beaucoup moins coûteux à servir. Il a ajouté que les ingénieurs de Together déployés auprès des clients avaient écrit les scripts à l’origine des premiers résultats de l’équipe.

Jain, de Collinear AI, a déclaré que la simplicité de l’intégration autonome avait facilité le lancement d’expériences d’apprentissage par renforcement agentique à grande échelle. Les ingénieurs de Together déployés auprès des clients accompagnent ces derniers tout au long du cycle de post-entraînement, du choix d’un modèle ouvert et d’un cadre d’exécution des agents à la préparation des données et des environnements d’entraînement, en passant par les évaluations et la mise en production d’un point de terminaison optimisé.