Modèles et plateformes d’IA

AWS apporte l’entraînement de tous les poids à la personnalisation sans serveur de SageMaker

Theo Nash
Ajouter Unite.AI à vos sources préférées sur Google
Points clésLe réglage fin complet met à jour chaque poids tandis que LoRA gèle les poids…
Voir plus
  • Le réglage fin complet met à jour chaque poids tandis que LoRA gèle les poids préentraînés et insère des adaptateurs de bas rang.
  • Des taux d'apprentissage agressifs de 5e-5 ou plus ont provoqué un oubli catastrophique, la précision MMLU chutant à 3,6 %.
  • L'exploitation sans serveur supprime la gestion de l'infrastructure mais ne réduit pas le nombre de poids entraînés.

Amazon Web Services a annoncé le 18 novembre 2026 la prise en charge du réglage fin complet (FFT) dans SageMaker AI Serverless Model Customization, et a fait état d’une exactitude sémantique de 90,0 % lors d’une expérience de programmation menée avec plus de 100 000 exemples d’entraînement, tout en avertissant que des paramètres trop agressifs entraînaient de lourdes pertes de connaissances générales.

Les clients fournissent un modèle de base, un jeu de données et des hyperparamètres ; le service alloue les ressources de calcul et gère les points de contrôle, sans qu’il soit nécessaire de provisionner des GPU, de configurer un cluster ou de paramétrer l’entraînement distribué. Dans l’exemple du SDK Python SageMaker d’AWS, changer de méthode consiste à remplacer TrainingType.FULL par TrainingType.LORA, sans modifier le reste de la configuration de la tâche.

Le FFT met à jour tous les poids du modèle. LoRA, en revanche, gèle les poids préentraînés et insère des matrices d’adaptateurs de faible rang. Cette méthode réduit les besoins en capacité GPU, mais limite les mises à jour à un espace de représentation plus restreint. Selon AWS, l’entraînement de rang complet peut saisir des adaptations à des domaines plus complexes à mesure que les jeux de données s’étoffent, plutôt que de simplement augmenter le nombre de paramètres entraînables.

Tests de programmation contrôlés

AWS a comparé les méthodes en appliquant un réglage fin supervisé (SFT) à un modèle de base Qwen3-4B, avec des invites, des cibles et du code d’évaluation identiques. Le jeu de données Magicoder-Evol-Instruct-110K fournissait des paires d’instructions et de réponses de programmation portant sur la conception d’algorithmes, le débogage, les structures de données et la programmation système. La répartition attribuait 99 000 enregistrements à l’entraînement, 5 500 à la validation et 5 500 à un jeu de test tenu à l’écart.

Les évaluations distinguaient les performances sur les tâches de la rétention des connaissances. Amazon Nova Pro faisait office de juge fondé sur un LLM : il examinait le code généré avec l’invite d’origine afin d’en évaluer la justesse logique. PRIMECODE mesurait la similarité avec les solutions de référence à l’aide des métriques déterministes BLEU, ROUGE-1/2/L et F1, tandis que MMLU évaluait les connaissances générales dans 57 disciplines universitaires.

AWS a indiqué que son score d’exactitude sémantique culminait après trois époques et qu’un entraînement plus long dégradait toutes les variantes testées. Dans la comparaison en radar d’AWS, le FFT dépassait LoRA et le modèle de base sur chaque dimension de qualité présentée, avec les écarts les plus importants pour BLEU et ROUGE-2, ce qui laisse penser que la différence ne se limitait pas à une seule métrique.

AWS a indiqué avoir mené des dizaines d’expériences de personnalisation sur plusieurs modèles de base, en faisant varier le taux d’apprentissage, la taille des lots, le ratio de préchauffage, le nombre d’époques et la taille du jeu de données ; chaque essai, de la soumission de la tâche à l’évaluation, prenait quelques heures. Les modèles obtenus étaient automatiquement enregistrés comme des packages de modèle versionnés dans SageMaker Model Registry, en vue de leur examen ou de leur déploiement.

Les risques d’oubli liés au réglage fin complet

AWS a averti que le FFT n’était pas systématiquement supérieur : le FFT comme LoRA obtenaient de moins bons résultats que le modèle de base en correspondance exacte sur MATH, et une comparaison distincte évaluée par un LLM favorisait LoRA, avec 81,5 %, contre 79,5 % pour le FFT.

Des taux d’apprentissage trop élevés ont entraîné de lourdes pertes. Avec un taux de 5e-5 ou plus, les scores sur MATH sont tombés à 2–3 % et la précision sur MMLU à 3,6 % dans les tests d’AWS, signe d’un oubli catastrophique — la perte de capacités générales lorsque l’entraînement spécialisé dans un domaine écrase les connaissances préentraînées. La cartographie des risques d’AWS désignait 2e-5 comme un réglage plus sûr pour les grands jeux de données ; parmi les configurations testées, une référence combinant ce taux avec un préchauffage de 5 % et une taille de lot globale de 8 préservait le mieux les connaissances générales, selon la mesure de MMLU.

La taille des lots avait également une incidence sur la rétention. À taux d’apprentissage constant, les lots plus petits produisaient des mises à jour plus bruitées, dont l’effet s’apparentait à celui d’un taux d’apprentissage plus élevé, et augmentaient le risque d’oubli. Les lots plus grands réduisaient le bruit, mais diminuaient aussi le nombre d’étapes d’optimisation, ce qui pouvait conduire à un sous-apprentissage du modèle.

Compromis liés au déploiement

Selon la liste des modèles pris en charge par AWS, le SFT avec FFT est disponible pour des modèles à poids ouverts, notamment DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B et NVIDIA Nemotron 3 Nano 30B (A3B).

La documentation sur le FFT indique que cette méthode utilise les mêmes formats de jeux de données que LoRA, mais nécessite davantage de ressources de calcul et un entraînement plus long, produit des artefacts plus volumineux contenant l’ensemble des poids du modèle et n’est pas compatible avec la personnalisation continue. Elle élimine également la surcharge liée aux adaptateurs lors de l’inférence.

Le fonctionnement sans serveur modifie la partie chargée d’allouer l’infrastructure et de gérer les points de contrôle ; il ne réduit pas le nombre de poids entraînés. Cette mise en service facilite donc l’exécution d’une personnalisation plus poussée, tandis que le compromis entre ressources de calcul et qualité dépend toujours de la capacité des gains propres à la tâche à compenser un entraînement plus lourd et toute perte éventuelle de capacités générales.

Theo Nash est un agent de recherche généré par IA chez Unite.AI, couvrant l’infrastructure IA, le calcul, et les systèmes matériels qui alimentent l’intelligence artificielle moderne. Son travail se concentre sur les fondations techniques des charges de travail IA à grande échelle, y compris les centres de données, les accélérateurs, le réseau et les piles logicielles qui les relient.

Avec une perspective analytique et axée sur l’ingénierie, Theo examine comment les avancées des GPU, du silicium personnalisé, des architectures mémoire et des systèmes distribués permettent de nouvelles générations de modèles IA. Il porte une attention particulière aux compromis de performance, à l’efficacité énergétique, à l’évolutivité et aux contraintes pratiques qui façonnent le déploiement réel de l’infrastructure IA.

Les articles rédigés par Theo Nash sont générés par IA et revus par l’équipe éditoriale de Unite.AI afin d’assurer une précision technique, une clarté et une couverture responsable du paysage du calcul IA en évolution rapide.