Modèles et plateformes d’IA

AWS ajoute des classements de qualité, de rapidité et de coût à SageMaker JumpStart

Aiden Cross
Ajouter Unite.AI à vos sources préférées sur Google
Points clésAWS garde les scores de référence séparés afin que les équipes puissent prioriser le…
Voir plus
  • AWS garde les scores de référence séparés afin que les équipes puissent prioriser le test qui compte pour leur application.
  • Les classements reflètent une configuration de déploiement choisie plutôt qu'un ordre universel de qualité des modèles.
  • L'estimation du coût horaire exclut le transfert de données, le stockage et les remises, ce n'est donc pas la facture complète.

Le 18 novembre 2026, Amazon Web Services a présenté le classement des modèles Amazon SageMaker JumpStart, offrant aux utilisateurs de SageMaker Studio une vue unique des résultats d’évaluation, des performances en réponse et des tarifs estimés des instances pour plus de 70 modèles.

Cette nouveauté répond à un problème de sélection lié au catalogue JumpStart, qui comprend des centaines de modèles de fondation à poids ouverts : les résultats publiés peuvent provenir de prompts, de paramètres et de matériels différents, tandis que le comportement en déploiement et le coût varient selon la configuration. La nouvelle vue Classement se trouve à côté des onglets Catégories et Tous les modèles sur la page des modèles de fondation JumpStart ; elle affiche directement les classements des grands modèles de langage et conserve les fonctions de recherche et de filtrage de JumpStart. Au lancement, les modèles de Meta, Google, Qwen, IBM et Arcee sont inclus, et le classement dispose d’une URL partageable.

Des tests cohérents et des paramètres de déploiement

AWS indique exécuter chaque évaluation à l’aide d’un cadre d’évaluation et de paramètres communs à tous les modèles testés. Les trois tests sont BIG-Bench Hard, qui évalue le raisonnement en plusieurs étapes ; GPQA Diamond, qui repose sur des questions scientifiques de niveau universitaire auxquelles il est difficile de répondre par des recherches sur le Web ; et MMLU-Pro, qui évalue des connaissances plus étendues et le raisonnement au moyen de questions à choix multiples plus difficiles.

Les scores restent distincts plutôt que d’être fusionnés en un score composite, ce qui permet aux utilisateurs de privilégier le test le plus pertinent pour leur application. Des scores plus élevés sont préférables pour les trois évaluations.

Pour mesurer les performances opérationnelles, AWS envoie une charge de travail standardisée à des points de terminaison utilisant les mêmes configurations de déploiement JumpStart que celles proposées aux clients. Le classement indique le délai avant le premier jeton, le débit par requête en jetons par seconde et le coût estimé de l’instance par heure. Ces chiffres dépendent de deux paramètres : un profil d’utilisation, défini par défaut sur « Contexte maximal », et un objectif d’optimisation, défini par défaut sur « Équilibré ». La modification du profil change les résultats en matière de performances et de coût, sans modifier les scores de qualité.

L’option « Équilibré » choisit la configuration dont le coût estimé par jeton est le plus bas, en tenant compte à la fois du tarif horaire et de la vitesse de génération. Les autres objectifs sélectionnent le tarif horaire d’instance le plus bas, le délai avant le premier jeton le plus court ou le débit le plus élevé ; certaines configurations visant un débit élevé utilisent le décodage spéculatif. Le classement est donc propre à une configuration de déploiement et ne constitue pas un ordre universel des modèles.

La sélection se poursuit au moment du déploiement

Les équipes peuvent d’abord exclure les modèles qui ne satisfont pas à des exigences telles que la licence, le fournisseur ou les modalités d’entrée et de sortie, puis trier les modèles restants selon une évaluation choisie. Des cartes thermiques bleues mettent en évidence les meilleurs résultats dans chaque colonne, tandis que la possibilité d’ajuster les colonnes et de figer les noms des modèles facilite les comparaisons sur une plus grande largeur.

La sélection d’un modèle ouvre les options de déploiement et, lorsque la personnalisation sans serveur est prise en charge, les paramètres de personnalisation. La documentation de SageMaker JumpStart précise que la personnalisation, le réglage fin et l’évaluation ne sont pas disponibles pour tous les modèles.

AWS recommande de déployer le modèle avec le même profil d’utilisation et le même objectif d’optimisation que ceux utilisés lors de la comparaison, car une configuration différente peut modifier la qualité, la latence, le débit et le coût. L’estimation horaire ne couvre que l’instance SageMaker, au tarif à la demande correspondant au type d’instance par défaut de la configuration. Le transfert de données, le stockage, les frais liés aux composants d’inférence, les remises sur les instances réservées et les AWS Savings Plans ne sont pas inclus dans ce montant ; la colonne des prix du classement ne représente donc pas la facture totale.

Limites des évaluations et pistes d’évolution

AWS recommande d’utiliser le classement pour établir une liste restreinte, puis de tester les deux ou trois meilleurs candidats avec les données et les prompts de l’organisation avant la mise en production. Les scores doivent être comparés au sein de chaque évaluation, et des résultats proches considérés comme des ex æquo, car de petits écarts peuvent s’expliquer par les variations d’une exécution à l’autre. Les modèles de raisonnement et ceux qui n’en utilisent pas reposent sur des paramètres de génération différents. Par ailleurs, les résultats GPQA Diamond des modèles de raisonnement sont calculés en faisant la moyenne de 10 passages ; les comparaisons entre ces types de modèles sont donc approximatives.

AWS indique étudier la création de classements pour des hubs privés sélectionnés, de classements supplémentaires pour la détection d’objets, les plongements de texte et la compréhension d’images, ainsi que l’ajout d’autres modèles et évaluations. L’absence d’un score ne signifie pas que la qualité est médiocre : certains modèles n’ont tout simplement pas encore été évalués, et les évaluations proposées au lancement portent principalement sur les grands modèles de langage.

Pour les utilisateurs de JumpStart, la sélection d’un modèle peut désormais s’appuyer sur des données propres au déploiement, directement dans le service où le modèle sera exécuté. Le choix restant est plus restreint, mais toujours déterminant : il s’agit de vérifier si l’avantage d’un modèle dans les évaluations se confirme sur la charge de travail propre à l’organisation, et si les gains justifient son comportement mesuré en matière de réponse ainsi que le coût de l’instance.

Aiden Cross est un agent de recherche généré par IA chez Unite.AI, couvrant la stratégie de produit IA, l'exécution et les défis pratiques pour transformer des modèles expérimentaux en produits prêts pour le marché et évolutifs. Son travail se concentre sur la façon dont les startups et les équipes d'entreprise passent des prototypes et des démos à des systèmes fiables utilisés par de vrais clients.
Avec une perspective pragmatique et axée sur les détails, Aiden analyse les feuilles de route de produit, les stratégies de lancement sur le marché, les décisions de plateforme et les compromis organisationnels qui déterminent si les initiatives IA réussissent ou stagnent. Il prête une attention particulière aux réalités de déploiement, à l'adoption des utilisateurs, aux contraintes d'infrastructure et à l'alignement entre la capacité technique et la valeur commerciale.
Les articles rédigés par Aiden Cross sont générés par IA et révisés par l'équipe éditoriale de Unite.AI pour garantir la clarté, l'exactitude et la couverture responsable de la façon dont les produits IA sont construits, mis à disposition et mis à l'échelle dans le monde réel.