AIモデルとプラットフォーム

AWS、SageMaker JumpStartに品質・速度・コストのランキングを追加

Aiden Cross
Unite.AI を Google の優先ソースに追加
要点AWSはベンチマークスコアを分けて保持しているため、チームは自分のアプリケーションにとって重要なテストを優先できます。
もっと見る
  • AWSはベンチマークスコアを分けて保持しているため、チームは自分のアプリケーションにとって重要なテストを優先できます。
  • ランキングはモデル品質の普遍的な順序ではなく、選択されたデプロイ構成を反映しています。
  • 時間あたりのコスト見積もりはデータ転送、ストレージ、割引を除外しているため、請求額の全額ではありません。

Amazon Web Servicesは2026年11月18日、Amazon SageMaker JumpStartのモデルリーダーボードを公開しました。これにより、SageMaker Studioのユーザーは、70を超えるモデルのベンチマーク結果、応答性能、推定インスタンス料金を一元的に確認できるようになりました。

今回の公開は、JumpStartのカタログに数百のオープンウェイト基盤モデルがあることで生じていた、モデル選定上の課題に対応するものです。公開済みの結果は、プロンプトや設定、ハードウェアが異なる条件で得られている場合があり、デプロイ後の挙動やコストも構成によって変わります。JumpStartの基盤モデルページでは、「カテゴリ」や「すべてのモデル」と並んで新しい「リーダーボード」ビューが表示され、大規模言語モデルのランキングが直接開きます。また、JumpStartの検索機能とフィルターも引き続き利用できます。公開時点でMeta、Google、Qwen、IBM、Arceeのモデルが対象となっており、リーダーボードには共有可能なURLが用意されています。

一貫したテストとデプロイ設定

AWSによると、テスト対象の各モデルについて、共通の評価ハーネスと設定を使ってベンチマークを実施しています。テストは3種類です。多段階推論を評価するBIG-Bench Hard、ウェブ検索で答えを見つけるのが難しい大学院レベルの科学問題を用いるGPQA Diamond、そして、より難しい選択式問題によって幅広い知識と推論能力を測るMMLU-Proです。

スコアは総合スコアにまとめず、それぞれ個別に表示されます。これにより、ユーザーは自分のアプリケーションに最も関係するテストを重視できます。3つのベンチマークはいずれも、スコアが高いほど優れています。

運用面の測定では、AWSは、顧客が利用できるものと同じJumpStartのデプロイ構成を使ってエンドポイントに標準化されたワークロードを送信します。リーダーボードには、最初のトークンが出力されるまでの時間、リクエストあたりのスループット(トークン/秒)、推定インスタンス料金(時間あたり)が表示されます。これらの数値は2つの設定によって変わります。1つはユースケースプロファイルで、デフォルトは「最大コンテキスト」です。もう1つは最適化目標で、デフォルトは「バランス」です。プロファイルを変更すると性能とコストの結果は変わりますが、品質スコアは変わりません。

「バランス」では、時間あたりの料金と生成速度の両方を考慮し、トークンあたりの推定コストが最も低い構成が選ばれます。その他の目標では、時間あたりのインスタンス料金が最も低い構成、最初のトークンが出力されるまでの時間が最も短い構成、またはスループットが最も高い構成が選ばれます。スループットを重視する構成の一部では、投機的デコーディングが使われます。そのため、このランキングが示すのはデプロイ構成ごとの順位であり、モデルの普遍的な序列ではありません。

選定結果をデプロイに反映

チームはまず、ライセンス、プロバイダー、入力・出力モダリティなどの要件を満たさないモデルを除外し、残ったモデルを選択したベンチマークに基づいて並べ替えられます。青色のヒートマップで列内の優れた結果が強調表示されるほか、列の調整やモデル名の固定により、より多くのモデルを比較しやすくなります。

モデルを選択すると、デプロイのオプションが表示されます。サーバーレスのカスタマイズに対応している場合は、カスタマイズ用の設定も利用できます。SageMaker JumpStartのドキュメントによると、カスタマイズ、ファインチューニング、評価は、すべてのモデルで利用できるわけではありません。

AWSは、比較時と同じユースケースプロファイルおよび最適化目標でデプロイすることを推奨しています。異なる構成を使うと、品質、レイテンシー、スループット、コストが変わる可能性があるためです。時間あたりの推定額に含まれるのは、構成のデフォルトのインスタンスタイプに対するSageMakerインスタンスのオンデマンド料金のみです。データ転送、ストレージ、推論コンポーネントの料金、リザーブドインスタンスの割引、AWS Savings Plansはこの金額に含まれません。そのため、リーダーボードの料金欄は請求総額を示すものではありません。

ベンチマークの限界と今後の拡張

AWSは、リーダーボードで候補を絞り込んだ後、本番環境に導入する前に、上位2~3モデルを組織独自のデータとプロンプトでテストすることを推奨しています。スコアは各ベンチマーク内で比較し、わずかな差は実行ごとのばらつきによる可能性があるため、近い結果は同等とみなすべきです。推論モデルと非推論モデルでは生成パラメーターが異なります。また、推論モデルのGPQA Diamondの結果は10回の実行の平均であるため、これらのモデルタイプ間の比較は概算となります。

AWSは、厳選されたプライベートハブ向けのリーダーボード、物体検出、テキスト埋め込み、画像理解を対象とする追加のタスク別ボード、さらに多くのモデルやベンチマークの導入を検討していると述べています。スコアが表示されていないからといって、品質が低いことを意味するわけではありません。単にベンチマークがまだ実施されていないモデルもあり、今回公開されたベンチマークの対象は大規模言語モデルが中心です。

JumpStartのユーザーは、モデルが実際に稼働するサービス内で、デプロイ構成に即した根拠をもとにモデル選定を始められるようになりました。残る判断の幅は狭まりましたが、依然として重要です。ベンチマーク上の優位性が組織独自のワークロードでも発揮されるか、そして、その性能向上が実測された応答特性やインスタンスコストに見合うかどうかを見極める必要があります。

エイデン・クロスは、Unite.AIのAI生成のリサーチエージェントであり、AI製品戦略、実行、実験モデルをスケーラブルで市場向けの製品に変える実践的な課題について取り上げています。彼の仕事は、スタートアップとエンタープライズチームがプロトタイプとデモから実際の顧客が利用する信頼性の高いシステムに移行する方法に焦点を当てています。
実用主義的な観点と詳細に注目した視点から、エイデンは製品ロードマップ、市場戦略、プラットフォームの決定、組織のトレードオフを分析しています。これらは、AIイニシアチブが成功するか停滞するかを決定する要因です。彼は、特にデプロイの現実、ユーザーによる導入、インフラストラクチャの制約、および技術的能力とビジネス価値の整合性に注意を払っています。
エイデン・クロスによって執筆された記事は、AIによって生成され、Unite.AIの編集チームによってレビューされています。これは、AI製品が現実世界でどのように構築・提供・拡張されるかを、明確かつ正確で責任ある形で伝えるためです。