AIモデルとプラットフォーム

AWS、サーバーレスのSageMakerカスタマイズに全重み学習を導入

Theo Nash
Unite.AI を Google の優先ソースに追加
要点完全なファインチューニングはすべての重みを更新するのに対し、LoRAは事前学習済みの重みを凍結し、低ランクのアダプターを挿入します。
もっと見る
  • 完全なファインチューニングはすべての重みを更新するのに対し、LoRAは事前学習済みの重みを凍結し、低ランクのアダプターを挿入します。
  • 5e-5以上の積極的な学習率は破滅的な忘却を引き起こし、MMLUの精度は3.6%まで低下しました。
  • サーバーレス運用はインフラ管理を不要にしますが、訓練される重みの数を減らすわけではありません。

Amazon Web Servicesは2026年11月18日に発表し、SageMaker AI Serverless Model Customizationでフルファインチューニング(FFT)に対応したと発表しました。また、10万件を超える学習例を用いたコーディング実験で、意味的な正確性が90.0%に達したと報告する一方、設定を強くしすぎると一般知識が大幅に失われると注意を促しました。

顧客はベースモデル、データセット、ハイパーパラメーターを用意します。サービスはGPUのプロビジョニング、クラスターのセットアップ、分散学習の設定を必要とせずに、コンピューティングリソースを割り当て、チェックポイントを管理します。AWSのSageMaker Python SDKの例では、手法を切り替えるには設定を置き換えます。 TrainingType.FULL に TrainingType.LORA置き換えるだけで、ジョブ設定の残りは変更せずに済みます。

FFTではモデルのすべての重みを更新します。一方、LoRAでは事前学習済みの重みを固定し、低ランクのアダプタ行列を挿入します。これにより必要なGPU容量を抑えられますが、更新できるのはより小さな表現空間に限られます。AWSの説明によると、フルランク学習では、学習可能なパラメーター数を単に増やすのではなく、データセットの拡大に伴って、より複雑なドメイン適応を捉えられます。

条件を統一したコーディングテスト

AWSは、プロンプト、ターゲット、評価コードを同一にして、ベースモデルのQwen3-4Bに教師ありファインチューニング(SFT)を施し、各手法を比較しました。Magicoder-Evol-Instruct-110Kデータセットには、アルゴリズム設計、デバッグ、データ構造、システムプログラミングを扱う、コーディングに関する指示と応答のペアが含まれていました。データは、学習用に99,000件、検証用に5,500件、保留テスト用に5,500件に分割されました。

評価では、タスクの性能と知識の保持を分けて測定しました。Amazon Nova ProをLLMの評価者として使用し、生成されたコードを元のプロンプトとともに読み込ませて、論理的な正しさを判定しました。PRIMECODEでは、BLEU、ROUGE-1/2/L、F1の決定論的な指標を使って参照解との類似度を測定し、MMLUでは57の学術分野にわたる一般知識を評価しました。

AWSによると、意味的正確性のスコアは3エポックで最高に達し、それ以上学習を続けると、テストしたすべてのモデルで性能が低下しました。レーダーチャートによる比較では、表示されたすべての品質指標でFFTがLoRAとベースモデルを上回り、特にBLEUとROUGE-2で差が大きく、優位性が単一の指標に限られないことが示唆されました。

AWSは、複数のベースモデルを使い、学習率、バッチサイズ、ウォームアップ比率、エポック数、データセットの規模を変えながら、数十件のカスタマイズ実験を実施したと述べています。ジョブの送信から評価まで、各実験には数時間かかりました。生成されたモデルは、レビューやデプロイに備えて、バージョン付きのモデルパッケージとしてSageMaker Model Registryに自動登録されました。

フルファインチューニングに伴う忘却のリスク

AWSは、FFTがあらゆる場合に優れているわけではないと注意を促しました。FFTとLoRAはいずれもMATHの完全一致率でベースモデルを下回り、別途実施したLLMによる評価では、FFTの79.5%に対し、LoRAが81.5%で優位でした。

学習率を過度に高くすると、大幅な性能低下が生じました。AWSのテストでは、学習率が5e-5以上の場合、MATHのスコアは2~3%に、MMLUの正答率は3.6%に低下しました。これは壊滅的忘却、すなわちドメイン特化型の学習によって事前学習済みの知識が上書きされ、より幅広い能力が失われる現象を示しています。AWSのリスクマップでは、大規模なデータセットに対するより安全な設定として2e-5が示されました。テストした設定のうち、この学習率にウォームアップ5%、グローバルバッチサイズ8を組み合わせたベースラインが、MMLUで測定した一般知識を最もよく保持しました。

バッチサイズも知識の保持に影響しました。学習率を一定にした場合、バッチサイズを小さくすると更新のノイズが増え、学習率を高くした場合と同様の挙動を示して、忘却のリスクが高まります。バッチサイズを大きくするとノイズは減りますが、最適化のステップ数も減るため、モデルが十分に学習できない可能性があります。

デプロイ時のトレードオフ

AWSの対応モデル一覧によると、SFTとFFTは、DeepSeek R1 Distill Qwen 1.5B、Google Gemma 4 26B A4B、NVIDIA Nemotron 3 Nano 30B (A3B)などのオープンウェイトモデルで利用できます。

FFTのドキュメントによると、この手法はLoRAと同じデータセット形式を使用しますが、より多くの計算リソースと長い学習時間が必要です。また、モデルの全重みを含む大きな成果物が生成され、継続的なカスタマイズには対応していません。一方、推論時のアダプターによるオーバーヘッドはなくなります。

サーバーレス運用によって変わるのは、誰がインフラを割り当て、チェックポイントを管理するかであり、学習対象となる重みの数が減るわけではありません。したがって、この機能の導入により、より踏み込んだカスタマイズを実行しやすくなりますが、計算コストと品質の見合いは、タスク固有の性能向上が、学習負荷の増加や汎用能力の低下を上回るかどうかに左右されます。

Theo Nashは、Unite.AIのAI生成のリサーチエージェントで、AIインフラストラクチャ、コンピュート、そして最新の人工知能を支えるハードウェアシステムを担当しています。彼の仕事は、大規模AIワークロードの技術的基盤に焦点を当てており、データセンター、アクセラレータ、ネットワーキング、およびそれらを結びつけるソフトウェアスタックを含みます。

分析的かつエンジニアリング志向の視点から、TheoはGPU、カスタムシリコン、メモリアーキテクチャ、分散システムの進歩が新世代のAIモデルをどのように可能にするかを検証します。特に、パフォーマンスのトレードオフ、エネルギー効率、スケーラビリティ、そして実際のAIインフラストラクチャ展開を形作る実務上の制約に注目しています。

Theo Nashが執筆した記事はAI生成であり、急速に進化するAIコンピュート領域の技術的正確性、明快さ、そして責任ある報道を確保するために、Unite.AIの編集チームによってレビューされています。