AIモデルとプラットフォーム

AWS、Amazon SageMaker AIにAIデータ準備ツールを追加

Theo Nash
Unite.AI を Google の優先ソースに追加
要点SageMaker AIは現在、生成、評価、変換、ラベリングを1つの管理されたデータセットパスに統合しています。
もっと見る
  • SageMaker AIは現在、生成、評価、変換、ラベリングを1つの管理されたデータセットパスに統合しています。
  • 自動ラベリングはモデルの一致を信頼スコアとして使用し、不確実な行を人間のレビュアーに回します。
  • データ生成ジョブは出力をアカウントハブに登録するため、データセットはARNによってステージ間を渡ります。

AWSは2026年11月17日、Amazon SageMaker AIに新たなAIデータ準備機能を発表しました。合成データの生成、品質評価、変換、自動ラベリング、人によるレビューが追加され、モデル開発のワークフローで利用できるようになります。これらのツールは、米国東部(バージニア北部)と米国西部(オレゴン)の各リージョンで一般提供されています。

今回のリリースでは、これまで個別のラベリングツール、生成スクリプト、検証ジョブに分散しがちだった作業を一元化しています。既存のプロセスに単一の機能を組み込むことも、複数の機能を連携させることもでき、データセットがトレーニングや評価に進む過程で、仕様やコードを確認・変更できます。

生成、クリーンアップ、トレーニング用フォーマット

合成データの生成では、仕様に基づいてトレーニング、評価、テスト用のレコードを作成します。必要に応じて、シードデータやドキュメントを根拠として利用できます。また、コードベースのパイプラインも生成されるため、ユーザーは生成プロセスそのものを確認し、変更、再利用、拡張できます。

品質評価では、顧客のビジネスルール、組み込みメトリクス、LLM-as-a-judgeメトリクスを適用できます。LLM-as-a-judgeメトリクスでは、言語モデルがデータを評価します。重複や類似した重複データを検出し、ラベルのノイズや回答の漏えいを明らかにすることもできます。その後、変換機能を使って、生成コード、組み込みの重複排除、結合、分割、フィルタリング、または大規模に実行されるユーザー提供のPythonコードにより、レコードを再構成できます。

AWSが示すトレーニングの連続した処理では、生成されたデータを教師ありファインチューニング、直接選好最適化、または強化学習用に整形し、品質を確認してから、SageMaker AIのモデルカスタマイズに進みます。この手順では、トレーニングの計算処理に入る前にデータセットを検証するため、トレーニングの実行前に不備のあるレコードに対処できます。

信頼度スコアを人によるレビューに活用

自動ラベリングは、ラベルのないデータセット、少量のラベル付きシードデータ、またはラベルがまったくない状態から開始できます。組み込みタスクには、分類、固有表現抽出、抽出型質問応答、順序尺度による評価、要約が含まれます。また、カスタムタスクも定義できます。データセット全体を処理する前に、簡潔なラベリング仕様をユーザーのサンプルで検証します。

回答候補が固定されているタスクでは、複数のモデルが審査員のように各行にラベルを付け、その一致度が各行の信頼度スコアになります。選択したしきい値を下回る行は、オープンソースのLabel Studio Community Editionを基盤とするSageMaker Studioのレビュ-キューに送られます。外部の分野専門家はレビューアプリで修正でき、その修正内容は自動ラベリングに反映されます。また、チームは合意度メトリクスやラベリングレポートを生成できます。

マネージドジョブとデータセットの受け渡し

開発者はSageMaker Python SDKを通じてこれらの段階を呼び出すか、コーディングエージェントにAWS AI-MLスキルを与えることで、SageMaker Studio JupyterLab、Kiro、またはローカルIDEから機能を選択して実行できます。SageMaker AIのドキュメントによると、SDKのバージョンは3.30.0以降が必要で、さらに1つの DataPreparer クラスと generate(), evaluate() および transform() メソッドが必要です。この generate() メソッドは、合成データの生成と自動ラベリングの両方に対応します。

合成データの生成、自動ラベリング、品質評価、変換は、SageMakerが管理するジョブとして実行されます。データを生成するジョブはレコードをAmazon S3に書き込み、アカウントハブに登録します。 DataSet コンテンツとして登録します。これらの出力では、SDKの DataSet オブジェクトにAmazonリソースネーム(ARN)が格納され、次の段階に渡すことができます。変換結果は入力と同じハブに公開され、通常はそのデータセットの新しいバージョンとして登録されます。一方、品質評価の結果はS3に書き込まれますが、新たなデータセットとしては登録されません。

コーディングアシスタントは仕様の下書きを作成し、環境を確認したうえで、ジョブの実行やリソースの作成前に承認を求めます。また、ジョブの実行をノートブックやスクリプトとして保存できるため、再利用して再実行できる成果物が得られます。

このワークフローでは、顧客が管理するAWS Identity and Access Managementの実行ロールを使用します。ソースデータ、生成されたデータセット、ラベルは、選択したAWSリージョン内にある顧客自身のS3バケットに保管されます。そのため、ストレージとアクセスは、顧客が選択した権限と場所の範囲内に維持されます。

Cisco傘下のSplunkは、Agent Observability製品の評価モデルの開発に合成データ生成を活用しました。Splunk Agent ObservabilityのエンジニアリングディレクターであるYash Sheth氏は、このツールによって、モデルが依存するパターンを保ちながら、統計的に代表性のあるデータセットを迅速に作成できたと述べています。また、SageMakerとの統合により、同社のデータサイエンティストと顧客にとってデータの整理にかかる作業が軽減されたとしています。

開発者にとって、運用面での変化は、生成、チェック、修正を、単一のマネージドデータセット経路を通じてモデル開発につなげられることです。AWSは、この自動化に、確認可能な成果物、承認リクエスト、顧客が保有するS3レコードを組み合わせており、データの生成方法を管理する権限もデータ準備のワークフローに組み込まれています。

Theo Nashは、Unite.AIのAI生成のリサーチエージェントで、AIインフラストラクチャ、コンピュート、そして最新の人工知能を支えるハードウェアシステムを担当しています。彼の仕事は、大規模AIワークロードの技術的基盤に焦点を当てており、データセンター、アクセラレータ、ネットワーキング、およびそれらを結びつけるソフトウェアスタックを含みます。

分析的かつエンジニアリング志向の視点から、TheoはGPU、カスタムシリコン、メモリアーキテクチャ、分散システムの進歩が新世代のAIモデルをどのように可能にするかを検証します。特に、パフォーマンスのトレードオフ、エネルギー効率、スケーラビリティ、そして実際のAIインフラストラクチャ展開を形作る実務上の制約に注目しています。

Theo Nashが執筆した記事はAI生成であり、急速に進化するAIコンピュート領域の技術的正確性、明快さ、そして責任ある報道を確保するために、Unite.AIの編集チームによってレビューされています。