コアウィーブのコーリー・サンダース – インタビュー・シリーズ

コーリー・サンダース、コアウィーブのシニア・バイス・プレジデント・プロダクトは、AIに特化したクラウド・プラットフォームの最も急成長している企業のうちの1つの製品戦略と実行を率いています。彼はイノベーションの拡大、顧客との目的を共有したソリューションの形成、コアウィーブのAIインフラストラクチャー市場における地位の強化を担当しています。コアウィーブに加わる前に、サンダースはマイクロソフトで2つの十年間、クラウド・エンジニアリング、業界特有のプラットフォーム、商業ソリューション戦略、企業パートナーシップなどのシニア・リーダーシップ・ロールを担っていました。

(CRWV ) (MSFT )

コアウィーブは、ハイパフォーマンス・コンピューティングと大規模な人工知能ワークロードのために特別に設計されたAIネイティブ・クラウド・プロバイダーです。同社は、米国とヨーロッパ全土に急速に拡大しているデータセンターを運営しており、AIトレーニング、推論、先進的なコンピューティングのユースケースのために設計されたGPUアクセラレーション・インフラストラクチャーとソフトウェアを提供しています。目的のアーキテクチャーに焦点を当て、汎用的なクラウドではなく、コアウィーブは、パフォーマンス、スケーラビリティ、効率性を求めるAIラボと企業のために重要なインフラストラクチャー・パートナーとなっています。

マイクロソフトでの20年以上のキャリアの中で、ウィンドウズ・エンジニアリング、クラウド・セールス・ストラテジー、ミクロソフト・クラウド・フォー・インダストリーなどの分野で働いてきました。そこでの経験から、企業の採用を促すものは何であるかについて、どのような教訓を得ましたか？また、それらの教訓をコアウィーブでの現在の仕事にどのように適用していますか？

企業の採用は、特定の顧客の問題を解決することから始まります。イノベーション自体が企業にとって重要なものではありません。彼らの立場に立って、本当に彼らを悩ませているものを理解することが重要です。コスト、運用の複雑さ、顧客とのつながり、グローバル・チームや新しい製品ラインの管理などです。彼らは、イノベーションに抵抗しているのではなく、問題を解決する手段としてイノベーションを受け入れる用意があります。製品設計で最も頻繁に起こる間違いは、製品の「かっこよさ」にすぎることです。消費者市場ではそれが重要ですが、企業顧客にとっては、かっこよさよりも実用性が重要です。

コアウィーブは、目的のあるAIインフラストラクチャーを提供することで知られています。製品の観点から見ると、目的のあるということの意味は何ですか？また、汎用的なクラウド・プラットフォームは、AIワークロードでどのように苦労していますか？

目的のあることの最大の利点は、すべての一般的なユースケースを解決する必要がないため、サービスを提供することに焦点を当て、集中できることです。ソフトウェアとハードウェアの2つの例を挙げます。

ソフトウェアの側面では、私たちのオブジェクト・ストレージ・オファリングとLOTAキャッシュは、AIワークロードのキャッシングに特化しています。GPUノードに直接展開し、S3エンドポイントを提供し、GPUリクエストに応じてキャッシュを複数のノードにわたって展開します。これにより、GPUへのスループットが7GB/sまで増加し、汎用的なクラウドでは実現できないレベルになります。これは、AI特有のワークロード、リード/ライト分割、クラスターレイアウトに関するデザインの前提を置くことができるため実現可能です。顧客がこれをデータベースやECサイトのホスティングに使用した場合、同じ影響を与えることはできません。これが目的のあるソフトウェアの定義です。

ハードウェアの例も同様です。最新のNVIDIA (NVDA ) SKUの広範な展開（多くは液体冷却を必要とする）により、コアウィーブはそのニーズをサポートするための特定の専門知識とデータセンター設計を構築しました。汎用的なクラウドが汎用性のために構築し、後に液体冷却を追加するのではなく、コアウィーブはAI向けにデータセンターを地上から構築しています。これにより、最新のSKUタイプのコストが低減し、可用性が向上します。

以下は、先ほど述べたLOTAキャッシュの画像です。

顧客がAIをスケールすることを最初に考える際、多くの場合、GPUへのアクセスのみが必要であると考えています。ただし、モデルを大規模にトレーニングまたは提供し始めたときに、通常、どのようなものが不足していることがわかりますか？

大量のGPUクラスタをまたいだワークロードを実行する複雑さにより、周囲のサービスが成功の真の原動力となります。これには、ストレージやネットワークなどの明らかなものだけでなく、観測可能性、オーケストレーション、セキュリティなどの重要な運用サービスも含まれます。コアウィーブのミッション・コントロール・オファリングがここで真に輝きます。顧客はノードのヘルスとランタイムに関する深い認識を得ることができ、それをオーケストレーション・エンジンに直接統合できます。これにより、顧客はインフラストラクチャーを1,000個の個別のGPUではなく、1つのまとまりのジョブ・エンティティとして扱うことができます。

現在、顧客の成果を改善するために、パフォーマンス、信頼性、コストの予測可能性、開発者エクスペリエンスなど、どのような製品の優先事項に焦点を当てていますか？

コア・プラットフォームでは、パフォーマンス、信頼性、観測可能性に常に焦点を当てています。顧客がジョブを繰り返し、予測可能な方法で実行し、すべてのGPUのTFLOPを最大限に活用できるようにする必要があります。その他に、SLURMのようなツール（誰もが使用していますが、ほとんどの人が嫌がっている）に精通していない顧客のためのオンボーディングを簡素化することに取り組んでいます。さらに、革新を容易にし、小規模から始めるための追加サービスと請求モデルを開発しています。現在、実験することは驚くほど難しく、容量の制約、3年間のコミットメント、開始するための専門家の必要性など、高い障壁があります。私たちはAIプラットフォームにイノベーションの簡易さを取り戻したいと思います。

AIワークロードがトレーニング重視から推論重視にシフトするにつれて、インフラストラクチャーの設計と製品ロードマップの決定にどのような影響がありますか？

コアウィーブの既存の差別化を推論要件に適用するための重要な機会を生み出します。たとえば、先ほど述べたLOTAキャッシュはトレーニング中のGPUへの給餌に焦点を当てています。ただし、同じテクノロジーを取り入れ、KVキャッシュなどのものに統合し、強力な推論の差別化要因に変えることができます。同様に、ミッション・コントロールのようなツールは推論のためにさらに重要になります。GPUのヘルスを観測することは、高度に利用可能なエージェントアプリケーションを実行する上で非常に重要だからです。

今後1〜2年間で、AIクラウド市場のリーダーシップを定義するものは何ですか？また、顧客にとってどのような機能が最も重要になるでしょうか？

リーダーシップは2つの要素によって定義されるでしょう。1つはトレーニングのためのスケールの要件を提供することです。これには、観測可能性、ヘルス・モニタリング、自動回復の進歩が必要です。数百から数万のGPUにわたるグローバルに分散されたシステムに移行する場合、障害への手動での対応は実行不可能です。

2つ目は、推論とエージェント・ワークロードのための適切なサービスを提供することです。これには、実験を促進するビジネスモデルとグローバルな展開能力が必要です。この使用パターンは、元々クラウドの成長を助けたものですが、AIの時代にはある程度失われています。プラットフォームのサポート、多クラウド機能、多リージョンの使いやすさを改善することでそれを取り戻す必要があります。

以前、ヘルスケア、リテール、金融サービス、製造業、主権クラウドなどの業界特有のクラウド・イニシアチブをリードしていました。どのような教訓がAIインフラストラクチャーに直接適用され、どのような教訓は適用されませんか？

GPUの世代の変化は、新しい複雑さをもたらします。各新しいリリースには、増加した相互接続性、より大きなメモリ、より大きな電力要件などがあり、ノードの接続方法やソフトウェアの提供方法に関する前提を再検討する必要があります。リーダーシップを維持するために、これに重点を置き続ける必要があります。他の面では、顧客が達成できるスケールの速さが劇的に改善されています。

AIデータセンターとクラスターが拡大するにつれて、どのような運用上の課題が現在最も解決しがたいものとなっていますか？また、どのような課題が最も速く改善されていますか？

GPUの世代の変化は、設計とソフトウェアの面で新しい複雑さをもたらします。各新しいGPUリリースには、増加した相互接続性、より大きなメモリ、より大きな電力要件などがあり、ノードの接続方法やソフトウェアの提供方法に関する前提を再検討する必要があります。リーダーシップを維持するために、これに重点を置き続ける必要があります。最も速く改善されているのは、顧客が達成できるスケールの速さです。

AIインフラストラクチャーでは、信頼性はアップタイムを超えています。コアウィーブでは、信頼性をどのように定義していますか？また、顧客の観点から見た成功を反映する最も適切な指標は何ですか？

大規模な運用では、顧客にとって最大の考慮事項は、単にジョブを完了することです。大量の運用では、個々の障害や遅延は予想されます。重要なのは、これらの問題を検出して自動的に対応し、ジョブが完了することを保証する方法です。これが、ミッション・コントロールをSUNK（Slurm on Kubernetes）などの高レベルのサービスに統合する理由です。顧客は障害に自動的に対応でき、数時間または数週間の作業を失うことはありません。私たちにとって、成功とはノードのアップタイムだけではありません。ジョブの成功です。

今後、AIインフラストラクチャーでまだ過小評価されている主要な変化は何ですか？ハードウェアの進化、スタックの特化、主権の要件、または新しい展開モデルに関連していますか？

強化学習（RL）のAIスタックの復活はまだ過小評価されていると思います。強化学習は新しい研究分野ではありませんが、最初のLLM開発の波の中で大部分が過小評価されていました。強化学習は復活し、AIサービスがユーザーの変化する状況に反応する上で重要な役割を果たすことになります。したがって、私たちは現在提供しているサーバーレスRLオファリングについて非常に興奮しています。

素晴らしいインタビュー、ありがとうございました。読者がもっと詳しく知りたい場合は、コアウィーブを訪問してください。