Nvidiaの優位性に直面して：非ビッグテック企業のための機敏なML開発戦略（供給とコストの課題の中で）

ビッグプレーヤーの中でビジネスを構築することは、決して容易なことではありません。2023年、AIセクターの競争は、実際の、脳を吹き飛ばすようなブレークスルーによって、前例のない高みに達しました。OpenAIのGPT-4のリリース、ChatGPTとBingの統合、GoogleのBardのリリース、そしてMetaの議論を呼んでいる「オープンソース」のLLama 2のリリース。これは、長い大手企業のリストのようです。どれほど興奮するかもしれませんが、ほとんどのイノベーションは、金が流れる場所にあり、より小さなテクノロジー企業が通過しなければならない競争は、日に日に激しくなっています。

テクノロジー業界の常に変化する景観の中で、Nvidia (NVDA ) はAIインフラストラクチャにおける主要プレーヤーとしての地位を固めています。8月の財務報告テレカンファレンスの際に、Nvidiaの社長であるJensen Huangは、Nvidiaプロセッサに対する需要の高まりを強調しました。この主張は、NvidiaのQ3の収益データによって裏付けられており、11月の年間実績からすでに印象的な年間実績を示しています。同時に、Gartnerの予測は、次の4年間でチップ支出の大幅な増加を示唆しています。現在、Nvidiaのソフトウェアスタックとプロセッサは無敵であり、業界は、信頼できる競争相手がいつ現れるかについて不確実です。

最近のブルームバーグとフィナンシャルタイムズの報告によると、OpenAIのCEOであるSam Altmanは、中東の投資家と交渉をしているようです。AIセクターのNvidiaチップへの依存を減らすためにチップ生産を開始することを目指しています。Nvidiaに挑戦することは、ほぼ1.5兆ドルの時価総額を持つ企業に挑戦することであり、Altmanには5兆ドルから7兆ドルかかり、数年かかる可能性があります。

しかし、ビジネスにおけるMLモデルのコスト効率に取り組むことは、会社にとって今すぐにすべきことです。ビッグテック以外の企業にとって、コスト効率の高いMLモデルを開発することは、単なるビジネスプロセス以上のものです。それは、存続上の重要な戦略です。この記事では、広範囲にわたるR&D投資を行わずにモデルを開発し、ベンダーロックインを避けるために、4つの実用的な戦略を紹介します。

NvidiaがAI市場を支配する理由

簡単に言えば、Nvidiaは、高性能のGPUと独自のモデルトレーニングソフトウェアスタックである、広く評価されているCUDAツールキットとのシナジーを実現することで、理想的なモデルトレーニングワークフローを作成しました。

CUDA（2007年に導入）は、Nvidia GPUプロセッサを最適に使用するための包括的な並列コンピューティングツールキットおよびAPIです。CUDAが人気がある主な理由は、ディープラーニングに不可欠な複雑な数学計算を加速する能力が無比であることです。さらに、cuDNNを含む豊富なエコシステムを提供し、ディープニューラルネットワークのパフォーマンスと使いやすさを高めます。主要なディープラーニングフレームワークとのシームレスな統合により、開発者にとって迅速なモデル開発とイテレーションが可能です。

このような堅牢なソフトウェアスタックと高効率のハードウェアの組み合わせが、市場を獲得する鍵となりました。Nvidiaの優位性が一時的な現象であると主張する人もいますが、現在の状況ではそのような予測は難しいです。

Nvidiaの優位性の重い代償

Nvidiaがマシンラーニング開発の分野で優位性を確立していることは、倫理的な分野だけでなく、研究開発予算の格差の拡大にも懸念が生じています。これは、小規模企業が市場に参入することが指数関数的に困難になる理由の1つです。スタートアップに至っては、NvidiaのようなR&D投資（Nvidiaのもの）を獲得することは、ほぼ不可能です。供給チェーンの安定性への依存が高まり、障害やベンダーロックインのリスクが高まり、市場の柔軟性が低下し、市場への参入障壁が高まります。

“いくつかの企業は、ユーザーを困惑させないように資金を確保しています。どこでも、エンジニアリング用語の「最適化」と「小さいモデルサイズ」が流行しています。企業はGPUのニーズを削減しようとしています。今年、投資家は数百万ドルをベンチャー企業に投資しています。ベンチャー企業のソフトウェアは、企業が持っているGPUでやりくりするのに役立ちます。

Nvidia Chip Shortages Leave AI Startups Scrambling for Computing Power By Paresh Dave

今が戦略的なアプローチを採用する時です。Nvidiaの影響力が広がる中で、企業が生き残るチャンスを得ることができます。

非ビッグテック企業がNvidiaの優位性に適応できる戦略

1. AMDのRocMを探索し始める

AMDは、過去1年間でPyTorchの主要ライブラリでRocmをサポートすることで、NVIDIAとのAI開発のギャップを埋めることに成功しています。この継続的な取り組みにより、互換性とパフォーマンスが向上し、MI300チップセットで顕著に示されています。MI300は、特にLLama-70bのような大規模言語モデル（LLM）推論タスクで、強力なパフォーマンスを発揮しています。この成功は、AMDが処理能力と効率性で達成した重大な進歩を強調しています。

2. 他のハードウェアの代替案を見つける

AMDの進歩に加えて、GoogleはTensor Processing Units（TPU）を導入しました。これは、機械学習ワークロードを加速するために特別に設計されたハードウェアであり、大規模なAIモデルをトレーニングするための強力な代替手段を提供しています。

業界の大手企業を超えて、小規模ながら重要なプレーヤーであるGraphcoreやCerebras (CBRS ) は、AIハードウェアの分野で注目に値する貢献をしています。GraphcoreのIntelligence Processing Unit（IPU）は、AI計算の効率性に特化しており、高パフォーマンスタスクでその潜在力を示しています。例としては、Twitterの実験があります。Cerebrasは、先進的なチップで境界を押し広げています。AIアプリケーション向けのスケーラビリティと生の計算能力に重点を置いています。

これらの企業の集団的な努力は、AIハードウェアエコシステムの多様性へのシフトを示しています。この多様性は、開発者や研究者にAI開発のためのより幅広いプラットフォームを提供することで、Nvidiaへの依存を減らすための有効な戦略を提供します。

3. パフォーマンス最適化に投資し始める

ハードウェアの代替案を探索することに加えて、ソフトウェアの最適化はNvidiaの優位性の影響を軽減する上で重要な要素となります。効率的なアルゴリズムを使用し、不要な計算を削減し、並列処理技術を実装することで、小規模企業は、コストのかかるハードウェアのアップグレードにのみ頼るのではなく、既存のハードウェアでMLモデルのパフォーマンスを最大化できます。

このアプローチの例は、Deci AiのAutoNACテクノロジーに見られます。この革新は、広く認知されているMLPerfベンチマークによって裏付けられており、モデル推論を3〜10倍加速する能力を実証しています。AutoNACテクノロジーは、ソフトウェア最適化がML開発の効率性を大幅に高めることができることを示しています。これは、Nvidiaの優位性の影響を緩和するための実用的な代替手段を提供します。

4. 分散クラスターを作成するために他の組織と共同で作業し始める

この共同アプローチには、研究結果の共有、代替ハードウェアオプションへの共同投資、オープンソースプロジェクトを通じて新しいMLテクノロジーの開発が含まれます。分散コンピューティングリソースを利用することで、小規模企業は市場を均等化し、ML開発業界でより競争的な景況を作り出すことができます。

現在、リソースを共有する戦略はテクノロジー業界全体で勢いを増しています。Google Kubernetes Engine（GKE）は、クラスタのマルチテナンシーをサポートし、効率的なリソースの活用とサードパーティサービスとの統合を可能にします。これは、Petalsのようなコミュニティ主導のイニシアチブによっても証明されています。Petalsは、AIモデルを実行するための分散ネットワークを提供し、多大な投資なしに高性能コンピューティングを可能にします。さらに、Together.aiのようなプラットフォームは、幅広いオープンソースモデルのサーバーレスアクセスを提供し、開発を簡素化し、コラボレーションを促進します。これらのプラットフォームを検討することで、計算リソースとコラボレーション開発の機会にアクセスできます。これにより、開発プロセスを最適化し、コストを削減できます。組織の規模に関係なくです。

結論

世界規模で見ると、上記の戦略の必要性が明らかになります。市場を支配する企業が1つだけの場合、開発が停滞し、妥当な価格設定が困難になります。

非ビッグテック企業は、AMDのRocMの代替案を探索し、効率的なアルゴリズムと並列処理を通じてパフォーマンス最適化に投資し、分散クラスターを作成するために他の組織と共同で作業することで、Nvidiaの優位性に立ち向かうことができます。これにより、AIハードウェアおよび開発業界でより多様で競争的な景況が促進され、小規模企業がAI開発の将来に発言力を持つことができます。

これらの戦略は、Nvidiaの価格と供給への依存を減らし、投資の魅力を高め、ハードウェア競争の中でビジネス開発の低下のリスクを最小限に抑え、業界全体の有機的な成長を促進することを目指しています。Nvidiaの価格と供給への依存を減らすことで、小規模企業がAI開発の将来に発言力を持つことができます。