ディープシークが5.6Mドルでコストの壁を突破した方法

従来のAIの知恵によれば、大規模な言語モデル（LLM）を構築するには、通常、数十億ドル規模の投資が必要であると考えられています。しかし、中国のAIスタートアップであるディープシークは、最新の成果でこのパラダイムを打ち破りました。世界クラスのAIモデルをわずか560万ドルで開発しました。

ディープシークのV3モデルは、GoogleのGeminiやOpenAIの最新モデルと並んで、業界の巨人と対決することができます。しかも、通常の計算リソースのごく一部しか使用していません。この成果は、多くの業界リーダーの注目を集めました。特に注目されるのは、米国の輸出制限により、最新のNvidiaチップへのアクセスが制限されていたにもかかわらず、会社がこの成果を達成したことです。

効率的なAIの経済学

数字は、効率的な物語を語っています。ほとんどの先進的なAIモデルは、16,000から100,000のGPUを必要としますが、ディープシークは、2,048のGPUで57日間実行するだけで済みました。モデルのトレーニングには、Nvidia (NVDA ) H800チップで2,780万GPU時間を使用しました。671億パラメータを持つモデルとしては、驚くほど控えめな計算リソースでした。

これを比較するために、Metaは、405億パラメータを持つLlama 3モデルをトレーニングするために、約3,080万GPU時間を使用しました。つまり、ディープシークのモデルは、約11倍の計算リソースを使用しました。ディープシークのアプローチは、制約のある環境での最適化のマスタークラスです。H800 GPUを使用して、カスタムソリューションを開発し、効率を最大化しました。

競合他社は、巨額の投資が必要であると考えている一方で、ディープシークは、創造性と効率的なリソースの使用が、レベルを平等にすることができることを実証しています。

Image: Artificial Analysis

不可能を達成するエンジニアリング

ディープシークの成果は、革新的技術アプローチにあります。制約の中で働くことによって、最も影響力のあるブレークスルーが生まれることがあります。

この革新の中心にあるのは、補助損失フリーのロードバランシングという戦略です。従来、複雑なルールとペナルティが必要でしたが、ディープシークは、オーバーヘッドのないシステムを開発しました。

チームはまた、複数トークン予測（MTP）というテクニックを開発しました。モデルの予測精度は、85-90%で、1.8倍の高速化を実現しました。

技術アーキテクチャ自体は、効率の傑作です。ディープシークのV3モデルは、671億パラメータを持つ混合エキスパートアプローチを使用していますが、各トークンごとに37億パラメータのみをアクティブにします。この選択的アクティブ化により、大規模モデルの利点を維持しながら、実用的効率を維持しています。

FP8混合精度トレーニングフレームワークの選択も、重要な進歩です。精度を維持しながら、メモリと計算リソースを大幅に削減しました。

AIエコシステムへの波及効果

ディープシークの成果は、単に1つの成功したモデルに留まらず、AIエコシステム全体に波及効果をもたらします。

欧州のAI開発にとって、このブレークスルーは特に重要です。多くの先進的なモデルは、EUに導入されません。ディープシークのアプローチは、先進的なAIを構築するために、巨大なGPUクラスターは必要ないことを示しています。利用可能なリソースを効率的に使用することが重要です。

この開発はまた、輸出制限がイノベーションを促進する可能性があることを示しています。ディープシークの高性能ハードウェアへのアクセスが制限されていたため、ソフトウェアの最適化に重点を置くことで、リソース豊富な環境では生まれない可能性のあるソリューションを開発しました。

民主化の影響は深刻です。業界の巨人が数十億ドルを費やしている一方で、ディープシークは、効率的でコスト効率の高いAI開発のブループリントを作成しました。これにより、以前はリソースの制約により競争できなかった、小規模な企業や研究機関が参入する可能性が開けます。

ただし、これは、大規模な計算インフラストラクチャが時代遅れになることを意味しません。業界は、推論時間のスケーリングに焦点を当てています。モデルの回答を生成するのにかかる時間がどのくらいかです。このトレンドが続くにつれて、将来的には、より多くの計算リソースが必要になる可能性があります。

しかし、ディープシークは会話を根本的に変えました。長期的な影響は明確です。創造性と効率的なリソースの使用が、純粋な計算能力よりも重要になる時代に入ります。AIコミュニティにとって、これは、利用可能なリソースのみに焦点を当てるのではなく、どのように創造的に、効率的にリソースを使用するかを考えることを意味します。