スケーリング時代の終わり：アルゴリズム的ブレークスルーがモデルサイズよりも重要な理由

過去10年間、人工知能の進歩はスケールによって推進されてきた。より大きなデータセット、より多くのパラメータ、より大きな計算能力が成功のための式となった。チームはより大きなモデルを作成するために競争し、成果はトリルパラメータとペタバイトのトレーニングデータで測定された。私たちはこれをスケーリング時代と呼ぶ。今日見られる人工知能の進歩の多くを促進してきたが、単純にモデルを大きくすることはもはや最も効率的、賢い、または持続可能なアプローチではない限界に近づいている。したがって、焦点は生のスケールからアルゴリズム的ブレークスルーに移りつつある。この記事では、スケーリングだけが不十分である理由と、人工知能開発の次の段階がアルゴリズム的イノベーションに依存することを検討する。

モデルスケーリングにおける減少する収穫の法則

スケーリング時代は確かな実証的基礎に基づいていた。研究者は、モデルとデータセットのサイズを増やすと、パフォーマンスの予測可能な改善につながることを観察した。このパターンは、スケーリング法則として知られるようになった。これらの法則はすぐに、先導的なAI研究所のプレイブックとなった。これにより、より大きなシステムを構築する競争が生まれ、今日の多くのAIを支える大規模言語モデルや基礎モデルが生まれた。しかし、すべての指数関数的曲線のように、このAIスケーリングは今や平坦化し始めている。さらに大きなモデルを開発するコストは急激に増加している。最先端のシステムをトレーニングするには、小さな町と同等のエネルギーを消費し、深刻な環境問題を引き起こしている。金銭的コストは非常に高額で、わずかな組織だけが競争できる。同時に、減少する収穫の明確な兆候を観察している。パラメータ数を2倍にすると、能力が2倍になるわけではない。改善はまた、既存の知識を改良するだけで、新しい能力を開拓するわけではない。追加の1ドルと1ワットあたりの価値は減少している。スケーリング戦略は経済的および技術的限界に達している。

新たなフロンティア：アルゴリズム的効率性

スケーリング法則の限界に突き当たった研究者たちは、アルゴリズム的効率性に焦点を当てている。無理やり力ずくではなく、賢いアルゴリズムを設計し、リソースをより効果的に使用することに注力している。最近の進歩は、このシフトの力を見せている。例えば、状態空間モデル（SSM）であるMambaは、Transformerアーキテクチャの代替として注目されている。SSMは、より効率的な選択的推論を可能にし、Transformerよりも高速に動作し、メモリ使用量も大幅に削減できる。

アルゴリズム的効率性の別の例は、専門家の混合（MoE）モデルである。巨大なネットワーク全体を毎回アクティブ化するのではなく、MoEシステムはタスクを最も関連のあるサブネットワークのサブセット、または「専門家」にルーティングする。モデル全体のパラメータ数は数十億個になっても、各計算ではそのうちのごく一部しか使用されない。これは、巨大な図書館を持っているが、質問に答えるために必要な本だけを開く、というようなものである。結果として、巨大なモデルの知識容量と小さなモデルの効率性が実現する。

これらのアイデアを組み合わせた別の例は、DeepSeek-V3である。DeepSeek-V3は、マルチヘッド潜在的注意（MLA）を備えたMoEモデルである。MLAは、伝統的な注意を改良し、キー値状態を圧縮することで、モデルが長いシーケンスを効率的に処理できるようにする。Transformerの強みを維持しながら、SSMと同様にシーケンスを効率的に処理できる。236億のパラメータを持つDeepSeek-V3は、コーディングや推論などの分野でトップレベルのパフォーマンスを発揮し、同時に比較可能なサイズのスケールモデルよりもアクセス性とリソース効率性が高い。

これらは単なる個別の例ではない。より賢く、より効率的な設計へのより広範なトレンドを表している。研究者は、モデルをより速く、より小さく、より少ないデータで動作させる方法に焦点を当てている。

このシフトが重要な理由

スケールへの依存からアルゴリズム的ブレークスルーへの移行は、人工知能分野に重大な影響を及ぼす。まず、人工知能を誰でも利用できるようにする。成功はもはや最も強力なコンピュータを持っていることだけに依存しない。小さな研究グループが、はるかに大きな予算で構築されたモデルを上回る新しい設計を作成できる。イノベーションは、リソースの競争からアイデアと専門知識によって推進されるものになる。したがって、大学、スタートアップ、独立した研究所が、単に大きなテクノロジー企業だけでなく、より大きな役割を果たすことができる。

2番目に、人工知能を日常の状況でより有用にする。500億パラメータを持つモデルは研究では印象的かもしれないが、その巨大さにより、実際に使用するのは困難でコストも高い。一方、MambaやMoEモデルなどの効率的な選択肢は、標準的なハードウェアで動作し、ネットワークのエッジにあるデバイスでも動作する。这种使いやすさは、医療における診断ツールやスマートフォンの即時翻訳機能などの一般的なアプリケーションに人工知能を導入する上で重要である。

3番目に、持続可能性の問題に取り組む。巨大な人工知能モデルを構築して運用するエネルギー需要は、環境にとって大きな課題となっている。効率性を重視することで、人工知能の作業から生じる二酸化炭素排出量を大幅に削減できる。

次に来るもの：知能設計の時代

私たちは知能設計の時代に入りつつある。質問は、モデルをどのようにしてより賢く、より効率的に設計できるかである。

このシフトは、人工知能の研究のいくつかの核心分野でイノベーションをもたらす。期待される進歩の1つの分野は、人工知能モデルアーキテクチャである。すでに述べたような新しいモデル、例えば状態空間モデルは、ニューラルネットワークがデータを処理する方法を変える可能性がある。例えば、力学系にインスパイアされたアーキテクチャは、実験でより強力であることを証明している。別の焦点は、モデルが非常に少ないデータで効果的に学習することを助けるトレーニング方法である。例えば、ゼロショットおよびファーショット学習の進歩は、人工知能をよりデータ効率的にしている。テクニック、アクティベーション・ステアリングは、再トレーニングなしで行動の改善を可能にしている。ポストトレーニングの改良と合成データの使用は、トレーニングの必要性を劇的に削減していることがある。時には10,000倍にもなる。

また、ニューロ・シンボリックAIへの関心が高まっている。ニューロ・シンボリックAIは、2025年の主要トレンドとなり、ニューラル学習のパターン認識とシンボリックシステムの論理的強みを組み合わせ、より説明可能でデータ依存性の低いシステムを実現する。例として、AlphaGeometry 2とAlphaProofがある。これらは、Google (GOOGL ) DeepMindがIMO 2025で金メダルを獲得することを可能にした。目標は、単に統計に基づいて次の単語を予測するのではなく、人間のように世界を理解し、推論するシステムを開発することである。

結論

スケーリング時代は重要で、人工知能の成長をもたらした。私たちが今日依存している基礎技術を提供し、可能な限界を拡大した。しかし、どの技術も成熟すると、初期の戦略は最終的にその潜在力を枯渇させる。先を見据える大きなブレークスルーは、スタックにさらに層を追加することから生まれるのではなく、スタック自体を再設計することから生まれる。

未来は、アルゴリズム、建築、機械学習の基本科学におけるイノベーションを創造する人々のものである。知能は、パラメータの数ではなく、設計の優雅さによって測られる未来である。賢いアルゴリズムを作成するための推進力は、まだ始まったばかりである。この移行は、よりアクセス性が高く、持続可能で、真正に知能的な人工知能への扉を開く。