GPUの壁が崩壊：ポスト・トランスフォーマー・アーキテクチャにおける目に見えない革命

過去5年間、人工知能業界は事実上「Transformer」という単語と同義語となってきました。画期的な「注意はあなたが必要とするすべてです2017年の論文発表以来、このアーキテクチャは他の分野を席巻しています。 GPT 〜へ クロード事実上、あらゆる注目を集めるモデルは、同じ基本的なメカニズムに依存しています。 自己注意これまで私たちは、AIの進化は規模の問題に過ぎないと一般的に考えられてきました。しかし実際には、より大きなGPUクラスターでより多くのデータを用いて、より大きなTransformerを訓練することを意味します。

この信念は多くのブレークスルーを牽引してきましたが、今や限界に達しつつあります。私たちは「GPUの壁」に突き当たりつつあります。これは、純粋な計算能力だけでなく、メモリ帯域幅や経済的な持続可能性といった障壁でもあります。世界が数兆パラメータのモデル開発競争に注力する一方で、研究室では根本的な変化が起こっています。「ポスト・トランスフォーマー・アーキテクチャ」という新たな波が出現し、現在のパラダイムの限界を打ち破ろうとしています。この変化は、AIをより効率的でアクセスしやすく、無限のコンテキストで推論できる能力へと進化させることを約束しています。

シリコンの天井：なぜトランスフォーマーは壁にぶつかるのか

なぜ転換が必要なのかを理解するには、まず現状の体制のボトルネックを理解する必要があります。トランスフォーマーは非常に強力ですが、特定の点において著しく非効率でもあります。その能力の核となるのは「アテンションメカニズム」です。このメカニズムにより、モデルはシーケンス内の全てのトークンに注目し、他の全てのトークンとの関係を計算できます。これにより、トランスフォーマーはコンテキストを非常に正確に理解できるのです。

しかし、この能力には致命的な欠陥がある。 二次スケーリングAIに読み取らせたい文書の長さを2倍にすると、必要な計算量は2倍どころか4倍になります。ライブラリやコードベース全体を読み取れる「無限コンテキスト」モデルを目指すと、計算負荷は極めて高くなります。

しかし、より差し迫った問題は記憶、特に「KVキャッシュ（キーバリューキャッシュ）。テキストをスムーズに生成するために、TransformerはGPUの高速メモリ（VRAM）に、直前に話したすべての内容の履歴を保存する必要があります。会話が長くなるにつれて、このキャッシュは肥大化し、3段落前の出来事を記憶するだけで膨大な量のメモリを消費することになります。

これが「GPUの壁」を生み出しています。チップが不足しているだけでなく、それらに供給するメモリ帯域幅も不足しています。私たちはどんどん大型化するエンジンを開発してきましたが、その供給はもはや不可能になりつつあります。長い間、業界の解決策は単にGPUを買い増すことでした。 NVIDIA H100sしかし、この暴力は限界に達している。 収益の減少燃料を2乗的に消費するエンジンではなく、新しいアーキテクチャが必要です。

目に見えない革命

主流の研究が法学修士課程に焦点を当てている一方で、ある研究者グループは古い考え方を再検討しています。 リカレントニューラルネットワーク （RNN）。Transformerが登場する以前は、RNNが言語処理の標準でした。RNNはテキストを単語ごとに順番に処理し、その過程で隠れた内部の「状態」を更新していました。RNNは、全体の履歴を振り返る必要がなく、その「要点」だけをメモリに保持するだけで済むため、非常に効率的でした。

RNNは長い依存関係を処理できなかったため失敗しました。文の終わ​​りに到達する前に、文の始まりを「忘れてしまう」のです。また、並列化できなかったため、学習速度も遅くなりました。つまり、単語Aを処理してから単語Bを処理する必要がありました。Transformerは、すべてを一度に処理し（並列化）、すべてをメモリに保持する（アテンション）ことでこの問題を解決しました。

今、私たちは両方の世界の良いところを組み合わせた建築の台頭を目撃しています。これらは広く次のように知られています。 状態空間モデル （SSM）。SSMは、Transformer（並列化可能）のトレーニング速度と、RNN（線形スケーリング）の推論効率を兼ね備えています。

この新しい波の代表的な建築の一つは マンバ2023年後半にリリースされ、2024年を通して改良が続けられるMambaは、モデルによる情報処理方法に根本的な変化をもたらします。Transformerは、これまで認識したすべての単語のオリジナルコピーをメモリバッファに保持しますが、Mambaは「選択的状態空間」を採用しています。

TransformerとMambaの違いを理解するには、Transformerを、これまで読んだすべての本を巨大な机の上に広げ、常に前後にスキャンして関連性を見つける学者と想像してみてください。一方、Mambaは、本を一度読んで、重要な洞察を非常に効率的なノートに圧縮する学者です。Mambaが次の単語を生成する際、生のテキストを参照する必要はなく、圧縮された状態を参照します。

この違いはAI導入の経済性を変えます。Mambaや類似のアーキテクチャでは、 RWKV （受容重み付けキー値）では、シーケンスが長くなってもテキスト生成コストが爆発的に増加することはありません。理論的には、これらのモデルに100万語のコンテキストを入力しても、次のトークンを生成するための計算コストは​​10語を入力した場合と同じままです。

再発の復活

Mambaを支える技術的なブレークスルーは「選択性」です。これまでのRNNの近代化の試みは、あまりにも硬直的だったために失敗しました。重要な情報かノイズ情報かに関わらず、情報を均等に圧縮していたのです。Mambaは、データをストリーミングする際に、モデルが何を記憶し、何を捨てるかを動的に決定できるメカニズムを導入します。

モデルがコードブロック内の変数定義のような重要な情報を取得すると、「ゲートを開く」ことで、その情報を自身の状態に強く書き込みます。また、つなぎ言葉や無関係なノイズに遭遇した場合はゲートを閉じ、限られたメモリ容量を重要な情報のために確保します。

この選択性により、従来のRNNが抱えていた「忘却」問題が効果的に解決されます。多くのテストにおいて、Mambaベースのモデルは同サイズのTransformerと同等の性能を示しながら、推論時には最大5倍高速に動作します。さらに重要なのは、メモリ使用量がはるかに少ないことです。これにより、高性能LLMを、これまでは処理不可能と考えられていたラップトップ、エッジコンピューティングネットワーク、さらにはスマートフォンといったデバイス上で、クラウドへのオフロードなしに実行することが可能になります。

また、 ハイエナは、データ処理に長い畳み込みを用いる、もう一つの準二次アーキテクチャです。Mambaと同様に、HyenaはTransformerの重い「注意」層を取り除き、ハードウェア実行コストがはるかに低い数学的演算に置き換えることを目指しています。これらのモデルは現在、主要なリーダーボードでTransformerの既存モデルに挑戦し始めています。

ハイブリッドの台頭

しかし、この革命はトランスフォーマーの完全な置き換えではなく、むしろハイブリッド形態への進化となるかもしれない。すでに以下のようなモデルの登場が見られる。 ジャンバ (AI21 Labs より) Transformer レイヤーと Mamba レイヤーを組み合わせたもの。

このハイブリッドアプローチは、Transformerの限界に対処する実用的な方法を提供します。Transformerは特定のタスク、特にコンテキストから正確な詳細をコピーするタスクにおいて非常に強力です。Mambaレイヤー（データ処理と長期記憶の大部分を処理）と、少数のTransformerアテンションレイヤー（鋭敏で即時的な推論を処理）を組み合わせることで、両方の長所を兼ね備えたモデルを実現できます。

ハイブリッドモデルは、実際に利用可能な巨大なコンテキストウィンドウを作成します。現在、多くの「ロングコンテキスト」Transformerは100,000万トークンを処理できると主張していますが、コンテキストがいっぱいになるとパフォーマンスが急速に低下します。この現象は「途中で迷子になったハイブリッド アーキテクチャでは、SSM レイヤーが時間の経過に伴って状態を圧縮して伝送するように特別に設計されているため、長距離でも一貫性がはるかに良好に維持されます。

これらの開発により、業界の焦点は「トレーニングコンピューティング」（モデル構築にはどの程度の規模のクラスターが必要か？）から「推論の経済性」（このモデルを10億人のユーザーにどれだけ安価に提供できるか？）へと移行します。ハイブリッドモデルがTransformerの10%のコストでユーザーにサービスを提供できるとすれば、AIアプリケーションのビジネスケースは一変するでしょう。

AI導入の未来

トランスフォーマー後の革命の影響は、データセンターだけにとどまりません。GPUウォールは歴史的に門番のような役割を果たし、数十億ドル規模のハードウェアを保有する巨大IT企業だけが最先端のモデルを構築・実行できるようにしてきました。MambaやRWKVのような効率的なアーキテクチャは、この権限を民主化します。キーバリューキャッシュにテラバイト単位のVRAMを必要としなくなり、コンシューマーグレードのカードでGPT-4レベルのモデルを実行できるようになれば、AIの集中管理は緩み始めます。完全にユーザーのコンピューター上で動作し、クラウドにパケットを送信することなくユーザーの個人データを処理する、ローカルでプライベートなAIエージェントが再び台頭するかもしれません。

さらに、この効率性こそが「エージェントAI複雑なタスクを完了するために、バックグラウンドで数時間または数日間実行されるシステム。電流トランスは高価で速度も遅いため、長時間連続ループで動作させることはできません。効率的な線形時間アーキテクチャであれば、ユーザーの操作を中断させたり、ハードウェアを過熱させたりすることなく、ループを継続的に「考え」、処理することができます。

ボトムライン

TransformerはAIのニュースの見出しを独占していますが、その裏では静かな革命が進行しています。GPU Wallは、研究者たちにモデルがメモリと計算を処理する方法を再考するよう促しています。MambaやハイブリッドモデルといったTransformer以降のアーキテクチャは、スケールだけでなく効率性が次の時代を決定づけることを証明しています。これらのイノベーションにより、大規模なコンテキストウィンドウが実用化され、推論がより安価になり、高度なAIがデータセンターの外でも利用できるようになります。AIの未来は、より大規模なモデルではなく、記憶、推論、そして効率的なスケールを実現する、よりスマートなモデルにあります。