Enfabrica、Ethernetベースのメモリファブリックを発表 – 大規模AI推論を再定義する

Enfabricaは、Nvidiaが支援するシリコンバレーのスタートアップで、ブレークスルー的な製品を発表しました。この製品は、大規模なAIワークロードの展開とスケーリングの方法を大きく変える可能性があります。同社の新しいElastic Memory Fabric System (EMFASYS)は、最初の商用利用可能なEthernetベースのメモリファブリックで、生成的なAI推論の核となるボトルネックであるメモリアクセスに対処するように設計されています。

AIモデルがより複雑で、コンテキストに応じて認識し、永続的なセッションを必要とするようになり、ユーザーセッションごとに大量のメモリが必要になる時代に、EMFASYSは、コンピュートからメモリを切り離すための新しいアプローチを提供し、AIデータセンターがパフォーマンスを大幅に向上させ、コストを削減し、最も高価なリソースであるGPUの利用率を高めることができます。

メモリファブリックとは何か – それが重要な理由

従来、データセンター内のメモリは、サーバーまたはノードに密接に結び付けられていました。各GPUまたはCPUは、直接接続された高帯域幅メモリ (通常、GPUの場合はHBM、CPUの場合はDRAM) しかアクセスできませんでした。このアーキテクチャは、ワークロードが小さく予測可能な場合に機能します。しかし、生成的なAIはゲームを変えました。LLMは、大きなコンテキストウィンドウ、ユーザーの履歴、およびマルチエージェントメモリへのアクセスを必要とし、これらは迅速かつ遅延なく処理する必要があります。これらのメモリ要求は、ローカルメモリの利用可能な容量を超えることが多く、ボトルネックが作成され、GPUコアがストランドされ、インフラストラクチャコストが増加します。

メモリファブリックは、これを解決するために、メモリを共有された分散リソース、つまりネットワーク接続メモリプールに変換します。データセンターのラック内に「メモリクラウド」を作成するという考え方です。サーバー間でメモリを複製したり、高価なHBMを過負荷させたりするのではなく、ファブリックを使用してメモリを集約し、分離し、高速ネットワーク上でオンデマンドでアクセスできます。これにより、AI推論ワークロードをより効率的にスケールできるようになり、単一ノードの物理メモリ制限に縛られることはありません。

Enfabricaのアプローチ – EthernetとCXL、ついに一緒に

EMFASYSは、2つの強力なテクノロジー、RDMA over EthernetとCompute Express Link (CXL)を組み合わせて、このラックスケールメモリアーキテクチャを実現します。前者は、標準のEthernetネットワーク上で超低遅延、高スループットのデータ転送を可能にします。後者は、メモリをCPUおよびGPUから切り離し、共有リソースとしてプール化し、高速CXLリンク経由でアクセスできるようにします。

EMFASYSの核心は、EnfabricaのACF-Sチップです。これは、3.2テラビット/秒 (Tbps) の「SuperNIC」で、ネットワーキングとメモリコントロールを1つのデバイスに統合します。このチップにより、サーバーはラック全体に分散された大量のコモディティDDR5 DRAM (ノードあたり最大18テラバイト) と接続できます。重要なのは、標準のEthernetポートを使用してこれを行うため、オペレーターは独自のインターコネクトに投資することなく、既存のデータセンターインフラストラクチャを活用できます。

EMFASYSが特に魅力的なのは、GPUに接続された高価なHBMからDRAMへのメモリバウンドワークロードのダイナミックオフロードを可能にすることです。さらに、ミクロ秒レベルのアクセス遅延を維持しながら、コストを削減します。EMFASYSの背後にあるソフトウェアスタックには、待ち時間を隠し、メモリの移動をLLMがシステムで実行していることから透過的に行うためのインテリジェントキャッシングとロードバランシングメカニズムが含まれています。

AI業界への影響

これは、単に賢いハードウェアソリューションを超えて、AIインフラストラクチャが構築されスケールされる方法における哲学的なシフトを表しています。生成的なAIが新しいものから必要なものに移行し、毎日数十億のユーザークエリが処理されるようになると、これらのモデルを提供するコストは、多くの企業にとって非持続可能なものになりました。GPUは、コンピューティングの欠如ではなく、メモリを待っているために、しばしば活用されていません。EMFASYSは、この不均衡を直接解決します。

Enfabricaは、Ethernet経由でアクセス可能なプール化されたファブリック接続メモリを提供することで、データセンター運用者に、継続的にGPUまたはHBMを購入するのではなく、モジュラーにメモリ容量を増やし、オフザシェルフのDRAMとインテリジェントなネットワーキングを使用して、全体的なフットプリントを削減し、AI推論の経済性を改善する、スケーラブルな代替ソリューションを提供します。

影響は、即時のコスト節約を超えています。このような分離されたアーキテクチャは、コンテキスト、履歴、およびエージェント状態が1つのセッションまたはサーバーを超えて永続化できるメモリとしてのサービスモデルへの道を開き、よりインテリジェントでパーソナライズされたAIシステムの扉を開きます。また、メモリ制限なくワークロードをラック全体またはデータセンター全体に弾性的に分散できる、より堅牢なAIクラウドの道を開きます。

今後の展望

EnfabricaのEMFASYSは、現在、選択された顧客とサンプリングされています。同社は、これらのパートナーが誰であるかについてはまだ明らかにしていませんが、ロイターの報道によると、大手AIクラウドプロバイダーがすでにこのシステムのパイロットテストを実施しています。これにより、Enfabricaは、単なるコンポーネントサプライヤーではなく、次世代のAIインフラストラクチャの重要なエナブラーとして位置付けられます。

コンピュートからメモリを切り離し、高速のコモディティEthernetネットワーク上で利用可能にすることで、Enfabricaは、推論が妥協なくスケールできる、新しいAIアーキテクチャの基礎を築いています。ここでは、リソースがストランドされず、そして、大規模言語モデルの展開の経済性が最終的に妥当になるのです。

コンテキストに富んだ、マルチエージェントAIシステムによって定義される世界では、メモリはもう二次的な役割ではありません。メモリは舞台です。Enfabricaは、誰が最も優れた舞台を構築するかが、将来数年間のAIのパフォーマンスを定義することになるという賭けをしています。