AIモデルとプラットフォーム
SC26でMiTACが提案する2サーバー型AI推論アーキテクチャ

要点MiTACはプリフィルとデコードを別々のサーバーに分割し、各段階がそれぞれのワークロードに合わせてプロビジョニングされるようにします。
もっと見る
- MiTACはプリフィルとデコードを別々のサーバーに分割し、各段階がそれぞれのワークロードに合わせてプロビジョニングされるようにします。
- デコードサーバーは2TBのアクセラレーターメモリを搭載し、Kimi K3のようなモデルをオンプレミスで実行します。
- MiTACの液冷ラックは、従来の導入と比べて50%高いGPU密度を実現します。
MiTAC Computingは2026年11月17日の発表で、SC26においてSkymizerとともに2サーバー型のAI推論アーキテクチャを発表し、Kimi K3のような2.8兆パラメーターのモデルをオンプレミスで動かすよう設計されたシステムに、デコード側のアクセラレーター・メモリーを2 TB搭載する案を示した。
このアーキテクチャは、ソフトウェアによるオーケストレーション、高密度液冷、ストレージ、今後登場するAMD製ラックにまたがる幅広い製品群の一部だ。関連システムの一部はSC26で実機デモが行われている一方、提案段階または開発中のものもあり、今回の発表には現在のデモと将来のインフラ設計の両方が含まれている。
プリフィルとデコードを別々のサーバーで処理
提案されているプリフィル・プラットフォームは8UのG8825Z5で、AMD EPYC 9575Fまたは9755プロセッサーとInstinct MI350X GPUを搭載する。生成されたキー・バリューキャッシュは、高速ネットワークを介してデコードサーバーに転送する。デコード用には、空冷式の4U G4520G6構成が提案されており、Intel Xeon 6プロセッサーにSkymizer HTX301-4Sアクセラレータカード8枚を組み合わせる。各カードには256 GBのメモリーが搭載されている。
プリフィルは計算負荷の高い工程である一方、デコードはメモリー負荷が高い。そのため両者を分離することで、企業がそれぞれのワークロードに合わせてリソースを割り当てられるようにすることを目指している。MiTACによると、オンプレミス型のデコードシステムは、複雑で高度な推論を行うエージェント型ワークロード向けに設計されている。このアーキテクチャでは、拡張に伴う課題の一部を、GPUの追加ではなく、アクセラレーターのメモリーと各工程間のネットワーク接続とのバランスを取ることへと移している。
SC26で披露する冷却技術とデータ密度
MiTACが実施するライブデモでは、この推論設計を支える物理的な要件に対応する。液冷式の52UラックにはG4826Z5サーバー12台とAMD Instinct MI355X GPU 96基を統合しており、同社によると、従来の導入構成に比べてGPU密度を50%高められる。
ZutaCoreとの概念実証では、G4826Z5に水を使わない二相式の直接液冷方式を採用し、絶縁性液体をチップ上で直接気化させる。MiTACによると、熱設計電力が4,000Wを超える構成、250W/cm²を超える熱流束、年間換算の部分電力使用効率(pPUE)1.03に対応する。このデモは、高密度ラック内に高出力アクセラレーターを集約した場合に生じる熱的な限界への対応を目指している。
ストレージのデモでは、DDN InfiniaとGC68C-B8056 1Uストレージサーバー7台を組み合わせ、I/Oボトルネックを生じさせずにAIデータストリームを継続的に供給するよう設計されている。これは冷却とは別の制約に対処するもので、推論やエージェント型ワークロードを処理する代わりに、アクセラレーターがデータ待ちになるリスクを低減する。
ソフトウェアと今後登場するHelionラック
Canonical Ubuntuが認定済みのオペレーティングシステム層を提供し、Rafayが分散ワークロード全体にわたる動的なGPU-as-a-Serviceオーケストレーションを担う。また、MiTACのMiCoreViewソフトウェアは、ポッド単位のテレメトリーとデータセンター全体の統合的な可視性を提供する。Infiniaと合わせて、これらのコンポーネントは同じインフラスタック内で、オペレーティングシステム、データ配信、GPU割り当て、監視を網羅する。
MiTACはAMDと共同で、今後登場するORv3 44OU Helion Agentic AI Rackにも取り組んでいる。MiTACによると、同ラックはハイパースケール環境とエンタープライズ環境向けに、AMD Zen 6のCPUコアを32,768個まで拡張できる。
AMDのHelionのドキュメントでは、Open Compute Project (OCP)の規格に基づくオープンなラックスケールのリファレンス設計が説明されている。この設計には、CPUのみを搭載するハイパースケール構成と、CPUブレードとGPUブレードを組み合わせるエンタープライズ向け構成がある。空冷式の推論バージョンはInstinct MI350P GPUを最大16基搭載でき、顧客はさまざまなエージェント型ワークロードに合わせてブレードの種類を組み合わせられる。エンタープライズ構成は、エージェントの実行と推論を1台のラックに統合することを目的としている。一方、Heliosは、統合型のスケールアップGPUドメインを用いて、最先端規模のトレーニングと大規模推論を実現するために構築されている。
実用的なオンプレミス推論を展開するには、デコード用メモリーをプリフィル用ネットワーク、ストレージのスループット、ラック冷却、オーケストレーションと連携させる必要がある。MiTACの提案では、GPU自体に加え、こうした要素間の連携も容量算定に含めている。












