ARIA、ラック規模のAI推論テストにLumaiの光演算サーバーを選定

Lumaiは、光学式AIハードウェアの新たな評価の場として、英国の先端研究・発明庁（ARIA）の支援を受ける推論スケーリング・ラボに参画する。同ラボは、最初の光演算プラットフォームとしてLumai Iris推論サーバーを導入する計画で、商用データセンター環境においてラック規模でアーキテクチャをテストする機会を研究者に提供する。

CommonAI CICが運営するこのラボは、新興AIハードウェアが直面する難しい隔たりを埋めることを目指している。新しいプロセッサーの性能を実証することと、実際のモデルや一般的な電力・冷却・ラック要件を備えた統合システムの一部として機能させることは、別の課題だ。

今回の発表は、4月のIris Nova発表を受けたものだ。次の段階は、一般の支援を受けるテスト環境を通じたマルチノード評価であり、Lumaiが掲げる効率性の主張を証明する、完成済みの独立ベンチマークの公開ではない。

光を使った行列演算

2021年に設立されたオックスフォード大学発のスピンアウト企業Lumaiは、光演算とデジタル処理を組み合わせたハイブリッドアーキテクチャを開発している。同社の光演算エンジンはAI推論で使われる高密度な数学演算を担い、その周辺のシステム機能は引き続き電子部品が処理する。

同社の技術解説によると、情報を光ビームに符号化し、三次元空間内の光学部品を通して処理する。トランジスターのスイッチングですべての計算を行うのではなく、光の伝搬によって多数の数学演算を並列実行することを目指している。

だからといって、サーバー全体が受動的になったり、電力を必要としなくなったりするわけではない。システム全体には、依然として光源、データ変換、メモリー、デジタル処理、制御が必要だ。実用的なモデルを実際に稼働させたとき、こうした周辺コストを考慮しても光演算エンジンの効率性がどれだけ維持されるかが、重要なエンジニアリング上の問いとなる。

Lumaiによると、大規模なワークロードに変換オーバーヘッドを分散させることを目的とした広帯域データインターフェース、モデルのキー・バリューキャッシュ向けの3階層メモリー設計、そしてハードウェアを考慮した量子化を採用している。これらはアーキテクチャを構成する実用的な要素だ。データの移動、実用可能な数値精度の維持、アクセラレーターに十分な処理を供給し続けることは、いずれも研究室でのデモンストレーション以外の場面で性能を左右する。

Lumaiがプリフィルを狙う理由

大規模言語モデルの推論には、明確に異なる2つの段階がある。プリフィルでは、システムが入力を処理し、応答を生成するために必要な内部状態を構築する。デコードでは、モデルの重みとキャッシュされた文脈に繰り返しアクセスしながら、出力トークンを1つずつ生成する。

プリフィルは大規模な行列演算が支配的になることが多い一方、デコードはメモリー帯域幅に制約される場合があり、特にバッチサイズが小さいとその傾向が強まる。両者のバランスは、モデルのサイズ、プロンプトの長さ、バッチ処理、サービング構成によって変わる。Lumaiは、1種類のプロセッサーでパイプライン全体を最適化するのではなく、計算負荷の高い段階に特化する方針だ。

Irisの製品ドキュメントでは、光演算アクセラレーターを異種コンピューティングシステムの一部として位置づけており、デコードに最適化されたハードウェアと組み合わせて、プリフィルプロセッサーとして利用する方法も示している。Lumaiによると、Iris Novaは80億および700億パラメーターのLlamaモデルに対応し、データセンターでの評価に利用できる。製品シリーズは、標準的なラック設備と空冷方式を前提に設計されている。

「商用データセンターでマルチノードシステムを稼働させることは、新しいコンピューティングアーキテクチャが実運用に対応できるかを証明する場です」と、Lumaiの共同創業者兼CEO、Xianxin Guo氏は述べた。ARIAの取り組みでは、次の段階の中心にこの統合の課題が据えられている。

システム全体を試すテスト環境

ARIAは、社会に利益をもたらす可能性を持つ野心的な技術を支援する、英国の公的な研究開発助成機関だ。同機関の「Scaling Compute」プログラムでは、新たな計算原理やネットワーク、システム設計など、既存のコンピューティング手法に代わる選択肢を探っている。

推論スケーリング・ラボは、ARIAから5,000万ポンドの支援を受けている。ARIAは同ラボについて、実証されていない技術をそれぞれ導入可能なシステムに組み込み、エンドユーザーがモデルを実行できるようにする、体系的なラック規模の試験を連続して実施するものと説明している。目的は、システム全体の性能を商用の代替製品と比較し、迅速に改良を重ねることだ。新たなラックは6カ月ごとに導入する計画となっている。

ラボを運営するケンブリッジを拠点とする非営利の会員組織CommonAIは、企業、公共機関、学術関係者を集め、協働でエンジニアリングに取り組んでいる。同組織のプログラム概要では、5基を超えるラック規模のシステムを構築する計画を示し、新興ハードウェアが実際の稼働性能を実証できるよう、独立した検証を重視している。

この仕組みが重要なのは、アクセラレーターが単独の処理では優れた性能を示しても、データ移動、スケジューリング、ソフトウェアのサポート、サービングパイプラインのその他の要素まで含めると、得られる効果が小さくなる場合があるためだ。共通のテスト環境は、利点とボトルネックの両方を明らかにするのに役立つ。

効率性に関する主張が示すこと、示さないこと

Lumaiによれば、このアーキテクチャはデータセンターの消費電力を最大90%削減し、総所有コストを従来のGPUアーキテクチャの約10分の1に抑えられる可能性がある。同社のウェブサイトでは、性能を50倍に高めるロードマップが示されている。発表資料では別途、光学式プリフィルとシリコンベースのデコードを組み合わせた場合、推論あたりのエネルギー効率が少なくとも16倍向上すると報告している。

これらの数値はそれぞれ異なる比較を示しているため、相互に置き換え可能な指標として扱うべきではなく、ARIAが独立に検証した結果でもない。発表には、商用ワークロード全般での性能向上を裏付ける共通のベンチマーク設定、モデル品質の比較、公開済みのラック単位の結果一式は示されていない。

したがって、今回の本質的な進展は研究所による評価にある。有用な測定項目には、リクエスト完了あたりのエネルギー消費量、最初のトークンが出力されるまでの時間、持続的な出力スループット、モデルの精度、システム全体の運用コストなどが含まれる。意味のある比較には、同じモデル、コンテキスト長、バッチ処理の前提、サービス要件を用いる必要がある。

限られた電力予算のもとで国内のAI処理能力を拡大しようとする英国にとって、光学システムが成功すれば、コンピューティングの選択肢がさらに広がる可能性がある。Lumaiの導入は、その可能性を商用環境で検証するための一歩だ。その優位性が大規模運用時の推論提供コストの低下につながるかどうかは、評価によって得られるシステム全体の実証結果にかかっている。