百度、追加学習向けにERNIE 5.5 Flash Baseを公開

百度のERNIEチームは2026年11月5日、ERNIE-5.5-Flash-Baseを発表し、総パラメーター数2,800億、トークンごとの有効化パラメーター数140億のテキスト専用MoEモデルの重みをダウンロードできるようにした。このチェックポイントは事前学習までを終えたもので、中間学習や事後学習は行われていないため、開発者はドメイン適応、指示チューニング、強化学習の研究に共通の出発点として利用できる。

今回の公開により、学習手法を統制された条件で比較するための固定ベースラインも提供される。百度によると、事後学習を施したERNIE 5.5 Flashモデルは、このベースバージョンに続いて公開される予定だ。

アーキテクチャと学習システム

モデルカードには、43層、隠れ層のサイズ4,096、アテンションヘッド64個と記載されている。37層ではHeavily Compressed Attentionを採用しており、キャッシュには128トークンのブロックごとに1つのエントリーを保持するほか、直近の非圧縮トークンを短いウィンドウ分保持する。6層のMulti-head Latent Attentionは、コンテキスト全体に対するトークン単位のアクセスを維持し、インデクサーを使って過去の位置からスコアが最も高いものを選択する。百度によると、このスパース選択により、コンテキストが長くなってもクエリごとの中核的なアテンション計算コストは一定に保たれる。

最初の層を除くすべての層で、512個のルーティング対象エキスパートのうち10個を有効化するMoEブロックと、1個の共有エキスパートを使用する。エキスパートは、モデルの隠れ層全体の幅ではなく、次元数2,048の潜在空間で動作する。百度によると、隠れ層全体の幅を使うエキスパートと比べ、エキスパートの振り分けと統合に伴う通信量、およびエキスパートのFLOPsはいずれもおよそ半分になる。この設計にはさらに、多様体制約付きハイパーコネクションを介した4本の並列残差ストリームと、学習可能な区分的温度パラメーターを備えたMultiMax出力ヘッドが含まれる。

事前学習では、33.5兆トークン、Muonオプティマイザー、FP8混合精度が使用された。学習時のコンテキスト長は段階的に128Kトークンまで拡張され、ファインチューニングと推論では100万トークンに対応する。多言語のウェブデータに加え、コーパスにはコードや、コミット、課題、プルリクエスト、レビュー、生成されたテスト、CIで検証済みの修正といったソフトウェア開発記録が含まれる。厳選された長文書、意味的に類似した妨害情報を含むシーケンス、合成した検索および質問応答データが、長いコンテキストでの学習に用いられる。こうした選択により、このベースモデルはリポジトリ全体を対象とする推論、エージェント型ソフトウェアエンジニアリング、長い入力に対応する設計となっている。

付属のFlashMaskリポジトリには、HopperおよびBlackwell GPU向けのアテンションカーネルが記載されている。Blackwellの構成では、クエリとキーのヘッド次元は最大576、バリューは最大512に対応する。百度によると、SM100ハードウェア上でFlashAttention-4 MaskModと比べ、順方向パスで最大175%、逆方向パスで74%の速度向上を達成した。分散Muonシステムは、密なパラメーターとMoEパラメーターの同期を1回の集団通信操作に統合し、オプティマイザーの更新内容を変えることなく、オプティマイザーの状態をノード間でより均等に分散する。

百度のベンチマーク結果

百度は、一般公開されているDeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Baseの各チェックポイントを対象に、同じ評価ハーネス、プロンプト、少数ショット例を用いてERNIEを評価した。自由形式の質問応答には、同一のLLM評価器を使用している。百度の表から選んだ以下の結果は、モデルが優位に立つ項目と及ばない項目を示している。

百度の比較結果は、すべてのタスクで一様に優れているわけではなく、タスクによって異なる。示されたMMLUとHumanEval+の結果ではERNIEが首位に立つ一方、FullStackBenchではHy3、InfiniteBenchではDeepSeekが首位となっている。この表は、百度の評価において試験問題とコーディングの両面で高い成績を示すと同時に、こうした例外も明らかにしている。

デプロイとライセンス条件

ダウンロード形式はFP8とBF16のsafetensorsに対応する。モデルカードには、チェックポイントがベースモデルであることに沿って、completions APIを通じてSGLangおよびvLLMで本番環境にサービングする方法が記載されている。NVIDIAのMegatron Bridge用レシピでは、データ準備、学習、Hugging Face形式への再エクスポートを含む教師ありファインチューニングのワークフローが追加されている。フルモデル向けレシピでは、GB300 GPUを各ノードに4基搭載した16ノードを使用する。NVIDIAはBlackwell GB200およびGB300システムでレシピを検証している。各コンポーネントはHopperにも対応するが、Hopperでは検証されていない。

独自のERNIE 5.5 Flash Baseモデルライセンス契約v1.0には、利用地域と商用利用に関する条件が定められている。利用地域からは欧州連合、英国、韓国が除外されており、その地域外での使用、変更、配布などの行為は許可されていない。非商用利用にはモデルライセンス料がかからない。関連製品またはサービスによる年間売上高が5,000万ドル以下の商用利用では、1回限りの通知と、「Powered by ERNIE」の目立つ表示が必要となる。この基準を超える場合は、百度から別途、事前に書面による許可を得なければならない。

この契約では、ライセンス対象の資料、派生モデル、またはそれらの出力を、無関係なAIや機械学習システムの改善に利用することも禁じています。この制限は、蒸留や合成データを用いるワークフローに関わるものです。ライセンスでは、派生モデルの定義や出力の利用制限を定める際に、これらのワークフローが明示的に扱われています。

ERNIE 5.5 Flash Baseは、Baiduの事前学習を繰り返すことなく、その後の学習手法を検証できる固定チェックポイントを研究者や開発者に提供します。設計では、アクティブな計算量と長いコンテキストの処理コストの抑制に重点が置かれています。一方、実用上の適用範囲は、モデル全体のファインチューニングに必要なハードウェアと、地理的な利用地域、大規模な商用利用、無関係なモデルへの機能移転を制限するライセンスによって限定されます。