AIモデルとプラットフォーム
BaiduのERNIE Evolve、AI研究と推論最適化を自動化
Unite.AI を Google の優先ソースに追加
Baiduは2026年11月9日、ERNIE Evolveを発表した。NanoChatとNanoGPTの3つの指標で公開比較結果を上回り、決定論的なERNIE-5.5-Flashの推論テスト1件ではスループットが33.7%向上したと報告している。この自動研究システムは研究の方向性を選び、AIコードを編集するとともに、独立した評価とレビューを通過した改善のみを採用する。
この発表では、開発中のERNIE-5.5-Flashを対象に現在進めている推論エンジニアリングの取り組みについても説明している。このシステムの役割はコードの作成にとどまらない。研究課題を選び、テストを実行し、失敗と成功の両方を後続の反復に生かす。
独立したチェックを備えた研究ループ
リポジトリ、最適化目標、評価基準を与えると、ERNIE Evolveはコードを変更し、隔離された環境で実験を実行する。外側のループにあるディレクターは、過去の実験をまとめた経験バンクと、論文、オープンソースコード、ドメイン知識を収録したナレッジベースを活用して、研究の方向性と開始時のバージョンを選ぶ。並列レーンには候補バージョンのツリーが置かれ、各レーンではセレクターが候補と仮説を選び、エグゼキューターが変更を実装する。
採用の可否は、固定された評価器と独立したレビュアーによって決まる。評価器はリポジトリの外部に置かれ、エージェントからは見えない。対象範囲外の変更を除外し、ノイズのしきい値を上回る改善を求める。レビュアーは研究の方向性に沿っているかを確認し、評価の抜け穴を利用する変更を退ける。方向性から外れた候補が最良バージョンになることはない。
公開ベンチマークの結果と公開コード
Baiduが報告した結果を、評価に使用した公開比較結果とともに示す。
| タスクと条件 | 指標 | ERNIE Evolve | 公開比較結果 |
|---|---|---|---|
| NanoChat AutoResearch、B200 1基で5分間の学習 | 検証データの1バイト当たりのビット数（低いほど良い） | 0.8763 | 10個のシードの平均で0.887791 |
| NanoGPT Speedrun Track 1、H100 GPU 8基 | FineWebの検証損失3.28に達するまでの秒数（短いほど良い） | 18回の実行で38.92秒 | 39.9秒 |
| NanoGPT Speedrun Track 3、データ、バッチサイズ、アーキテクチャを固定 | FineWebの検証損失3.28に達するまでのステップ数（少ないほど良い） | 8回の実行で2,590ステップ | 8回の実行で2,690ステップ |
| SOL-ExecBench、カーネル問題235件 | B200の解析的ルーフラインに対する平均的な理論性能比スコア（高いほど良い） | 0.819 | 最高スコア0.827 |
NanoChatでは、ERNIE Evolveはニューラルネットワークに加えて2つの予測分岐を導入した。一方は学習コーパスのnグラム統計を利用し、もう一方は一致する文書を検索して、その続きを基に予測する。学習済みのゲートが、各分岐の過去のトークン位置での性能に応じて混合比を調整する。
結果リポジトリでは最終コードと測定ログを公開しており、各ログには実行したコードが埋め込まれているか、そのSHA-256が記載されている。SOL-ExecBenchのカーネル成果物は7件掲載され、スコアは0.6669～0.9920。NVIDIAのタスク定義とワークロードデータは再配布されていない。
SOL-ExecBenchの項目を踏まえると、全体的な結果には留保が必要だ。ERNIE Evolveは、掲載されたすべての指標で首位だったわけではない。ただし、Baiduの比較では、このタスクでRecursiveとHyra-1.0を上回っている。
ERNIE-5.5-Flashの推論最適化
Baiduは、Kunlunxin P800での低遅延推論、GPUでの決定論的推論スループット、単一リクエストのデコード速度の最適化にERNIE Evolveを適用した。ほとんどのベースラインはすでにエンジニアによる最適化を受けており、変更はエンジニアが提出した作業と同じ負荷テストおよび正確性チェックに合格する必要があった。
Kunlunxin P800では、Baiduによると、4回の研究ラウンドを経て生成速度がベースラインの623.6%に達し、モデルとデプロイ環境を変更せずに正確性チェックにも合格した。初期のラウンドでは、多様体制約付きハイパーコネクションの融合と投機的デコードを可能にし、その後、ホスト側のスケジューリングと同期に伴うオーバーヘッドを削減した。第4ラウンドでディスパッチを修正した結果、DeepEPの低遅延経路が利用可能になった。
強化学習の学習では、バッチの構成にかかわらず、生成トークンと対数確率がビット単位で一致し、全シーケンスの再計算結果とも一致することが決定論的タスクの要件だった。SGLangの決定論的モードは、リダクションの順序を固定することでこの要件に対応するが、その分、GPUの利用率が制限される。Baiduによると、約3日後には決定性を維持したまま、出力トークン当たりの平均時間を26%、最初のトークンが出力されるまでの時間を12%短縮した。個別の改善として最大だったのは、1ステップ当たりのGPU時間の約14%を占めていた決定論的サンプリングを、語彙のチャンクを並列処理するTritonカーネルに置き換えたことだった。
単一リクエストのGPUデコードでは、Baiduによると、エンジニアがすでに調整したサービスと比べて速度が14.9%向上し、精度は変わらなかった。7つの研究の方向性のうち、3つで改善が得られた。その中には、入力行数が8未満のFP8行列乗算にネイティブのFP16命令を使用する方法と、専門家を順次スキャンする方式を2段階の混合専門家スケジューラーに置き換える方法が含まれていた。
これらのテストでは、モジュール間の制約や決定性に関する制約がより厳しいこと、測定ノイズが個々の改善幅に匹敵すること、さらに推論エンジン、カーネルライブラリ、ハードウェアプラグイン、サービスの起動スクリプトにまたがる環境も明らかになった。有用な変更の中にはノイズより小さいものもあったため、候補となる変更は、カーネル単体の測定ではなく、エンドツーエンドの負荷テストで効果を証明する必要があった。
Baiduは、このループをトレーニングシステムの最適化に適用し、その後、モデルの能力を示す指標を用いて、仮説の自動生成、実験の設計、検証を導く計画だ。長期的には、AIが能力の不足箇所を特定し、評価タスクを生成して改良できるようにすることを目指している。
同社によると、再帰的な自己改善は、人間の管理下に置き、中断可能にするとともに、目標、権限、リソースに明確な境界を設け、継続的な安全性評価と人間による監督を行う必要がある。固定されたエンジニアリング指標から、モデルの能力やベンチマークの設計へと移行することで、こうした評価と監督の仕組みが、研究ループをどこまで拡張できるかを左右する中核となる。
