Unemployment Labs、中国のAIモデルにBlackwellのパターンを確認

Will DePueによるUnemployment Labsの分析は、2026年11月12日に公開され、DeepSeek、Moonshot AI、MiniMax、Ant Groupの6つのオープンウェイトモデルで、輸出規制の対象となるNVIDIAのBlackwell GPUと整合する初期化パターンを確認した。

この分析では、DeepSeek-V4-FlashとMiniMax-M3はB200またはB300チップで初期化され、DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro、Ling-3.1-flashはGB200またはGB300チップで初期化されたと推定している。これらの一致から特定されるのは初期重みの背後にあるハードウェア構成であり、それらのチップが学習にも使われたかどうかは、別途推測する必要がある。

リリースの時系列を追うと、見かけ上の変化がいつ起きたかが分かる。DeepSeek-V3は2024年12月にHopperを示す結果となり、その後、2026年4月にはV4の2モデルがBlackwellを示した。Moonshot AIのKimi K2.5は2026年1月にHopperを示した後、2026年7月のK3では結果が変わった。MiniMax-M2.7とM3も同じパターンをたどり、それぞれ2026年4月と6月に結果が変化した。Ant GroupのLing-3.0-flashとLing-3.1-flashも同様に、それぞれ2026年8月と10月に結果が変化した。

このパターンはすべてのモデルに当てはまるわけではない。Alibaba、Zhipu、Tencent、Xiaomi、StepFunの、読み取り可能な最新モデルでは、BlackwellではなくHopperを示す結果が得られた。

初期化からハードウェア構成を特定する仕組み

この手法は、学習によって調整される数値パラメーターである重みから始まる。学習前に調べたPyTorch/cuRANDの構成では、Philoxジェネレーターを使い、シードから再現可能な値を生成する。GPUスレッドはそれらの値を重みの各位置に割り当てる。十分に大規模な初期化では、ストリーミングマルチプロセッサー（SM）あたり2,048スレッドが使われる。そのため、SMの数が変われば、同じ生成値が割り当てられる位置も変わる。

検証した構成では、Hopper世代のH100 SXM、H200、H800チップは132 SM、270,336スレッドを備える。B200とB300チップは148 SM、303,104スレッド、GB200とGB300チップは152 SM、311,296スレッドを備える。判定で特定できるのはこれらのグループのいずれかであり、グループ内の特定のチップではない。

学習データに存在しない単語や記号に割り当てられた重みは、初期値をほぼそのまま保持することがある。一方、学習された重みには、初期値との統計的な関係がより弱い形で残る場合がある。調査担当者は、ある重みの集合でシードと構成を選び、その探索には含めなかった別の重みの集合で、変更を加えずに同じ組み合わせを検証する。

報告書は、統計モデルに基づき、シードと構成の組み合わせがおよそ6兆通りある場合、偶然の一致として期待される最も強い結果は約8シグマになると推定している。シグマは、ランダムな変動からの隔たりを示す統計的な尺度だ。特定されたモデルで最も強い結果は49～1,385シグマに達し、個々の検定結果はいずれも少なくとも20シグマだった。

実機での検証と学習規模の推定

DePueが実チップを使って再現した結果も、別の検証材料となった。DeepSeekから復元したシードを使うと、H100ではDeepSeek-V3で保持されていた値を再現できたが、V4-Flashの値は再現できなかった。一方、B300ではその逆の結果となった。B300上で、変更を加えていないPyTorchは、選定されたV4-Flashの469行のうち461行を再現し、相関係数は0.99を超えた。そのうち445行は、ビット単位で完全に一致した。レンタルしたGB200では、Moonshotのシードを使って、保持されていたKimi K3の13行すべてを再現できた。復元したいずれかのシードを1だけ変えると、一致する行は得られなかった。

報告書によると、開発元が特定モデルのハードウェアを公表している24件すべてで、この手法の判定は公表内容と一致した。ただし、そのうち11件はステップ0のチェックポイントに関するものであり、関連モデル同士は独立した事例ではないと注意を促している。したがって、この比較は整合性を確認するものであり、測定された正解率を示すものではない。

Kimi K3.1-ProはK3のシードを使っており、追加の事後学習を経たK3のチェックポイントである可能性がある。初期化に使われたハードウェアが学習にも使われたと仮定すると、DePueは、最終段階の異なる5回の実行で、それぞれおよそ500～3,000基のBlackwell GPUが、通常2～3か月にわたって使われたと推定している。この計算では、稼働率を35%として学習計算量をチップの処理性能で割り、DeepSeekが公表したトークン数と、その他のモデルについて重みを基に推定したトークン数を用いている。同じ計算をDeepSeek-V3に適用すると、必要なチップ数は2,000～2,500基となり、DeepSeekが公表した2,048基と比べられる。

輸出管理の執行における限界

一致が示すのは初期化に関することだけであり、その後の学習で使われたすべてのプロセッサーを特定することはできない。研究機関があるシステムで初期値を作成してから別のシステムに移すことも、複数のハードウェアを混在させたクラスターによって一部の痕跡しか残らないこともあり得る。また、Hopperを示す結果が出ても、その後にBlackwellで学習した可能性は排除されない。重みから、チップの所有者、設置場所、入手方法を特定することもできない。DePueの報告書は、中国国外でもBlackwellシステムをレンタルできると指摘し、この証拠だけでは密輸も輸出管理違反も立証できないとしている。

特定された代替ハードウェアは、AMDのMI300Xだ。通常は304基の演算ユニットを使うが、152基ずつの2グループに分けたり、148基を使う構成にしたりすることで、実機試験では同じ構成を再現できる。DeepSeek-V4-Flashでは、ベンダー間で値が異なる保持値377個のうち363個がNVIDIAと一致し、AMDと一致した値はなかった。この数値検証では、残る5モデルについて結論は出ていないものの、報告書は、特別に構成したAMDクラスターである可能性は極めて低いとみている。

報告書によると、B200、B300、GB200、GB300を中国に輸出するには米国の許可が必要で、そうした許可が発行されたとの報告はありません。また、MI300Xも規制対象だとしています。この手法には、公開されている重みと、ハードウェアに依存する識別可能な初期化パターンが必要です。CPUによる初期化ではGPUの配置情報は残らず、BaiduのPaddlePaddleのジェネレーターにも、調査対象のチップの配置情報は含まれていません。

この分析は、法執行に関する結論を示すものではなく、ハードウェアへのアクセスについて政策立案者に技術的な証拠を提示しています。公開されている重みから初期化パターンが明らかになる可能性はありますが、輸出規制に違反したかどうかを判断するには、ハードウェアがどこで使用されたのか、誰が所有していたのか、どのようにアクセスが得られたのかを示す証拠がなお必要です。