Unemployment Labs informuje o vzorcích Blackwell v čínských modelech umělé inteligence

Analýza Unemployment Labs od Willa DePuea, zveřejněná 12. listopadu 2026, zjistila u šesti modelů s otevřenými vahami od společností DeepSeek, Moonshot AI, MiniMax a Ant Group vzorce inicializace odpovídající exportně kontrolovaným grafickým procesorům NVIDIA Blackwell.

Analýza spojuje modely DeepSeek-V4-Flash a MiniMax-M3 s inicializací na čipech B200 nebo B300 a modely DeepSeek-V4-Pro, Kimi K3, Kimi K3.1-Pro a Ling-3.1-flash s čipy GB200 nebo GB300. Shody určují hardwarové uspořádání, které se odráží v počátečních vahách; zda tyto čipy sloužily také k trénování, je samostatný závěr.

Postupná vydání modelů ukazují, kdy ke zdánlivým změnám docházelo. Model DeepSeek-V3 vykazoval v prosinci 2024 charakteristiky architektury Hopper, po němž v dubnu 2026 následovaly dva modely V4 s charakteristikami Blackwell. Model Kimi K2.5 od Moonshot AI odpovídal architektuře Hopper v lednu 2026, zatímco K3 v červenci 2026 už vykazoval jiné charakteristiky; MiniMax-M2.7 a M3 následovaly stejný vzorec v dubnu 2026, respektive v červnu 2026. U modelů Ling-3.0-flash a Ling-3.1-flash od Ant Group k tomu došlo v srpnu 2026, respektive v říjnu 2026.

Tento vzorec se neprojevil u všech modelů. Nejnovější čitelné modely od společností Alibaba, Zhipu, Tencent, Xiaomi a StepFun vykazovaly charakteristiky architektury Hopper, nikoli Blackwell.

Jak inicializace odhaluje hardwarové uspořádání

Tato metoda vychází z vah, tedy číselných parametrů, které se při trénování upravují. Zkoumaná konfigurace PyTorch/cuRAND před trénováním používá generátor Philox, který na základě počáteční hodnoty (seed) vytváří opakovatelné hodnoty. Vlákna GPU tyto hodnoty rozdělují mezi pozice vah a při dostatečně rozsáhlé inicializaci se používá 2 048 vláken na jeden streamovací multiprocesor (SM). Změna počtu SM proto mění, na které pozice připadnou stejná vygenerovaná čísla.

V testovaných konfiguracích mají čipy Hopper H100 SXM, H200 a H800 132 SM a 270 336 vláken; čipy B200 a B300 mají 148 SM a 303 104 vláken; čipy GB200 a GB300 mají 152 SM a 311 296 vláken. Výsledek ukazuje na jednu z těchto skupin, nikoli na konkrétní čip v rámci skupiny.

Váhy vyhrazené pro slova nebo symboly, které se v trénovacích datech nevyskytují, mohou zachovat své počáteční hodnoty téměř beze změny, zatímco u trénovaných vah může zůstat slabší statistická souvislost s těmito hodnotami. Výzkumníci vyberou počáteční hodnotu a hardwarové uspořádání podle jedné sady vah a poté tuto nezměněnou kombinaci ověří na jiné sadě, kterou při hledání nepoužili.

Podle použitého statistického modelu zpráva odhaduje, že přibližně 6 bilionů kombinací počátečních hodnot a hardwarových uspořádání by vedlo k očekávané nejsilnější náhodné shodě kolem 8 sigma, což je statistická míra odchylky od náhodného kolísání. Nejsilnější výsledky u identifikovaných modelů se pohybují od 49 do 1 385 sigma a každý jednotlivý test dosahuje alespoň 20 sigma.

Fyzická ověření a odhady rozsahu trénování

Fyzické testy čipů, které provedl DePue, poskytly další ověření. S obnovenou počáteční hodnotou DeepSeeku reprodukoval čip H100 zachované hodnoty modelu DeepSeek-V3, nikoli však hodnoty V4-Flash; čip B300 dosáhl opačného výsledku. Na čipu B300 reprodukovala neupravená verze PyTorch 461 z 469 vybraných řádků modelu V4-Flash s korelací vyšší než 0,99, přičemž 445 řádků se shodovalo kompletně, bit po bitu. Pronajatý čip GB200 s počáteční hodnotou od Moonshotu reprodukoval všech 13 zachovaných řádků modelu Kimi K3; změna kterékoli z obou obnovených počátečních hodnot o jedna nevedla k žádné shodě řádků.

Zpráva uvádí, že metoda odpovídala všem 24 případům, kdy vývojář veřejně označil konkrétní hardware použitý pro daný model, zároveň však upozorňuje, že 11 případů se týká kontrolních bodů z kroku nula a související modely nejsou nezávislé. Jde tedy o ověření konzistence, nikoli o naměřenou míru přesnosti.

Model Kimi K3.1-Pro používá počáteční hodnotu modelu K3 a může jít o kontrolní bod K3, který prošel dalším dotrénováním. Pokud předpokládáme, že se hardware použitý k inicializaci podílel také na trénování, odhaduje DePue pět samostatných závěrečných trénovacích běhů, z nichž každý využíval přibližně 500 až 3 000 grafických procesorů Blackwell a obvykle trval dva až tři měsíce. Výpočet dělí výpočetní náročnost trénování propustností čipů při 35% využití; vychází přitom ze zveřejněných počtů tokenů DeepSeeku a z odhadů počtu tokenů založených na počtu vah u ostatních modelů. Stejný výpočet u modelu DeepSeek-V3 vedl k odhadu 2 000 až 2 500 čipů, což se blíží zveřejněnému počtu 2 048 čipů od DeepSeeku.

Omezení při vymáhání exportních kontrol

Shoda se týká pouze inicializace; nelze z ní zjistit všechny procesory použité při pozdějším trénování. Laboratoř mohla vytvořit počáteční hodnoty na jednom systému a přenést je jinam, smíšené výpočetní clustery mohly zanechat stopy jen po části hardwaru a výsledek odpovídající architektuře Hopper nevylučuje následné trénování na hardwaru Blackwell. Z vah také nelze určit vlastnictví, umístění ani způsob pořízení čipů. DePueova zpráva uvádí, že systémy Blackwell lze pronajmout mimo Čínu, a konstatuje, že tyto důkazy samy o sobě neprokazují ani pašování, ani porušení exportních kontrol.

Identifikovanou hardwarovou alternativou je MI300X od AMD. Obvykle využívá 304 výpočetních jednotek, lze jej však rozdělit do dvou skupin po 152 jednotkách nebo nakonfigurovat tak, aby jich využíval 148, a při fyzických testech tak reprodukovat daná hardwarová uspořádání. U modelu DeepSeek-V4-Flash odpovídalo NVIDIA 363 z 377 zachovaných hodnot, které se mezi dodavateli liší; AMD neodpovídala žádná z nich. Tento číselný test nerozhodl o zbývajících pěti modelech, zpráva však považuje za velmi nepravděpodobné, že by šlo o speciálně nakonfigurovaný cluster AMD.

Zpráva uvádí, že vývoz B200, B300, GB200 a GB300 do Číny vyžaduje licenci USA a že nebylo oznámeno vydání žádné takové licence; dodává také, že MI300X podléhá kontrolním opatřením. Samotná metoda vyžaduje veřejně dostupné váhy a rozpoznatelný vzorec inicializace závislý na hardwaru. Inicializace na CPU nezanechává žádné rozložení GPU a generátor PaddlePaddle od společnosti Baidu neobsahuje zkoumané rozložení čipu.

Analýza poskytuje tvůrcům politik technické důkazy o přístupu k hardwaru, aniž by docházela k závěru ohledně vymáhání předpisů: veřejně dostupné váhy mohou odhalit vzorec inicializace, avšak k určení, zda došlo k porušení vývozních kontrol, by byly stále zapotřebí důkazy o tom, kde byl hardware používán, kdo jej vlastnil a jak k němu byl získán přístup.