Unemployment Labs повідомляє про ознаки використання архітектури Blackwell у китайських моделях ШІ

Аналіз Unemployment Labs, проведений Віллом ДеП’ю та опублікований 12 листопада 2026 року, виявив у шести моделях із відкритими вагами від DeepSeek, Moonshot AI, MiniMax і Ant Group ознаки ініціалізації, що відповідають експортно контрольованим графічним процесорам NVIDIA Blackwell.

Згідно з аналізом, DeepSeek-V4-Flash і MiniMax-M3 були ініціалізовані на чипах B200 або B300, а DeepSeek-V4-Pro, Kimi K3, Kimi K3.1-Pro та Ling-3.1-flash — на чипах GB200 або GB300. Збіги вказують на апаратну конфігурацію, що лежить в основі початкових ваг; питання про те, чи використовували ці чипи також для навчання, є окремим припущенням.

Послідовні випуски моделей дають змогу простежити, коли відбувалися ймовірні зміни. DeepSeek-V3 у грудні 2024 року показала конфігурацію Hopper, а у квітні 2026 року за нею вийшли дві моделі V4, результати яких відповідали Blackwell. Kimi K2.5 від Moonshot AI у січні 2026 року відповідала Hopper, а K3 у липні 2026 року — вже ні; MiniMax-M2.7 і M3 продемонстрували ту саму зміну відповідно у квітні та червні 2026 року; моделі Ling-3.0-flash і Ling-3.1-flash від Ant Group — відповідно у серпні та жовтні 2026 року.

Ця закономірність проявлялася не в усіх випадках. Найновіші моделі Alibaba, Zhipu, Tencent, Xiaomi та StepFun, для яких вдалося отримати результат, відповідали Hopper, а не Blackwell.

Як ініціалізація виявляє апаратну конфігурацію

Метод ґрунтується на вагах — числових параметрах, які коригуються під час навчання. У дослідженій конфігурації PyTorch/cuRAND перед навчанням використовує генератор Philox, щоб за початковим значенням генерувати відтворювані числа. Потоки графічного процесора розподіляють ці значення між позиціями ваг, а для достатньо великої ініціалізації використовують 2 048 потоків на потоковий мультипроцесор (SM). Тому зміна кількості SM змінює розташування тих самих згенерованих чисел.

У перевірених конфігураціях чипи Hopper H100 SXM, H200 і H800 мають 132 SM і 270 336 потоків; чипи B200 і B300 — 148 SM і 303 104 потоки; чипи GB200 і GB300 — 152 SM і 311 296 потоків. Результат указує на одну з цих груп, але не на конкретний чип у її складі.

Ваги, зарезервовані для слів або символів, яких не було в навчальних даних, можуть зберігати початкові значення майже без змін, тоді як навчені ваги можуть мати слабший статистичний зв’язок із цими значеннями. Дослідники підбирають початкове значення й конфігурацію за одним набором ваг, а потім перевіряють цю незмінну комбінацію на окремому наборі, який не використовували під час пошуку.

За своєю статистичною моделлю у звіті оцінюють, що приблизно 6 трильйонів комбінацій початкового значення та конфігурації дали б очікуваний найсильніший збіг на рівні близько 8 сигм — статистичного показника відхилення від випадкових коливань. Найсильніші результати для ідентифікованих моделей становлять від 49 до 1 385 сигм, а кожен окремий тест досягає щонайменше 20 сигм.

Перевірки на фізичних чипах та оцінки обчислювальних масштабів навчання

Відтворення результатів на фізичних чипах, проведені ДеП’ю, стали ще однією перевіркою. Використавши відновлене початкове значення DeepSeek, на H100 вдалося відтворити збережені значення DeepSeek-V3, але не V4-Flash; на B300 результат був протилежним. На B300 незмінена версія PyTorch відтворила 461 із 469 вибраних рядків V4-Flash із кореляцією понад 0,99, зокрема 445 рядків повністю, біт у біт. Орендований GB200 відтворив усі 13 збережених рядків Kimi K3 із початковим значенням Moonshot; зміна будь-якого з відновлених початкових значень на одиницю не дала жодного збігу рядків.

У звіті зазначено, що метод дав результати, узгоджені з усіма 24 випадками, коли розробник публічно назвав апаратне забезпечення для конкретної моделі. Водночас автори застерігають, що 11 випадків стосуються контрольних точок на нульовому кроці, а пов’язані між собою моделі не є незалежними. Тому це порівняння слугує перевіркою узгодженості, а не вимірюванням точності.

Kimi K3.1-Pro використовує початкове значення K3 і може бути контрольним знімком K3, додатково донавченим після основного навчання. Якщо припустити, що для навчання використовували те саме обладнання, що й для ініціалізації, ДеП’ю оцінює, що для п’яти окремих фінальних запусків зазвичай потрібно було приблизно від 500 до 3 000 графічних процесорів Blackwell протягом двох-трьох місяців. Для розрахунку обчислювальні витрати на навчання ділять на пропускну здатність чипів за завантаженості 35%, використовуючи оприлюднену DeepSeek кількість токенів і оцінки кількості токенів, виведені з розміру ваг, для інших моделей. Застосування того самого розрахунку до DeepSeek-V3 дало від 2 000 до 2 500 чипів порівняно з оприлюдненою DeepSeek кількістю — 2 048.

Обмеження для контролю за дотриманням експортних правил

Збіг стосується лише ініціалізації й не дає змоги встановити повний перелік процесорів, використаних на подальших етапах навчання. Лабораторія може створити початкові значення в одній системі, а потім перенести їх; у змішаних кластерах можуть залишитися сліди лише частини обладнання; результат, що відповідає Hopper, не виключає подальшого навчання на Blackwell. Ваги також не дають змоги встановити, кому належать чипи, де вони розташовані або як їх придбали. У звіті ДеП’ю зазначено, що системи Blackwell можна орендувати за межами Китаю, і наголошено: самих цих доказів недостатньо, щоб підтвердити контрабанду або порушення експортного контролю.

Визначено, що апаратною альтернативою є MI300X від AMD. Зазвичай він використовує 304 обчислювальні блоки, але його можна поділити на дві групи по 152 або налаштувати на використання 148 блоків, відтворивши конфігурації, перевірені на фізичних чипах. У DeepSeek-V4-Flash 363 із 377 збережених значень, що відрізняються між постачальниками, збіглися з NVIDIA, а жодне — з AMD. Ця числова перевірка не дала остаточної відповіді щодо п’яти інших моделей, хоча, на думку авторів звіту, спеціально налаштований кластер AMD украй малоймовірний.

У звіті зазначено, що для експорту B200, B300, GB200 і GB300 до Китаю потрібна ліцензія США, а про видачу таких ліцензій не повідомлялося; також у ньому сказано, що на MI300X поширюється контроль. Сам метод потребує відкритих ваг і розпізнаваного шаблону ініціалізації, залежного від обладнання. Ініціалізація на CPU не залишає конфігурації GPU, а генератор Baidu PaddlePaddle не містить конфігурації дослідженого чипа.

Аналіз надає політикам технічні докази доступу до обладнання, але не робить висновків щодо правозастосування: відкриті ваги можуть виявити шаблон ініціалізації, однак для визначення того, чи було порушено експортний контроль, усе одно потрібні докази того, де використовувалося обладнання, кому воно належало і як було отримано доступ до нього.