Unemployment Labs, 중국 AI 모델에서 Blackwell 패턴 확인

Unemployment Labs의 분석에서 Will DePue는 2026년 11월 12일, DeepSeek, Moonshot AI, MiniMax, Ant Group의 오픈 웨이트 모델 6개에서 미국 수출 통제 대상인 NVIDIA Blackwell GPU와 일치하는 초기화 패턴을 발견했다고 밝혔다.

이 분석은 DeepSeek-V4-Flash와 MiniMax-M3가 B200 또는 B300 칩에서 초기화됐고, DeepSeek-V4-Pro, Kimi K3, Kimi K3.1-Pro, Ling-3.1-flash는 GB200 또는 GB300 칩에서 초기화됐다고 판단한다. 일치 결과는 초기 가중치에 반영된 하드웨어 레이아웃을 식별한다. 해당 칩이 학습에도 사용됐는지는 별도의 추론이 필요한 문제다.

잇따른 모델 출시 시점을 보면 이런 변화가 언제 나타났는지 알 수 있다. DeepSeek-V3는 2024년 12월 Hopper를 사용한 것으로 분석됐고, 이어 2026년 4월에는 Blackwell을 사용한 것으로 분석된 V4 모델 두 종이 나왔다. Moonshot AI의 Kimi K2.5는 2026년 1월 Hopper를 사용한 것으로 분석됐으며, 2026년 7월 K3가 그 뒤를 이었다. MiniMax-M2.7과 M3도 각각 2026년 4월과 6월에 같은 양상을 보였다. Ant Group의 Ling-3.0-flash와 Ling-3.1-flash는 각각 2026년 8월과 10월에 같은 양상을 보였다.

모든 모델에서 같은 양상이 나타난 것은 아니다. 판독 가능한 최신 모델 가운데 Alibaba, Zhipu, Tencent, Xiaomi, StepFun의 모델은 Blackwell이 아니라 Hopper를 사용한 것으로 분석됐다.

초기화로 하드웨어 레이아웃을 알아내는 방법

이 기법은 학습 과정에서 조정되는 수치 매개변수인 가중치에서 출발한다. 학습 전 조사 대상인 PyTorch/cuRAND 설정은 Philox 생성기를 사용해 시드값으로부터 반복 가능한 값을 생성한다. GPU 스레드는 이 값들을 가중치 위치에 배분하며, 충분히 큰 규모로 초기화할 때는 스트리밍 멀티프로세서(SM) 하나당 2,048개 스레드를 사용한다. 따라서 SM 수가 달라지면 동일하게 생성된 숫자가 배치되는 위치도 달라진다.

시험한 구성에서 Hopper H100 SXM, H200, H800 칩은 SM 132개와 스레드 270,336개를 갖는다. B200과 B300 칩은 SM 148개와 스레드 303,104개를 갖고, GB200과 GB300 칩은 SM 152개와 스레드 311,296개를 갖는다. 분석 결과로 식별되는 것은 이들 그룹 가운데 하나이며, 그룹 내 특정 칩까지는 알 수 없다.

학습 데이터에 없는 단어나 기호에 할당된 가중치는 초기값을 거의 그대로 보존할 수 있는 반면, 학습된 가중치에는 그 값과의 통계적 연관성이 더 약하게 남을 수 있다. 조사자들은 한 가중치 집합에서 시드값과 레이아웃을 선택한 다음, 탐색에 사용하지 않은 별도의 가중치 집합에 같은 조합을 그대로 적용해 시험한다.

보고서는 자체 통계 모델에 따라 시드값과 레이아웃 조합이 약 6조 개일 경우, 우연히 나타날 수 있는 가장 강한 일치 결과의 기댓값은 약 8시그마라고 추정한다. 시그마는 무작위 변동에서 얼마나 벗어났는지를 나타내는 통계적 척도다. 식별된 모델에서 가장 강한 결과는 49~1,385시그마였으며, 개별 시험 결과는 모두 최소 20시그마에 달했다.

실물 칩 검증과 학습 규모 추정

DePue는 실물 칩으로 재현 시험을 진행해 추가로 검증했다. DeepSeek에서 복구한 시드값을 사용했을 때 H100은 DeepSeek-V3의 보존된 값을 재현했지만 V4-Flash의 값은 재현하지 못했고, B300에서는 그 반대 결과가 나왔다. B300에서 수정하지 않은 PyTorch는 선별된 V4-Flash 행 469개 중 461개를 0.99가 넘는 상관계수로 재현했으며, 이 가운데 445개 행은 비트 단위까지 완전히 일치했다. 임대한 GB200은 Moonshot의 시드값으로 보존된 Kimi K3 행 13개를 모두 재현했다. 복구한 시드값 중 하나라도 1만큼 바꾸면 일치하는 행은 하나도 나오지 않았다.

보고서에 따르면 개발자가 특정 모델의 하드웨어를 공개적으로 밝힌 사례 24건 모두에서 이 방법은 공개된 정보와 일치했다. 다만 이 가운데 11건은 0단계 체크포인트와 관련된 사례이며, 서로 관련된 모델은 독립적인 사례가 아니라고 주의를 당부했다. 따라서 이 비교는 측정된 정확도 비율이 아니라 일관성을 확인하는 검증이다.

Kimi K3.1-Pro는 K3의 시드값을 사용하며, 추가 사후 학습을 거친 K3 체크포인트일 가능성이 있다. 초기화를 수행한 하드웨어가 학습에도 사용됐다고 가정할 경우, DePue는 서로 다른 최종 학습 실행 5건에 각각 Blackwell GPU 약 500~3,000개가 사용됐으며, 일반적으로 학습 기간은 2~3개월이었다고 추정한다. 이 계산은 DeepSeek가 공개한 토큰 수와 다른 모델의 가중치 기반 토큰 추정치를 사용해, 학습 연산량을 칩 처리량으로 나눈 것이다. 칩 활용률은 35%로 가정했다. 같은 계산을 DeepSeek-V3에 적용하면 칩 수는 2,000~2,500개로 나오며, 이는 DeepSeek가 공개한 2,048개와 비교된다.

수출 통제 집행에서의 한계

일치 결과는 초기화만을 보여줄 뿐, 이후 학습에 사용된 모든 프로세서를 파악해 주지는 않는다. 연구소는 한 시스템에서 초기값을 만든 뒤 이를 다른 곳으로 옮길 수 있고, 여러 종류의 칩이 섞인 클러스터에서는 일부 하드웨어의 흔적만 남을 수 있다. 또한 Hopper 사용 결과가 나왔다고 해서 이후 Blackwell을 이용한 학습이 없었다고 단정할 수는 없다. 가중치만으로는 칩의 소유권, 위치, 취득 경로도 확인할 수 없다. DePue의 보고서는 Blackwell 시스템을 중국 이외 지역에서도 대여할 수 있다고 지적하며, 이 증거만으로는 밀수나 수출 통제 위반이 입증되지 않는다고 밝혔다.

식별된 하드웨어 대안은 AMD의 MI300X다. 이 칩은 일반적으로 컴퓨팅 유닛 304개를 사용하지만, 152개씩 두 그룹으로 나누거나 148개를 사용하도록 구성할 수 있어 실물 시험에서 해당 레이아웃을 재현했다. DeepSeek-V4-Flash에서 공급업체별로 값이 달랐던 보존 값 377개 중 363개는 NVIDIA와 일치했고 AMD와 일치한 값은 없었다. 이 수치 분석만으로 나머지 모델 5개의 결과를 확정할 수는 없지만, 보고서는 AMD 클러스터를 특별히 구성했을 가능성을 매우 낮게 본다.

보고서는 B200, B300, GB200, GB300을 중국에 수출하려면 미국의 허가가 필요하며, 그러한 허가가 발급됐다는 보고는 없다고 밝힌다. 또한 MI300X도 통제 대상이라고 설명한다. 이 방법을 적용하려면 공개 가중치와 하드웨어에 따라 달라지는 식별 가능한 초기화 패턴이 필요하다. CPU에서 초기화하면 GPU 배치가 남지 않으며, Baidu의 PaddlePaddle 생성기에는 조사 대상 칩의 배치가 담기지 않는다.

이 분석은 정책 입안자에게 하드웨어 접근 여부를 보여 주는 기술적 근거를 제시하지만, 규정 집행에 관한 결론을 내리지는 않는다. 공개 가중치에서 초기화 패턴을 파악할 수는 있지만, 수출 통제가 위반됐는지 확인하려면 하드웨어가 어디에서 사용됐는지, 소유자가 누구였는지, 그리고 어떤 방식으로 접근이 이뤄졌는지에 관한 증거가 여전히 필요하다.