Η Unemployment Labs αναφέρει μοτίβα Blackwell σε κινεζικά μοντέλα ΤΝ

Μια ανάλυση της Unemployment Labs από τον Will DePue, που δημοσιεύτηκε στις 12 Νοεμβρίου 2026, εντόπισε μοτίβα αρχικοποίησης συμβατά με τις GPU Blackwell της NVIDIA, οι οποίες υπόκεινται σε ελέγχους εξαγωγών, σε έξι μοντέλα ανοικτών βαρών των DeepSeek, Moonshot AI, MiniMax και Ant Group.

Η ανάλυση συσχετίζει τα DeepSeek-V4-Flash και MiniMax-M3 με αρχικοποίηση σε τσιπ B200 ή B300, και τα DeepSeek-V4-Pro, Kimi K3, Kimi K3.1-Pro και Ling-3.1-flash με τσιπ GB200 ή GB300. Οι αντιστοιχίες προσδιορίζουν τη διάταξη υλικού που αποτυπώνεται στα αρχικά βάρη· το αν τα ίδια τσιπ χρησιμοποιήθηκαν και για την εκπαίδευση αποτελεί ξεχωριστό συμπέρασμα.

Οι διαδοχικές κυκλοφορίες αποτυπώνουν χρονικά τις φαινομενικές αλλαγές. Το DeepSeek-V3 έδωσε ένδειξη Hopper τον Δεκέμβριο του 2024, ενώ ακολούθησαν τα δύο μοντέλα V4 με ένδειξη Blackwell τον Απρίλιο του 2026. Το Kimi K2.5 της Moonshot AI έδωσε ένδειξη Hopper τον Ιανουάριο του 2026, πριν από το K3 τον Ιούλιο του 2026· τα MiniMax-M2.7 και M3 ακολούθησαν το ίδιο μοτίβο τον Απρίλιο του 2026 και τον Ιούνιο του 2026, αντίστοιχα· το Ling-3.0-flash και το Ling-3.1-flash της Ant Group έκαναν το ίδιο τον Αύγουστο του 2026 και τον Οκτώβριο του 2026.

Το μοτίβο δεν εμφανίστηκε σε όλες τις περιπτώσεις. Τα νεότερα αναλύσιμα μοντέλα των Alibaba, Zhipu, Tencent, Xiaomi και StepFun έδωσαν ένδειξη Hopper και όχι Blackwell.

Πώς η αρχικοποίηση αποκαλύπτει τη διάταξη του υλικού

Η τεχνική ξεκινά από τα βάρη, τις αριθμητικές παραμέτρους που προσαρμόζονται κατά την εκπαίδευση. Πριν από την εκπαίδευση, η διάταξη PyTorch/cuRAND που εξετάστηκε χρησιμοποιεί τη γεννήτρια Philox για να παράγει επαναλήψιμες τιμές από έναν σπόρο. Τα νήματα της GPU κατανέμουν αυτές τις τιμές στις θέσεις των βαρών, ενώ για μια αρκετά μεγάλη αρχικοποίηση χρησιμοποιούνται 2.048 νήματα ανά πολυεπεξεργαστή ροών (SM). Επομένως, αν αλλάξει ο αριθμός των SM, αλλάζουν και οι θέσεις στις οποίες καταλήγουν οι ίδιοι παραγόμενοι αριθμοί.

Στις διαμορφώσεις που εξετάστηκαν, τα τσιπ Hopper H100 SXM, H200 και H800 έχουν 132 SM και 270.336 νήματα· τα τσιπ B200 και B300 έχουν 148 SM και 303.104 νήματα· τα τσιπ GB200 και GB300 έχουν 152 SM και 311.296 νήματα. Η ένδειξη προσδιορίζει μία από αυτές τις ομάδες, όχι ένα συγκεκριμένο τσιπ μέσα σε αυτήν.

Τα βάρη που προορίζονται για λέξεις ή σύμβολα τα οποία απουσιάζουν από τα δεδομένα εκπαίδευσης μπορούν να διατηρήσουν τις αρχικές τιμές τους σχεδόν ακριβώς, ενώ τα βάρη που έχουν εκπαιδευτεί μπορεί να διατηρούν ασθενέστερη στατιστική σχέση με αυτές τις τιμές. Οι ερευνητές επιλέγουν έναν σπόρο και μια διάταξη με βάση ένα σύνολο βαρών και στη συνέχεια δοκιμάζουν αυτόν τον αμετάβλητο συνδυασμό σε ξεχωριστό σύνολο, το οποίο δεν συμπεριλήφθηκε στην αναζήτηση.

Με βάση το στατιστικό μοντέλο της, η έκθεση εκτιμά ότι περίπου 6 τρισεκατομμύρια συνδυασμοί σπόρου και διάταξης θα έδιναν αναμενόμενη ισχυρότερη τυχαία αντιστοιχία περίπου 8 σίγμα, μια στατιστική μέτρηση της απόστασης από την τυχαία διακύμανση. Τα ισχυρότερα αποτελέσματα για τα μοντέλα που εντοπίστηκαν κυμαίνονται από 49 έως 1.385 σίγμα, ενώ κάθε επιμέρους δοκιμή που συμπεριλήφθηκε φτάνει τουλάχιστον τα 20 σίγμα.

Φυσικές επαληθεύσεις και εκτιμήσεις για την κλίμακα της εκπαίδευσης

Οι αναπαραγωγές του DePue σε φυσικά τσιπ αποτέλεσαν έναν ακόμη έλεγχο. Χρησιμοποιώντας τον σπόρο που ανακτήθηκε για την DeepSeek, μια H100 αναπαρήγαγε τις διατηρημένες τιμές του DeepSeek-V3, αλλά όχι εκείνες του V4-Flash, ενώ μια B300 πέτυχε το αντίστροφο. Στην B300, το PyTorch χωρίς τροποποιήσεις αναπαρήγαγε 461 από τις 469 επιλεγμένες σειρές του V4-Flash, με συσχετίσεις άνω του 0,99, συμπεριλαμβανομένων 445 σειρών που ταίριαζαν πλήρως, bit προς bit. Μια μισθωμένη GB200 αναπαρήγαγε και τις 13 διατηρημένες σειρές του Kimi K3 με τον σπόρο της Moonshot· η μεταβολή οποιουδήποτε από τους δύο ανακτημένους σπόρους κατά μία μονάδα δεν έδωσε καμία αντιστοιχία.

Η έκθεση αναφέρει ότι η μέθοδος συμφώνησε και στις 24 περιπτώσεις στις οποίες ένας δημιουργός είχε κατονομάσει δημόσια το υλικό ενός συγκεκριμένου μοντέλου, επισημαίνοντας ωστόσο ότι οι 11 αφορούν σημεία ελέγχου step-zero και ότι τα συγγενικά μοντέλα δεν είναι ανεξάρτητα μεταξύ τους. Επομένως, η σύγκριση αποτελεί έλεγχο συνέπειας και όχι μέτρηση του ποσοστού ακρίβειας.

Το Kimi K3.1-Pro χρησιμοποιεί τον σπόρο του K3 και μπορεί να είναι ένα σημείο ελέγχου του K3 που υποβλήθηκε σε περαιτέρω μεταεκπαίδευση. Με την παραδοχή ότι το υλικό που χρησιμοποιήθηκε για την αρχικοποίηση χρησιμοποιήθηκε και για την εκπαίδευση, ο DePue εκτιμά ότι πέντε διακριτές τελικές εκπαιδεύσεις χρησιμοποίησαν περίπου 500 έως 3.000 GPU Blackwell η καθεμία, συνήθως για δύο έως τρεις μήνες. Ο υπολογισμός διαιρεί τον υπολογιστικό φόρτο της εκπαίδευσης με τη ρυθμαπόδοση του τσιπ σε αξιοποίηση 35%, χρησιμοποιώντας τους αριθμούς των διακριτών μονάδων κειμένου (token) που δημοσιοποίησε η DeepSeek και εκτιμήσεις για τα άλλα μοντέλα με βάση τα βάρη τους. Με τον ίδιο υπολογισμό για το DeepSeek-V3 προκύπτουν 2.000 έως 2.500 τσιπ, έναντι των 2.048 που δημοσιοποίησε η DeepSeek.

Περιορισμοί στην επιβολή των ελέγχων εξαγωγών

Μια αντιστοιχία αφορά μόνο την αρχικοποίηση· δεν μπορεί να καταγράψει όλους τους επεξεργαστές που χρησιμοποιήθηκαν σε μεταγενέστερη εκπαίδευση. Ένα εργαστήριο θα μπορούσε να δημιουργήσει τις αρχικές τιμές σε ένα σύστημα και να τις μεταφέρει αλλού, ενώ σε συστάδες με ανάμεικτο υλικό μπορεί να αποτυπώνονται ίχνη μόνο από ορισμένα τσιπ· επιπλέον, ένδειξη Hopper δεν αποκλείει μεταγενέστερη εκπαίδευση σε Blackwell. Τα βάρη δεν μπορούν επίσης να αποδείξουν την κυριότητα, την τοποθεσία ή την απόκτηση των τσιπ. Η έκθεση του DePue σημειώνει ότι τα συστήματα Blackwell μπορούν να μισθωθούν εκτός Κίνας και αναφέρει ότι τα στοιχεία αυτά, από μόνα τους, δεν αποδεικνύουν ούτε λαθρεμπόριο ούτε παραβίαση των ελέγχων εξαγωγών.

Η MI300X της AMD είναι η εναλλακτική λύση υλικού που εντοπίστηκε. Συνήθως διαθέτει 304 μονάδες επεξεργασίας, αλλά μπορεί να χωριστεί σε δύο ομάδες των 152 ή να διαμορφωθεί ώστε να χρησιμοποιεί 148, αναπαράγοντας τις διατάξεις στις φυσικές δοκιμές. Για το DeepSeek-V4-Flash, 363 από τις 377 διατηρημένες τιμές που διαφέρουν μεταξύ των κατασκευαστών ταίριαζαν με τη NVIDIA και καμία με την AMD. Αυτή η αριθμητική δοκιμή δεν έδωσε οριστικό συμπέρασμα για τα άλλα πέντε μοντέλα, αν και η έκθεση θεωρεί εξαιρετικά απίθανη την ύπαρξη συστάδας AMD με ειδική διαμόρφωση.

Η έκθεση αναφέρει ότι για την εξαγωγή των B200, B300, GB200 και GB300 στην Κίνα απαιτείται άδεια των ΗΠΑ και ότι δεν έχει αναφερθεί η έκδοση τέτοιων αδειών· αναφέρει επίσης ότι το MI300X υπόκειται σε περιορισμούς. Η ίδια η μέθοδος απαιτεί δημόσια διαθέσιμα βάρη και ένα αναγνωρίσιμο μοτίβο αρχικοποίησης που εξαρτάται από το υλικό. Η αρχικοποίηση μέσω CPU δεν αφήνει κάποιο αποτύπωμα διάταξης GPU, ενώ η γεννήτρια PaddlePaddle της Baidu δεν ενσωματώνει τη διάταξη του εξεταζόμενου τσιπ.

Η ανάλυση παρέχει στους υπεύθυνους χάραξης πολιτικής τεχνικά στοιχεία για την πρόσβαση σε υλικό, χωρίς να καταλήγει σε συμπέρασμα ως προς την επιβολή των περιορισμών: τα δημόσια διαθέσιμα βάρη μπορούν να αποκαλύψουν ένα μοτίβο αρχικοποίησης, αλλά για να διαπιστωθεί αν παραβιάστηκαν οι έλεγχοι εξαγωγών θα εξακολουθούσαν να χρειάζονται στοιχεία σχετικά με το πού χρησιμοποιήθηκε το υλικό, σε ποιον ανήκε και με ποιον τρόπο αποκτήθηκε η πρόσβαση.