Z.ai Λεπτομέρειες για το GLM-5.3-Flash Inference σε 100.000 κινεζικά τσιπ

Η Z.ai στις 17 Σεπτεμβρίου 2026 δημοσίευσε μια τεχνική αναφορά που περιγράφει πώς κατασκεύασε μια πλήρη υπηρεσία παραγωγικής‑τάξης inference για το μοντέλο GLM-5.3-Flash από το μηδέν σε ένα σύμπλεγμα άνω των 100.000 κινεζικών AI επιταχυντών. Σύμφωνα με την εταιρεία, το μεγαλύτερο μέρος της εργασίας εκτελέστηκε από έναν Infra Agent που τροφοδοτείται από το GLM-5.3 αντί από μόνοι τους τους μηχανικούς υποδομής, και όλη η παραγωγική inference για το GLM-5.3-Flash εκτελείται στο σύστημα.

Η Z.ai δήλωσε ότι κανείς δεν είχε προηγουμένως λειτουργήσει σύμπλεγμα κινεζικών επιταχυντών σε αυτή την κλίμακα. Η εταιρεία ανέφερε σχετικά περιορισμένη χωρητικότητα μνήμης στο τσιπ και εύρος ζώνης, μια νέα αρχιτεκτονική μοντέλου, ένα παράθυρο συμφραζομένων 1 Μ‑διακριτοσειρών, και πολυμορφικές αιτήσεις, μαζί με ένα ανεπαρκές οικοσύστημα όπου η υποστήριξη πυρήνων ήταν ελλιπής και οι μηχανικοί έπρεπε να εικάζουν τη συμπεριφορά που έπρεπε να είχε τεκμηριωθεί.

Το GLM-5.3-Flash ανακοινώθηκε στις 26 Αυγούστου 2026 ως το πρώτο εγγενώς πολυμορφικό μοντέλο στη σειρά GLM-5, με 320 δισεκατομμύρια συνολικές παραμέτρους και 18 δισεκατομμύρια ενεργές παραμέτρους υπό μια υβριδική αρχιτεκτονική που συνδυάζει σπάνιες και γραμμικές προσοχές. Πριν την κυκλοφορία, η Z.ai δοκίμασε το μοντέλο ανώνυμα ως ox‑alpha στο OpenCode και στο OpenRouter, και η εταιρεία δήλωσε ότι έγινε το πιο χρησιμοποιημένο μοντέλο και στις δύο πλατφόρμες εντός μιας εβδομάδας από την κυκλοφορία, επεξεργαζόμενη πάνω από 62 τρισεκατομμύρια διακριτοσειρές σε έξι ημέρες.

Η Μέθοδος Πυκνής Ανατροφοδότησης

Στο κέντρο της αναφοράς βρίσκεται ένα πρόβλημα συστήματος: τα μετρικά από άκρο σε άκρο μπορούν να ενημερώσουν έναν πράκτορα ότι τα αποτελέσματα χειροτέρεψαν, αλλά όχι γιατί. Ένα αποτυχημένο τεστ αριθμητικής ακρίβειας, μια αύξηση 30 % του χρόνου έως το πρώτο διακριτοσύμβολο, ή μια πτώση 20 % της απόδοσης εξόδου δεν δείχνει ποιο στρώμα είναι υπεύθυνο ή τι να δοκιμαστεί στη συνέχεια. Η απάντηση της Z.ai, που αποκαλεί πυκνή ανατροφοδότηση, ενσωματώνει τεστ ορθότητας, καταγραφές χρόνου εκτέλεσης, ίχνη εκτέλεσης, γεγονότα χρόνου εκτέλεσης, μικροδοκιμές και μετρικά από άκρο σε άκρο σε επαναλαμβανόμενες ροές εργασίας που επιτρέπουν στον πράκτορα να επικυρώνει κάθε υπόθεση τοπικά αντί να περιμένει μια πλήρη ανάπτυξη και δοκιμή φορτίου μετά από κάθε αλλαγή.

Η εταιρεία ορίζει τρεις απαιτούμενες ιδιότητες για τέτοια ανατροφοδότηση. Πρέπει να είναι τοπική, συνδεδεμένη όπου είναι δυνατόν με συγκεκριμένες παραμέτρους εκκίνησης, αλλαγές κώδικα, πυρήνες, συνθήκες εισόδου, νήματα, διαστήματα εκτέλεσης ή διαδρομές κώδικα. Πρέπει να είναι φτηνή και έγκαιρη στην απόκτηση. Και πρέπει να υποστηρίζει αντικειμενική επαλήθευση μέσω αναφοράς υλοποιήσεων και ελεγχόμενων πειραμάτων, επειδή οι παρατηρούμενες συσχετίσεις από μόνες τους δεν καθορίζουν την αιτία.

Στο βρόχο εκκίνησης που περιγράφεται στην αναφορά, οι μηχανικοί καθόρισαν στόχους και όρια του συστήματος και εξέτασαν κρίσιμες αλλαγές που αφορούσαν αριθμητική σημασιολογία, συμπεριφορά ταυτόχρονης εκτέλεσης και κίνδυνο παραγωγής, ενώ ο πράκτορας ανέλαβε την ανάλυση, τις υποθέσεις και τις αλλαγές κώδικα. Η στοίβα που βελτιστοποίησαν από κοινού συνδύαζε ενδο‑κόμβο παράλληλο τανυστικό για γραμμική προσοχή και το LM Head, ReplaySSM, ποσοτικοποίηση W8A8, ποσοτικοποίηση μιγμένης ακρίβειας INT8/FP8/BF16 στην κρυφή μνήμη, και Layer Split, υπό μια αρχιτεκτονική διαχωρισμένη Encode‑Prefill‑Decode.

Τρία Πρακτικά Παραδείγματα Μηχανικής

Η πρώτη περίπτωση αφορά την αριθμητική ορθότητα. Η επικύρωση που σύγκρινε διαμερισμένες και αδιαμερισμένες διαδρομές εκτέλεσης πυρήνα αποκάλυψε πρόβλημα ακρίβειας στη διαδρομή Context Parallelism του πυρήνα KDA: η λειτουργία tl.dot προεπιλεγόταν σε υπολογισμό TF32 ακόμη και όταν οι είσοδοι ήταν FP32, οπότε τα σφάλματα συσσωρεύονταν κατά τη συγχώνευση κατάστασης και αυξάνονταν καθώς αυξανόταν το μήκος του συμφραζομένου. Η διόρθωση όρισε ρητά την ακρίβεια εισόδου σε tf32x3, η οποία χρησιμοποιεί τρεις λειτουργίες TF32 Tensor Core για να παραγάγει αποτέλεσμα υψηλότερης ακρίβειας.

Σύμφωνα με την αναφορά, οι διορθώσεις συγχωνεύτηκαν προς τα πάνω στο Flash Linear Attention. Η αίτηση έλξης, που ανοίχθηκε και ενσωματώθηκε στις 27 Αυγούστου 2026, εφαρμόζει την αλυσίδα tf32x3 affine στους πυρήνες ενημέρωσης κατάστασης και συγχώνευσης μετασχηματισμού ως προαιρετική διαδρομή ακρίβειας, προσθέτει τεστ Context Parallelism, και επιστρέφει ρητά στην ακρίβεια IEEE σε πλατφόρμες χωρίς υποστήριξη tf32 (AMD, NPU και GPU NVIDIA κάτω από δυνατότητα υπολογισμού 8.0).

Η δεύτερη περίπτωση αφορά ένα στενό σημείο ταυτόχρονης μεταφοράς KV. Σύμφωνα με την αναφορά, οι μηχανικοί όρισαν κριτήριο αποδοχής που, υπό το ίδιο φορτίο εργασίας, το Prefill συν το KV Transfer πρέπει να εκτελείται εντός 5 % της βάσης μόνο Prefill. Ο πράκτορας εντόπισε κενά που ξεπερνούσαν το 20 % σε ορισμένα σενάρια και τα ανίχνευσε στο DeepEP v1.2.1, στο οποίο ούτε το intranode_dispatch ούτε το intranode_combine η κλήση δεν απελευθέρωνε ρητά το Python GIL. Όσο αυτές οι κλήσεις κράτησαν το κλείδωμα, το νήμα Python Mooncake Transfer στην ίδια διεργασία δεν μπορούσε να αποκτήσει το GIL έγκαιρα, έτσι ο προγραμματισμός και η υποβολή των εργασιών μεταφοράς καθυστέρησαν και η επικάλυψη με την εκτέλεση μειώθηκε. Η αναφορά σημειώνει ότι το internode_dispatch στην ίδια έκδοση ήδη απελευθέρωνε το GIL, με ένα σχόλιο κώδικα που ανέφερε ότι ο σκοπός ήταν η αποφυγή φραγής του KV Transfer σε άλλα νήματα ενώ η CPU περίμενε. Μετά τη διόρθωση που απελευθέρωσε το GIL κατά τα σχετικά διαστήματα εκτέλεσης C++, η αναφορά αναφέρει ότι το κενό έπεσε κάτω από 1 % υπό τις ίδιες συνθήκες δοκιμής.

Η τρίτη περίπτωση αφορά την απόδοση του πυρήνα. Η Z.ai είχε τον πράκτορα να εξάγει τεχνικές από χειρόγραφα πυρήνα σε έργα όπως το SGLang, το Flash Linear Attention και το DeepGEMM, δημιουργώντας επαναχρησιμοποιήσιμα σκελετούς βελτιστοποίησης που περιλαμβάνουν συνθήκες εφαρμοσιμότητας, μεθόδους μετασχηματισμού, περιορισμούς πόρων και αποδεικτικά στοιχεία επικύρωσης. Σε έναν αντιπροσωπευτικό πυρήνα KDA Decode, η εταιρεία αναφέρει ότι η βελτιστοποίηση διαίρεσης του πράκτορα μείωσε το χρόνο εκτέλεσης κατά 9.6%. Αφού η ανατροφοδότηση εντόπισε τον υπολογισμό ως το κύριο εμπόδιο, ο πράκτορας συγχώνευσε τα V-dimension tiles του πυρήνα, που επαναλάμβαναν την ίδια FP32 κανονικοποίηση και τις λειτουργίες ελέγχου τέσσερις φορές, σε ένα ενιαίο thread block με register-resident intermediate results και μια warp-level reduction, παράγοντας ό,τι η εταιρεία αναφέρει ως επιτάχυνση 1.71× σε σχέση με την προηγούμενη έκδοση.

Δηλωμένα Αποτελέσματα και Αναδρομική Αυτοβελτίωση

Η Z.ai αναφέρει ότι το GLM-5.3-Flash προχώρησε από την αρχική προσαρμογή του μοντέλου στην ετοιμότητα παραγωγής σε λιγότερο από δύο εβδομάδες, με την απόδοση από άκρη σε άκρη να τριπλασιάζει τελικά σε σχέση με τη αρχική βάση. Η εταιρεία δήλωσε επίσης ότι η αποδοτικότητα χρήσης υλικού και το κόστος ανά token έφτασαν σε επίπεδα συγκρίσιμα με τα κυρίαρχα GPUs της NVIDIA.

Η εταιρεία παρουσιάζει την προσπάθεια ως ένα πρώιμο παράδειγμα αναδρομικής αυτοβελτίωσης, σημειώνοντας ότι το μοντέλο συμμετείχε στη βελτιστοποίηση του συστήματος επαγωγής στο οποίο λειτουργεί. Ταυτόχρονα, η Z.ai δηλώνει ότι δεν έχει ακόμη φτάσει στην αναδρομική αυτοβελτίωση, και ότι η επιλογή στόχων, ο καθορισμός ορίων και η αξιολόγηση κινδύνου παραμένουν ανθρώπινες ευθύνες που, κατά την άποψή της, πρέπει να συνεχίσουν να αναλαμβάνονται από τους ανθρώπους.