Το Llm-D 1.0 κάνει πρεμιέρα στο συνέδριο PyTorch με στοίβα παραγωγικής εξυπηρέτησης συμπερασμού

Οι συντελεστές του έργου llm-d ανακοίνωσαν την έκδοση llm-d 1.0 στις 20 Οκτωβρίου 2026, στο PyTorch Conference North America: μια στοίβα κατανεμημένης εξυπηρέτησης συμπερασμού, εγγενής στο Kubernetes, σύμφωνα με ανακοίνωση της IBM Research. Η IBM ανέφερε ότι η έκδοση μεταφέρει το llm-d πέρα από την επίδειξη μεμονωμένων τεχνικών απόδοσης και αποσκοπεί στο να βοηθήσει τους οργανισμούς να αναλάβουν εσωτερικά την ανάπτυξη μοντέλων, καθώς αυξάνεται το κόστος του συμπερασμού.

Το llm-d έχει σχεδιαστεί για την ανάπτυξη στοιβών εξυπηρέτησης συμπερασμού για κάθε μοντέλο, σε κάθε επιταχυντή και σε κάθε νέφος. Οι Red Hat, IBM και Google είναι οι κύριοι συντηρητές του έργου και συνίδρυσαν το llm-d μαζί με τις CoreWeave και NVIDIA· οι AMD, Cisco, Hugging Face, Intel, Lambda και Mistral AI έχουν συμμετάσχει ως συνεισφέροντες. Το Cloud Native Computing Foundation (CNCF) φιλοξενεί το llm-d ως έργο sandbox. Η IBM περιγράφει το αποτέλεσμα ως μια εναλλακτική λύση ανεξάρτητη από προμηθευτές, για οργανισμούς που επιδιώκουν αυτό που αποκαλεί απόδοση συμπερασμού κορυφαίας κατηγορίας, χωρίς να εξαρτώνται πλήρως από έναν ιδιόκτητο πάροχο μοντέλων, νέφους ή πλατφόρμας υλικού.

Ο Carlos Costa, διακεκριμένος μηχανικός στην IBM Research και συνιδρυτής και κύριος συντηρητής του llm-d, δήλωσε ότι η έκδοση 1.0 προσθέτει την απαιτούμενη ωριμότητα ώστε το llm-d να λειτουργεί όπως κάθε άλλη κρίσιμη υπηρεσία. Ως παραδείγματα ανέφερε ένα σταθερό API, τη συνύπαρξη πολλών μισθωτών με ανταγωνιστικές προτεραιότητες στην ίδια υποδομή και αναβαθμίσεις που δεν διακόπτουν τη λειτουργία.

Τι προσθέτει η έκδοση 1.0

Οι σημειώσεις έκδοσης v1.0.0 του έργου, που δημοσιεύτηκαν στο GitHub στις 20 Οκτωβρίου 2026 με υπογεγραμμένες και επαληθευμένες ετικέτες, δίνουν έμφαση στην ποιότητα υπηρεσίας για πολλούς μισθωτές: στον έλεγχο ροής που λαμβάνει υπόψη τις προτεραιότητες και τη δικαιοσύνη, με ελεγχόμενη απόρριψη φορτίου, η οποία περιλαμβάνει πιθανοτικό μηχανισμό αποδοχής, δικαιοσύνη με επίγνωση των προγραμμάτων και βαθμολόγηση προτεραιότητας σειράς. Έτσι, αιτήματα ευαίσθητα στην καθυστέρηση και εκρηκτοί φόρτοι εργασίας πρακτόρων μπορούν να χρησιμοποιούν την ίδια συστοιχία χωρίς, υπό συνθήκες υπερφόρτωσης, να στερούν πόρους το ένα από το άλλο. Οι ρυθμίσεις ελέγχου ροής συγκεντρώνονται σε ένα ενιαίο πεδίο flowControl.

Για λειτουργία χωρίς διακοπές, ο δρομολογητής αποκτά υψηλή διαθεσιμότητα με εφεδρική λειτουργία άμεσης μετάβασης και ασφαλείς σταδιακές ενημερώσεις, ενώ ένας ελεγκτής DisaggregatedSet διαχειρίζεται τα αντίγραφα του prefill και του decode ως ενιαία λογική μονάδα, με συντονισμένες αναπτύξεις, αναβαθμίσεις σε συγχρονισμό, έλεγχο ετοιμότητας βάσει στιγμιότυπου Pod και εγγενή δρομολόγηση αναθεωρήσεων. Το API ρυθμίσεων του δρομολογητή περνά στην έκδοση v1, το Responses API υποστηρίζει το previous_response_id και η διαδρομή αιτημάτων του επιλογέα τελικού σημείου έχει ενισχυθεί ως προς την αξιοπιστία, την απόδοση και την επεκτασιμότητα. Περιλαμβάνεται οδηγός επιταχυντών με επίγνωση της τοπολογίας για τα DRA και DRANET.

Η εξυπηρέτηση με επίγνωση των πρακτόρων προσθέτει ένα πρόσθετο session-state-producer και εξελισσόμενη συνάφεια συνεδρίας, ώστε οι συνομιλίες πολλών γύρων να παραμένουν κοντά στο αποθηκευμένο στην κρυφή μνήμη περιεχόμενό τους, καθώς και προγραμματισμό με προτεραιότητα σειράς και κατάσταση του Responses API, για να βοηθά τους πράκτορες να επαναχρησιμοποιούν το περιεχόμενο μεταξύ των γύρων. Η έκδοση εναρμονίζει τα στοιχεία του έργου στην v1.0.0, προσθέτει στοιχεία του οικοσυστήματος, μεταξύ των οποίων ενσωμάτωση με το ai-dynamo/modelexpress για φόρτωση βαρών μοντέλων από ομότιμο σε ομότιμο, το πακέτο llm-d-api-extensions και τα εργαλεία διαγνωστικού ελέγχου llm-d-pd-utils, και καταργεί σταδιακά τις δικές του εκδόσεις εικόνων κοντέινερ llm-d-rocm. Οι εικόνες διακομιστών μοντέλων περιλαμβάνουν εκδόσεις vLLM και SGLang για διαφορετικούς τύπους επιταχυντών, ενώ ο οδηγός αποσύνδεσης prefill/decode απαιτεί πλέον LeaderWorkerSet v0.11.1 ή νεότερη έκδοση, με ενεργοποιημένο το API DisaggregatedSet.

Βασικές τεχνικές και έλεγχος ροής

Από την έναρξή του, το έργο έχει εστιάσει σε πέντε προσεγγίσεις για τη βελτίωση του συμπερασμού: δρομολόγηση με επίγνωση της κρυφής μνήμης προθεμάτων, η οποία κατευθύνει ένα αίτημα σε υποδομή που ενδέχεται να διαθέτει ήδη το κοινό περιεχόμενό του· εκφόρτωση της κρυφής μνήμης KV, η οποία μεταφέρει αποθηκευμένες πληροφορίες μεταξύ πόρων GPU, CPU και αποθήκευσης· βελτιστοποίηση της συμπερασματολογίας κατά δέσμες· αποσύνδεση prefill/decode, η οποία διαχωρίζει την ανάγνωση μιας προτροπής από τη δημιουργία απάντησης· και ευρύ παραλληλισμό ειδικών, ο οποίος κατανέμει μεγάλα μοντέλα μείγματος ειδικών σε πολλούς επιταχυντές. Οι τεχνικές αυτές προϋπήρχαν της έκδοσης 1.0· σύμφωνα με την IBM, το νέο στοιχείο είναι η ενσωμάτωση και η επιχειρησιακή ωριμότητα που τις πλαισιώνουν, καθώς και η πειθαρχία λειτουργίας δεύτερης ημέρας: η διατήρηση της απόδοσης όταν αλλάζει η κίνηση, παρουσιάζονται βλάβες υλικού, ενημερώνεται το λογισμικό ή διαφορετικοί χρήστες ανταγωνίζονται για τους ίδιους πόρους.

Στην έκδοση 1.0, ο έλεγχος ροής, η δικαιοσύνη και η ιεράρχηση προτεραιοτήτων αποσκοπούν στο να εμποδίζουν τους εκρηκτικούς φόρτους εργασίας να υπερφορτώνουν υπηρεσίες ευαίσθητες στην καθυστέρηση, είτε οι φόρτοι εργασίας χρησιμοποιούν το ίδιο υλικό είτε εκτείνονται σε συνδυασμό επιταχυντών. Παράλληλα, τα αιτήματα μπορούν να παραμένουν δεσμευμένα στην κατάλληλη υποδομή για πολλούς γύρους, ώστε οι κρυφές μνήμες προθεμάτων να διατηρούνται ενεργές. Το llm-d λειτουργεί με μηχανές συμπερασμού όπως οι vLLM και SGLang, προσθέτοντας κατανεμημένη δρομολόγηση και επιχειρησιακές δυνατότητες. Ο Stephen Watt, αντιπρόεδρος στο γραφείο του τεχνικού διευθυντή της Red Hat, δήλωσε ότι το llm-d ενοποιεί τα οικοσυστήματα PyTorch και CNCF, φέρνοντας τον εγγενή στο Kubernetes συντονισμό απευθείας στα vLLM και στις σύγχρονες μηχανές συμπερασμού.

Αποτελέσματα που παρουσιάστηκαν και αναφερόμενο κόστος

Σε μια ανάρτηση με αποτελέσματα συγκριτικής αξιολόγησης, που δημοσιεύτηκε στις 22 Ιουλίου 2026, το έργο μέτρησε την εξυπηρέτηση με χρήση πρακτόρων του GLM-5.2, το οποίο περιγράφεται εκεί ως μοντέλο αρχιτεκτονικής μείγματος ειδικών, με 744 δισ. παραμέτρους, 39 δισ. ενεργές παραμέτρους και 78 επίπεδα. Η ανάλυση του φόρτου εργασίας βασίστηκε σε 219 συνεδρίες παραγωγικής χρήσης του Claude Code, στις οποίες το διάμεσο αίτημα του κύριου πράκτορα περιείχε 195 χιλιάδες tokens εισόδου και επέστρεφε 317 tokens εξόδου, ενώ στο 96% των γύρων του κύριου πράκτορα επαναχρησιμοποιούνταν τουλάχιστον το 90% των δεδομένων εισόδου. Σύμφωνα με την ανάρτηση, η δρομολόγηση με επίγνωση προθεμάτων αξιοποίησε το 96–97% της επαναχρησιμοποίησης της κρυφής μνήμης που επέτρεπε ο φόρτος εργασίας. Με υποθετική τιμή ενοικίασης H200 2,71 $ ανά ώρα GPU, η ανάρτηση υπολογίζει ότι η αυτοφιλοξενούμενη εξυπηρέτηση σε δύο διατάξεις των 64 GPU κοστίζει από 0,05 $ έως 0,08 $ ανά εκατομμύριο tokens εισόδου και από 1,92 $ έως 3,55 $ ανά εκατομμύριο tokens εξόδου· οι συντάκτες δηλώνουν ότι τα ποσά αυτά καλύπτουν μόνο την ενοικίαση των GPU και προϋποθέτουν διαρκή φόρτο.

Σε ξεχωριστή επίδειξη, οι IBM και Red Hat ανέπτυξαν το GLM-5.2 —το οποίο, σύμφωνα με την περιγραφή της IBM Research, είναι μοντέλο ανοικτών βαρών με περίπου 753 δισεκατομμύρια παραμέτρους και περίπου 39 δισεκατομμύρια ενεργές παραμέτρους— σε 544 GPU NVIDIA H100. Η IBM αναφέρει ότι η ανάπτυξη απέδωσε, σε ώρες αιχμής, περισσότερα από 6,6 εκατομμύρια tokens εξόδου ανά λεπτό, εξυπηρετώντας έως και 3.000 ταυτόχρονους πράκτορες προγραμματισμού χωρίς προεκτοπίσεις, καθώς και ότι σε σημείο λειτουργίας με 2.500 πράκτορες διατηρήθηκε ρυθμός 7.612 αιτημάτων ανά λεπτό. Η IBM δηλώνει ότι, με τις τρέχουσες τιμές ενοικίασης στο cloud, η αυτοφιλοξενία του GLM-5.2 σε GPU H100 με το llm-d κοστίζει 5 έως 10 φορές λιγότερο ανά token από την αντίστοιχη τιμολόγηση εμπορικών API. «Η εξυπηρέτηση χιλιάδων ταυτόχρονων πρακτόρων χωρίς προεκτοπίσεις προσφέρει στους διαχειριστές έναν αξιόπιστο τρόπο μετάβασης από ένα αποτέλεσμα συγκριτικής αξιολόγησης σε μια παραγωγική ανάπτυξη», δήλωσε ο Maroon Ayoub, ανώτερος κύριος μηχανικός μηχανικής μάθησης στην ομάδα μηχανικής συμπερασμού της Red Hat.

Σύμφωνα με την ίδια περιγραφή, το διαχωρισμένο επίπεδο δεδομένων ολοκλήρωσε 6,2 εκατομμύρια μεταφορές κρυφής μνήμης KV, με μέσο όρο 2,71 GiB ανά μεταφορά και χωρίς αποτυχίες μεταφοράς, ενώ όλες οι δοκιμές συγκριτικής αξιολόγησης ολοκληρώθηκαν χωρίς σφάλματα εξυπηρέτησης.