Η Lambda ετοιμάζει τον προγραμματιστή Run:ai ανοιχτού κώδικα για την υπηρεσία Kubernetes

Η Lambda δήλωσε στις 13 Οκτωβρίου 2026 ότι συνεργάζεται με τη NVIDIA, ώστε ο προγραμματιστής GPU Run:ai, που διατίθεται πλέον ως λογισμικό ανοιχτού κώδικα, να γίνει βασική διαχειριζόμενη επιλογή στο Lambda Kubernetes Service (LKS), στο πλαίσιο μιας σχεδιαζόμενης συλλογής προγραμματιστών που θα διατίθενται ως διαχειριζόμενα στοιχεία.

Το σχέδιο παρουσιάστηκε σε ανάρτηση στο ιστολόγιο της Lambda στις 13 Οκτωβρίου 2026. «Χαιρετίζουμε την απόφαση της NVIDIA να διαθέσει το Run:ai ως λογισμικό ανοιχτού κώδικα και εργαζόμαστε ώστε να γίνει βασική επιλογή στο Lambda Kubernetes Service (LKS)», δήλωσε η εταιρεία. Η Lambda ανέφερε ότι υποστηρίζει το Run:ai στις υποδομές της από το 2022 και περιέγραψε τον στόχο της ως τη διευκόλυνση της υιοθέτησης και της λειτουργίας των δυνατοτήτων του Run:ai μέσω του LKS, ώστε οι ομάδες να έχουν μεγαλύτερο έλεγχο στον τρόπο κατανομής και κοινής χρήσης της χωρητικότητας GPU.

Η NVIDIA διέθεσε τον προγραμματιστή ως λογισμικό ανοιχτού κώδικα το 2025

Η NVIDIA ανακοίνωσε τη διάθεση του KAI Scheduler ως λογισμικού ανοιχτού κώδικα στις 1 Απριλίου 2025, με άδεια Apache 2.0. Πρόκειται για λύση προγραμματισμού GPU εγγενή στο Kubernetes, η οποία αναπτύχθηκε αρχικά στο πλαίσιο της πλατφόρμας Run:ai, σύμφωνα με την ανακοίνωση της NVIDIA. Η NVIDIA δήλωσε ότι ο προγραμματιστής εξακολουθεί να διατίθεται ως μέρος της πλατφόρμας NVIDIA Run:ai.

Σύμφωνα με τη NVIDIA, ο προγραμματιστής επανυπολογίζει συνεχώς τις τιμές δίκαιης κατανομής και προσαρμόζει ποσοστώσεις και όρια σε πραγματικό χρόνο, συνδυάζοντας τον προγραμματισμό ολόκληρης ομάδας εργασιών, την κοινή χρήση GPU και την ιεραρχική τοποθέτηση σε ουρές. Παράλληλα, ένας ενσωματωμένος μηχανισμός ομαδοποίησης pod συνδέει αυτόματα τους φόρτους εργασίας με πλαίσια όπως τα Kubeflow, Ray, Argo και Training Operator. Η NVIDIA περιγράφει έναν κύκλο προγραμματισμού που καταγράφει ένα στιγμιότυπο του συμπλέγματος Kubernetes, υπολογίζει τη δίκαιη κατανομή για κάθε ουρά μέσω των φάσεων της δικαιούμενης ποσόστωσης και της υπέρβασης ποσόστωσης και, στη συνέχεια, εφαρμόζει ενέργειες κατανομής, ενοποίησης, ανάκτησης και προεκτόπισης, ώστε οι τρέχουσες κατανομές να ευθυγραμμιστούν με την υπολογισμένη κατάσταση.

Κοινή χρήση GPU και προγραμματισμός ποσοστώσεων στο Run:ai

Η Lambda περιέγραψε τις διαφορετικές απαιτήσεις που έχει η ανάπτυξη τεχνητής νοημοσύνης από τις GPU: οι συνεδρίες εντοπισμού σφαλμάτων μπορεί να χρειάζονται μόνο ένα μέρος μιας GPU, οι αξιολογήσεις μπορεί να επεκτείνονται σε πολλές ανεξάρτητες εργασίες, ενώ η κατανεμημένη εκπαίδευση μπορεί να απαιτεί ταυτόχρονα μεγάλο αριθμό στενά διασυνδεδεμένων GPU, με τις απαιτήσεις να μεταβάλλονται καθώς η εργασία περνά από τις αρχικές ιδέες στα πειράματα και έπειτα στην παραγωγή. Όταν οι μικρές εργασίες λαμβάνουν ολόκληρες GPU, οι ερευνητές περιμένουν ενώ η δεσμευμένη χωρητικότητα μένει αχρησιμοποίητη, και οι ομάδες μπορεί να διαπιστώσουν ότι τα πειράματά τους καθυστερούν επειδή προηγούνται οι δεσμευμένες αλλά ανενεργές GPU μιας άλλης ομάδας.

Όπως το περιγράφει η Lambda, το Run:ai είναι ένας προγραμματιστής GPU για το Kubernetes που υπερβαίνει τις δυνατότητες του προεπιλεγμένου προγραμματιστή Kubernetes με δύο τρόπους: μέσω της κοινής χρήσης GPU, η οποία επιτρέπει την εκτέλεση περισσότερων από ενός φόρτων εργασίας σε μία GPU, και μέσω του προγραμματισμού βάσει ποσοστώσεων, ο οποίος εγγυάται σε κάθε ομάδα μια κατανομή, επιτρέποντας παράλληλα στις ομάδες να δανείζονται αχρησιμοποίητη χωρητικότητα η μία από την άλλη.

Η τεκμηρίωση της NVIDIA για τα κλάσματα GPU αναφέρει ότι τα κλάσματα χωρίζουν τη μνήμη της GPU σε μικρότερα τμήματα, τα οποία μπορούν να μοιράζονται πολλοί φόρτοι εργασίας. Το μέγεθος μνήμης που ζητά κάθε φόρτος εργασίας επιβάλλεται, ώστε να μην μπορεί να υπερβεί το αίτημά του ούτε να καταλάβει μνήμη άλλου φόρτου εργασίας. Κάθε pod λαμβάνει τον δικό του ξεχωριστό χώρο διευθύνσεων εικονικής μνήμης, μια διάταξη που η τεκμηρίωση αποκαλεί «λογική GPU».

Σύμφωνα με την τεκμηρίωση, τα κλάσματα χρησιμοποιούν από προεπιλογή τον χρονικό επιμερισμό της NVIDIA για την κοινή χρήση των υπολογιστικών πόρων της GPU. Τα κλάσματα πολλαπλών GPU κατανέμουν το ίδιο μέγεθος κλάσματος σε πολλές GPU μέσα σε έναν κόμβο: για παράδειγμα, σε ένα μοντέλο που χρησιμοποιεί 8 GPU και χρειάζεται 40GB μνήμης ανά GPU μπορεί να κατανεμηθούν 8×40GB αντί για ολόκληρη τη μνήμη κάθε GPU, αφήνοντας 40GB σε κάθε GPU διαθέσιμα για άλλους φόρτους εργασίας στον συγκεκριμένο κόμβο. Η τεκμηρίωση επισημαίνει ότι τα κλάσματα GPU και η λειτουργία Multi-Instance GPU (MIG) δεν μπορούν να χρησιμοποιηθούν στον ίδιο κόμβο.

Η τεκμηρίωση της NVIDIA για τις έννοιες του προγραμματιστή αναφέρει ότι σε κάθε νέο pod ανατίθεται μια ομάδα pod και ότι ο προγραμματισμός ολόκληρης ομάδας εργασιών σημαίνει πως ένας φόρτος εργασίας που αποτελείται από πολλά pod είτε προγραμματίζεται πλήρως είτε παραμένει εξ ολοκλήρου σε αναμονή. Δημιουργείται ουρά προγραμματισμού για κάθε έργο και τμήμα ανά ομάδα κόμβων· οι δικαιούμενες ποσοστώσεις θέτουν όρια στους φόρτους εργασίας που δεν υπόκεινται σε προεκτόπιση, ενώ οι πόροι πέραν της ποσόστωσης είναι διαθέσιμοι μόνο σε φόρτους εργασίας που υπόκεινται σε προεκτόπιση. Ο προγραμματιστής υπολογίζει μια τιμή δίκαιης κατανομής για κάθε έργο και τμήμα ανά ομάδα κόμβων και, όταν μια ουρά βρίσκεται κάτω από τη δίκαιη κατανομή της ενώ μια άλλη την υπερβαίνει, μεταφέρει πόρους μεταξύ των ουρών για να εξισορροπήσει την κατανομή· αυτή η διαδικασία μπορεί να προεκτοπίσει φόρτους εργασίας που υπόκεινται σε προεκτόπιση και υπερβαίνουν την ποσόστωσή τους. Μπορεί επίσης να ανακτά πόρους μεταξύ έργων και τμημάτων, ενώ οι διαχειριστές μπορούν να ορίζουν στρατηγικές τοποθέτησης είτε με συμπαγή συσκευασία είτε με διασπορά, ανά ομάδα κόμβων.

Αυτόματη αποκατάσταση κόμβων στο LKS

Η Lambda επισήμανε ότι τόσο η κοινή χρήση όσο και η προεκτόπιση προϋποθέτουν ότι η GPU από κάτω λειτουργεί σωστά, κάτι που δεν είναι δεδομένο σε μεγάλη κλίμακα: οι επιταχυντές παρουσιάζουν σφάλματα XID, οι σύνδεσμοι NVLink και PCIe υποβαθμίζονται, οι γραμμές μνήμης αναχαρτογραφούνται και οι θύρες InfiniBand πέφτουν κάτω από τον αναμενόμενο ρυθμό τους. Ένας προγραμματιστής δεν μπορεί να διακρίνει μια GPU που λειτουργεί σωστά από μία που παρουσιάζει βλάβη, με αποτέλεσμα να συνεχίζει να στέλνει εργασίες σε έναν κόμβο που τις απορρίπτει.

Η Lambda δήλωσε ότι η αυτόματη αποκατάσταση διατίθεται ήδη στο LKS. Η εταιρεία ανέφερε ότι παρακολουθεί κάθε κόμβο για τέτοιου είδους βλάβες και εμφανίζει καθεμία ως τυπική κατάσταση κόμβου του Kubernetes· όταν ενεργοποιείται μια τέτοια κατάσταση, ο κόμβος αποκλείεται από την ανάθεση νέων εργασιών, οι εργασίες που εκτελούνται απομακρύνονται και η βλάβη είτε διορθώνεται αυτόματα είτε παραπέμπεται για επισκευή υλικού. Ο κόμβος επανέρχεται σε λειτουργία μόνο αφού επαληθευτεί ξανά.

Η τεκμηρίωση της Lambda για το διαχειριζόμενο Kubernetes περιγράφει την υπηρεσία ως περιβάλλον Kubernetes με υποστήριξη GPU και InfiniBand (RDMA), καθώς και κοινόχρηστο μόνιμο αποθηκευτικό χώρο σε όλους τους κόμβους ενός 1-Click Cluster. Τα NVIDIA GPU Operator και NVIDIA Network Operator είναι προεγκατεστημένα, ενώ η υπηρεσία εκτελεί συνεχή επικύρωση για να επιβεβαιώνει ότι οι GPU, η δικτύωση και ο αποθηκευτικός χώρος λειτουργούν σωστά, παράλληλα με την αυτοματοποιημένη αποκατάσταση κόμβων για τον εντοπισμό και την αντιμετώπιση προβλημάτων υλικού.

Ο οδικός χάρτης της βιβλιοθήκης διαχειριζόμενων συστημάτων χρονοδρομολόγησης

Η Lambda περιέγραψε τον προγραμματισμό GPU ως το επίπεδο που επιλέγει συνειδητά να αφήσει ανοιχτό και ανέφερε ότι το LKS θα στραφεί στη συνέχεια προς αυτό που αποκαλεί βιβλιοθήκη λογισμικού τεχνητής νοημοσύνης: συστήματα χρονοδρομολόγησης που εκτελούνται σε Kubernetes, μεταξύ των οποίων τα Slurm και Run:ai, τα οποία διατίθενται ως διαχειριζόμενα στοιχεία που η Lambda επικυρώνει στο δικό της υλικό και διατηρεί ενημερωμένα, αντί να τα συναρμολογούν οι πελάτες μόνοι τους από διαγράμματα Helm. Το Run:ai αποτελεί βασικό προορισμό αυτής της βιβλιοθήκης και η Lambda ανέφερε ότι συνεργάζεται με την NVIDIA για να το πετύχει.

Σύμφωνα με τη Lambda, η διάθεση του λογισμικού ως ανοιχτού κώδικα καθιστά δυνατή αυτή την προσέγγιση: η εταιρεία μπορεί να ενσωματώνει, να δοκιμάζει και να συντηρεί το Run:ai μέσα στο ίδιο το LKS, αντί να δίνει στους πελάτες ένα σύνολο οδηγιών ενσωμάτωσης. Η Lambda ανέφερε ότι επιδιώκει μια έτοιμη προς χρήση ενσωμάτωση, αναλαμβάνοντας η ίδια τη συσκευασία, την επικύρωση και τη συνεχή λειτουργία.

Η Lambda, η οποία παράγει και δική της έρευνα ανοιχτού τύπου, ανέφερε ότι εκτιμά τη δυνατότητα να εξετάζει, να προσαρμόζει και να βελτιώνει τα εργαλεία από τα οποία εξαρτάται, και περιέγραψε την απόφαση της NVIDIA ως επέκταση αυτής της ελευθερίας και στην ενορχήστρωση.