Η Databricks διαθέτει πλέον γενικά το AI Runtime για εκπαίδευση σε GPU

Στις 21 Οκτωβρίου 2026, η Databricks ανακοίνωσε τη γενική διαθεσιμότητα του AI Runtime (AIR), μιας πλήρως διαχειριζόμενης πλατφόρμας GPU χωρίς διακομιστές, ενσωματωμένης στο Databricks Lakehouse, για την εκπαίδευση και τη βελτιστοποίηση μοντέλων βαθιάς μάθησης με εταιρικά δεδομένα.

Η Databricks δήλωσε ότι εκατοντάδες εταιρείες, μεταξύ των οποίων οι Robinhood, PicPay, Merck, Flo Health, TinyFish και FactSet, χρησιμοποιούν ήδη το AIR για να εκπαιδεύουν μοντέλα βαθιάς μάθησης και να τα θέτουν σε παραγωγική λειτουργία, για εφαρμογές στους τομείς της υγειονομικής περίθαλψης, της μεταποίησης και των παραγόντων που απευθύνονται στους καταναλωτές. Η εταιρεία ανέφερε ότι η δική της ομάδα Databricks AI Research χρησιμοποιεί την πλατφόρμα για να εκπαιδεύει τα μοντέλα πίσω από τα KARL και AI Parse, ενώ σημείωσε ότι το AIR έχει δοκιμαστεί στην πράξη σε περισσότερες από 100.000 GPU-ώρες εκπαιδευτικών εκτελέσεων.

Η εταιρεία παρουσίασε την κυκλοφορία ως απάντηση στο πρόβλημα των ομάδων τεχνητής νοημοσύνης που αφιερώνουν περισσότερο χρόνο στην εξασφάλιση χωρητικότητας GPU, στη διαχείριση αστοχιών και στην αναμονή για την εκκίνηση πειραμάτων παρά στη βελτίωση των μοντέλων τους. Σύμφωνα με την ανακοίνωση, η λειτουργία υποδομών GPU χωριστά από το Lakehouse δημιουργεί κενά στη διακυβέρνηση και θέτει σε κίνδυνο ευαίσθητα δεδομένα εκπαίδευσης.

Διαχειριζόμενη υποδομή GPU

Η Databricks αναλαμβάνει την προμήθεια GPU, τη διαμόρφωση συμπλεγμάτων και τη διαχείριση δικτύων, ώστε οι πελάτες να μπορούν να ξεκινήσουν την εκπαίδευση χωρίς να λειτουργούν οι ίδιοι μια πλήρη πλατφόρμα GPU. Η εταιρεία δήλωσε ότι εκτελεί δεκάδες ελέγχους υγείας GPU και δικτύου πριν και κατά τη διάρκεια της εκπαίδευσης, ώστε οι φόρτοι εργασίας να μπορούν να κλιμακώνονται αξιόπιστα σε εκατοντάδες GPU· η πλατφόρμα επικυρώνει τις GPU πριν από τον προγραμματισμό τους, παρακολουθεί συνεχώς τους ενεργούς φόρτους εργασίας και ελέγχει περιοδικά τις αδρανείς GPU, για να εντοπίζει και να αφαιρεί μη υγιείς κόμβους.

Το AIR μεταφέρει τα δεδομένα εκπαίδευσης μέσω ενσωματωμένων εργαλείων φόρτωσης που τα μεταδίδουν σε ροή και τα αποθηκεύουν προσωρινά, μειώνοντας τον χρόνο αναμονής των εργασιών για λειτουργίες εισόδου/εξόδου. Ένα συνοδευτικό εργαλείο, το UCVolumeDataset, έχει σχεδιαστεί για να αυξάνει τη διεκπεραιωτική ικανότητα δεδομένων χωρίς να απαιτείται προσαρμοσμένη διαδικασία φόρτωσης. Οι χρήστες μπορούν να αποκτούν πρόσβαση στις GPU μέσω διεπαφής γραμμής εντολών ή να εργάζονται διαδραστικά σε σημειωματάρια και ολοκληρωμένα περιβάλλοντα ανάπτυξης (IDE). Η Databricks δήλωσε ότι για την εκτέλεση του πρώτου φόρτου εργασίας αρκεί μία εντολή CLI και ότι η λειτουργία AIR Skills μεταφέρει φόρτους εργασίας από συμπλέγματα Kubernetes ή SLURM με μία προτροπή σε φυσική γλώσσα.

Το AIR ενσωματώνεται εγγενώς με το Lakeflow, το προϊόν της εταιρείας για τον συντονισμό αγωγών δεδομένων, ώστε οι φόρτοι εργασίας GPU να παραμένουν συγχρονισμένοι με τις προηγούμενες και τις επόμενες αγωγές. Σύμφωνα με την ανακοίνωση, για τη μεταφορά ενός φόρτου εργασίας σε περιβάλλον παραγωγής απαιτούνται μερικές επιπλέον γραμμές YAML. Η ανακοίνωση περιέγραψε επίσης ενσωματωμένους ελέγχους προτεραιότητας και προεκτόπισης, οι οποίοι ελαχιστοποιούν τον χρόνο αδράνειας των GPU, καθώς και παρακολούθηση μέσω εργαλείων όπως το Genie ZeroOps. Η σελίδα προϊόντος του AI Runtime αναφέρει GPU NVIDIA διαθέσιμες κατόπιν ζήτησης με χωρητικότητα σε πολλές περιοχές, κατανεμημένη εκπαίδευση σε πολλές GPU και κόμβους με διαχειριζόμενη δικτύωση RDMA, βελτιστοποιημένη αποθήκευση σημείων ελέγχου για εργασίες μεγάλης διάρκειας και υποστήριξη προσαρμοσμένων κοντέινερ Docker, συμπεριλαμβανομένων των κοντέινερ NVIDIA NGC.

Ο Kostia Omelianchuk, επιστήμονας εφαρμοσμένης έρευνας και επικεφαλής τεχνολογίας τομέα στη Superhuman, δήλωσε στην ανακοίνωση ότι η πλατφόρμα επέτρεψε στην ομάδα του να μεταφέρει την εκπαίδευση μεγάλης κλίμακας από έναν κόμβο με οκτώ GPU A100 σε 16 GPU H100 κατανεμημένες σε πολλούς κόμβους. Ο χρόνος εκπαίδευσης μειώθηκε από περίπου επτά ημέρες σε 48 ώρες, κάτι που, όπως ανέφερε, αντιστοιχεί σε 3,5 φορές μεγαλύτερη ταχύτητα.

Εκκινήσεις και εντοπισμός σφαλμάτων σε δευτερόλεπτα

Η Databricks δήλωσε ότι το AIR προσφέρει καθυστέρηση εκκίνησης της τάξης των δευτερολέπτων, ακόμη και σε μεγάλα συμπλέγματα με RDMA και δεκάδες GPU. Η υπηρεσία χρησιμοποιεί θερμές δεξαμενές GPU χωρίς διακομιστές και τεμπέλικη φόρτωση εικόνων, ξεκινώντας τους φόρτους εργασίας σε δευτερόλεπτα, ενώ τα υπόλοιπα δεδομένα εικόνας φορτώνονται στο παρασκήνιο. Οι χρήστες μπορούν να εκτελούν προκατασκευασμένα περιβάλλοντα ή να χρησιμοποιούν τα δικά τους κοντέινερ, ενώ χάρη στην προσωρινή αποθήκευση περιβαλλόντων, αυτά δημιουργούνται μόνο μία φορά. Η εταιρεία περιέγραψε το AIR ως συμβατό με όλα τα κύρια πλαίσια εργασίας και η σελίδα προϊόντος αναφέρει τα PyTorch και Ray μεταξύ των υποστηριζόμενων επιλογών.

Η Databricks δήλωσε ότι μια νέα εμπειρία παρατηρησιμότητας στο εργαλείο παρακολούθησης πειραμάτων MLflow μεταδίδει αρχεία καταγραφής λίγα δευτερόλεπτα μετά την υποβολή μιας εκτέλεσης, όταν οι χρήστες προσθέτουν τη σημαία watch σε μια εντολή AIR, ενώ ένα νέο πρόγραμμα προβολής αρχείων καταγραφής έχει σχεδιαστεί ειδικά για εκπαίδευση σε πολλούς κόμβους. Το Genie Code είναι ενσωματωμένο σε όλη την εμπειρία και διαθέτει προεγκατεστημένες δεξιότητες παραγόντων για τον εντοπισμό σφαλμάτων και τη βελτιστοποίηση της απόδοσης εκπαίδευσης σε GPU. Η εταιρεία ανέφερε ότι αυτές οι δεξιότητες αξιοποιούν γνώσεις από τις ομάδες έρευνας και απόδοσής της, μεταξύ άλλων τον τρόπο με τον οποίο μείωσε κατά 6 φορές τον χρόνο εκπαίδευσης του Qwen στο AIR.

Ο Joe Tyler, επικεφαλής ερευνητής τεχνητής νοημοσύνης στη Sonar, δήλωσε ότι οι μηχανικοί έρευνας εκεί χρησιμοποίησαν το AIR για να δημιουργήσουν αγωγούς εκπαίδευσης LLM και να δοκιμάζουν γρήγορα υποθέσεις, έχοντας εικόνα για κάθε στάδιο της διαδικασίας. Ο Nikhil Sunderraj, κύριος μηχανικός μηχανικής μάθησης στη FactSet, δήλωσε ότι ο χρόνος που απαιτούνταν για τη ρύθμιση, την εκπαίδευση και την ανάπτυξη ενός προσαρμοσμένου μοντέλου Text To Formula μειώθηκε από ημέρες σε ώρες.

Ασφάλεια, διακυβέρνηση και πρώτα βήματα

Η Databricks δήλωσε ότι το AIR λειτουργεί εντός της περιμέτρου διακυβέρνησης της Databricks και του Unity Catalog, το οποίο επιβάλλει συνεπή δικαιώματα ανάγνωσης και εγγραφής για την πρόσβαση σε δεδομένα, σημεία ελέγχου και αρχεία καταγραφής των φόρτων εργασίας GPU. Η εταιρεία ανέφερε ότι το AIR παρέχει απομόνωση σε επίπεδο εικονικής μηχανής, αντί για μηχανισμούς απομόνωσης που εκθέτουν τον πυρήνα του κεντρικού συστήματος, και ότι υποστηρίζει το PrivateLink και ελέγχους εξερχόμενης κίνησης χωρίς διακομιστές, αξιοποιώντας τις επενδύσεις της στην ασφάλεια χωρίς διακομιστές. Η ανακοίνωση επικαλέστηκε το περιστατικό OpenAI Hugging Face ως ένδειξη των κινδύνων που συνεπάγεται η διαχείριση υποδομών GPU χωριστά από τα εταιρικά δεδομένα που υπόκεινται σε διακυβέρνηση.

Η χρήση του AIR και το κόστος του εμφανίζονται στους πίνακες του συστήματος χρέωσης της Databricks, μαζί με άλλους φόρτους εργασίας της Databricks, ενώ οι εγγραφές χρήσης ανά φόρτο εργασίας δείχνουν ποιες εκπαιδεύσεις καταναλώνουν τον προϋπολογισμό για GPU.

Ο Robert Macy III, μηχανικός μηχανικής μάθησης στη Robinhood, δήλωσε ότι το AIR βοηθά τις ομάδες του να περνούν ταχύτερα από τον πειραματισμό στην εκπαίδευση, με ενσωματωμένη διακυβέρνηση και ελέγχους δεδομένων. Ο Eran Barash, αντιπρόεδρος τεχνητής νοημοσύνης και μηχανικής μάθησης στην QuantHealth, δήλωσε ότι η ομάδα του κλιμακώνει την κατανεμημένη εκπαίδευση σε GPU χωρίς διακομιστή, επεξεργαζόμενη εκατομμύρια εγγραφές στο πλαίσιο των υφιστάμενων ροών εργασίας δεδομένων. Ο Zach Richardson, επικεφαλής τεχνητής νοημοσύνης στην TinyFish, δήλωσε ότι η ομάδα του μπορεί να εκπαιδεύει μοντέλα σε GPU, να αξιολογεί τα αποτελέσματα με το MLflow και να διαθέτει το μοντέλο της εταιρείας για τον ιστό χωρίς να δημιουργεί ξεχωριστή υποδομή για κάθε στάδιο.

Η Databricks παρέπεμψε τους νέους χρήστες σε έναν οδηγό γρήγορης εκκίνησης, πρότυπα σημειωματάρια και οδηγούς για αρχάριους, καθώς και σε ένα αποθετήριο ai-runtime-cookbook στο GitHub, το οποίο μπορεί να κλωνοποιηθεί και, σύμφωνα με την εταιρεία, επιτρέπει την εκκίνηση του πρώτου φόρτου εργασίας GPU με μία εντολή CLI. Η εταιρεία παρέπεμψε τους πελάτες στις ομάδες διαχείρισης των λογαριασμών τους για περισσότερες πληροφορίες.