Κρίστιαν Στάνο, Field CTO στην Anyscale — Σειρά συνεντεύξεων

Κρίστιαν Στάνο, Field CTO στην Anyscale, έχει χτίσει την καριέρα του στο πεδίο όπου συναντώνται η υποδομή τεχνητής νοημοσύνης μεγάλης κλίμακας, οι πλατφόρμες μηχανικής μάθησης και η κατανεμημένη υπολογιστική. Πριν ενταχθεί στην Anyscale, ηγήθηκε του τμήματος πλατφορμών AI/ML στην Attentive. Εκεί κλιμάκωσε την υποδομή εξατομίκευσης για περισσότερους από μισό δισεκατομμύριο συνδρομητές και προώθησε την υιοθέτηση ενοποιημένων συστημάτων υπολογισμού με βάση το Ray, τα οποία επιτάχυναν την ανάπτυξη και μείωσαν το λειτουργικό κόστος. Νωρίτερα εργάστηκε στην κυβερνοασφάλεια, στην αρχιτεκτονική cloud και σε πρωτοβουλίες AI του δημόσιου τομέα σε οργανισμούς όπως οι Coalfire και Deloitte, συμβάλλοντας σε μία από τις πρώτες πλατφόρμες μηχανικής μάθησης του Υπουργείου Άμυνας των ΗΠΑ. Η εμπειρία του καλύπτει τη μηχανική πλατφορμών AI, το MLOps, υποδομές σχεδιασμένες για το cloud, την υποστήριξη προγραμματιστών και την επέκταση οργανισμών. Έτσι έχει αποκτήσει βαθιά εμπειρία στην υποστήριξη επιχειρήσεων που θέλουν να θέσουν την AI σε παραγωγική λειτουργία μεγάλης κλίμακας.

Anyscale είναι η εταιρεία πίσω από το Ray, το πλαίσιο κατανεμημένων υπολογισμών ανοικτού κώδικα που χρησιμοποιείται ευρέως για την κλιμάκωση φόρτων εργασίας AI και Python σε συστοιχίες CPU και GPU. Ιδρύθηκε από τους αρχικούς δημιουργούς του Ray στο RISELab του UC Berkeley. Η εταιρεία απλοποιεί την εγκατάσταση, την ενορχήστρωση και τη διαχείριση υποδομής AI μεγάλης κλίμακας για εκπαίδευση, εξαγωγή συμπερασμάτων, επεξεργασία δεδομένων και φόρτους εργασίας πρακτόρων AI. Η πλατφόρμα της επιτρέπει την εκτέλεση κατανεμημένων συστημάτων AI σε περιβάλλοντα cloud και στις εγκαταστάσεις των οργανισμών, προσφέροντας παρατηρησιμότητα, διακυβέρνηση και βελτιστοποιήσεις απόδοσης για σύγχρονες εφαρμογές AI. Το Ray έχει γίνει βασικό επίπεδο της αναδυόμενης υποδομής AI, βοηθώντας τους προγραμματιστές να κλιμακώνουν φόρτους εργασίας από έναν υπολογιστή σε χιλιάδες κόμβους με ελάχιστες αλλαγές στον υπάρχοντα κώδικα Python.

Έχετε εργαστεί στην κυβερνοασφάλεια, σε πλατφόρμες μηχανικής μάθησης του δημόσιου τομέα και σε συστήματα εξατομίκευσης τεράστιας κλίμακας. Ποια μοτίβα βλέπετε σταθερά όταν οι οργανισμοί προσπαθούν να περάσουν από πιλοτικά έργα AI στην παραγωγή;

Σε όλους τους κλάδους επανέρχονται τρία μοτίβα. Πρώτον, οι ομάδες δεν διαθέτουν αξιόπιστη και δοκιμασμένη διαδρομή από την ανάπτυξη στην παραγωγή. Μπορούν να δημιουργήσουν μοντέλο σε περιβάλλον notebook, αλλά δεν υπάρχει τυποποιημένος τρόπος να το λειτουργήσουν στην παραγωγή. Κάθε εγκατάσταση απαιτεί ξεχωριστή λύση και κάθε αστοχία αποτελεί έκπληξη. Δεύτερον, η υποδομή δεν κλιμακώνεται ανάλογα με τις ανάγκες. Το σύστημα που λειτουργούσε στην πιλοτική εφαρμογή καταρρέει με πραγματικούς όγκους δεδομένων ή πραγματική κίνηση. Τρίτον, οι ομάδες δεν έχουν επαρκή εικόνα. Τους λείπει η παρατηρησιμότητα για να γνωρίζουν την πραγματική απόδοση των συστημάτων, πού πλησιάζουν σε αστοχία και πότε πρέπει να παρέμβουν.

Και τα τρία έχουν την ίδια βασική αιτία: οι ομάδες δεν κατανοούν σωστά πώς να κλιμακώσουν κατανέμοντας την εργασία σε περισσότερους υπολογιστές. Προσπαθούν να λύσουν τα πάντα ταυτόχρονα αντί να σχεδιάζουν συνειδητά τη σειρά των βημάτων. Το βλέπω σε τρεις φάσεις: θέσε το σε λειτουργία, κάν’ το σωστά, κάν’ το γρήγορο. Δεν είναι ορόσημα που περνάς μία φορά, αλλά φάσεις που επαναλαμβάνονται. Καθορίζεις συνεχώς προτεραιότητες ανάμεσα σε ό,τι έχει χαλάσει τώρα και σε ό,τι θα χαλάσει στη συνέχεια. Οι επιτυχημένες ομάδες γνωρίζουν τη φάση τους και δεν προχωρούν πριν σταθεροποιηθεί η βάση.

Στην Anyscale έρχονται ομάδες από κάθε στάδιο. Κάποιες προσπαθούν ακόμη να θέσουν το σύστημα σε λειτουργία και χρειάζονται αξιόπιστη διαδρομή από την ανάπτυξη στην παραγωγή. Άλλες έχουν αυτή τη διαδρομή, αλλά πνίγονται στη λειτουργική πολυπλοκότητα και πρέπει να οργανώσουν σωστά το σύστημα. Πολλές έχουν φτιάξει κάτι λειτουργικό, αλλά δεν μπορούν να το επεκτείνουν στην κλίμακα που απαιτεί η επιχείρηση. Το ενοποιημένο επίπεδο υπολογισμού βοηθά σε κάθε φάση, αλλά η αφετηρία εξαρτάται από το πιο επείγον πρόβλημα.

Στην Attentive βοηθήσατε να κλιμακωθούν συστήματα AI για εκατοντάδες εκατομμύρια χρήστες. Ποια ήταν τα μεγαλύτερα αρχιτεκτονικά ή οργανωτικά εμπόδια που έπρεπε να ξεπεράσετε για να φτάσετε σε αυτή την κλίμακα;

Το μεγαλύτερο εμπόδιο ήταν η καμπύλη σχήματος S της πολυπλοκότητας της υποδομής. Καθώς τα μοντέλα μας ενσωμάτωναν περισσότερα δεδομένα και εξυπηρετούσαν περισσότερους πελάτες, φτάσαμε σε σημείο καμπής της υπολογιστικής ικανότητας. Ακόμη και οι μεγαλύτεροι κατακόρυφα ενισχυμένοι κόμβοι εμφάνιζαν σφάλματα εξάντλησης μνήμης, ενώ ούτε η απλή οριζόντια κλιμάκωση αρκούσε. Η υπολογιστική ισχύς δεν συμβάδιζε με την κλίμακα των δεδομένων μας.

Η φυσική αντίδραση ήταν να προσθέσουμε εργαλεία για να παρακάμψουμε τα όρια. Αυτή ήταν η συνήθης προσέγγισή μου από προηγούμενες εμπειρίες. Κάθε εργαλείο έλυνε ένα περιορισμένο πρόβλημα, αλλά αύξανε τη λειτουργική πολυπλοκότητα. Η ροή μηχανικής μάθησης κινδύνευε να γίνει συνονθύλευμα διασυνδέσεων. Κάθε νέα χρήση σήμαινε περισσότερη εργασία σύνδεσης, περισσότερους τρόπους αστοχίας, υψηλότερο κόστος και μεγαλύτερη επιβάρυνση για την ομάδα πλατφόρμας.

Τελικά, η κλιμάκωση έγινε δυνατή όταν ενοποιήσαμε την επεξεργασία δεδομένων, την εκπαίδευση, την εξαγωγή συμπερασμάτων και τη διάθεση μοντέλων στο Ray και στην Anyscale. Το αποτέλεσμα ήταν άμεσο: πολύ χαμηλότερο κόστος υποδομής, σημαντικά ταχύτεροι κύκλοι εκπαίδευσης ακόμη και με αυξανόμενους όγκους δεδομένων και δυνατότητα κλιμάκωσης μοντέλων για πελατειακή βάση μεγαλύτερη κατά αρκετές τάξεις μεγέθους.

Τι σας παρακίνησε να ενταχθείτε στην Anyscale σε αυτή τη φάση και πώς θεωρείτε ότι ο ρόλος του Field CTO διαμορφώνει την υιοθέτηση AI στις επιχειρήσεις;

Η εμπειρία εισαγωγής της Anyscale στην Attentive άλλαξε ριζικά την προσέγγισή μου στην κατασκευή πλατφορμών μηχανικής μάθησης. Προηγουμένως, σημαντικό μέρος του κόστους ανάπτυξης της πλατφόρμας προερχόταν από τη σύνδεση κατακερματισμένων συστημάτων. Με την Anyscale εξαλείψαμε μεγάλο μέρος αυτής της πρόσθετης εργασίας και επικεντρωθήκαμε στην εμπειρία προγραμματιστών, στην αξιοπιστία και στην απόδοση. Η αλλαγή επηρέασε έντονα τόσο την παραγωγικότητα της ομάδας όσο και τα αποτελέσματα του συστήματος. Η ένταξη στην Anyscale ήταν ευκαιρία να ασχοληθώ με το πρόβλημα με πλήρη απασχόληση και να βοηθήσω άλλους οργανισμούς στην ίδια μετάβαση. Ως Field CTO μετατρέπω αυτά τα πρακτικά διδάγματα σε επαναλήψιμες μεθόδους που μπορούν να εφαρμόσουν οι πελάτες καθώς κλιμακώνουν την AI.

Πολλές επιχειρήσεις παραμένουν στην πιλοτική φάση της AI. Τι ακριβώς αστοχεί όταν προσπαθούν να κλιμακώσουν αυτά τα πρώτα πειράματα σε συστήματα παραγωγής;

Όταν περνούν από τα πειράματα AI στην παραγωγή, το πρόβλημα σπάνια περιορίζεται στο μοντέλο. Αστοχούν το σύστημα γύρω του και η λειτουργία του. Σε ορισμένες περιπτώσεις οι ομάδες συναντούν νωρίς τα όρια της υποδομής και δεν μπορούν να εκπαιδεύσουν ή να διαθέσουν μοντέλα στην επιθυμητή κλίμακα. Έτσι περιορίζουν τον αριθμό των πελατών ή των χρήσεων που εξυπηρετεί το μοντέλο. Συχνότερα, προβλήματα προκύπτουν στην παραγωγή από απρόβλεπτες οριακές περιπτώσεις ή αλλαγές στα δεδομένα. Ένα από τα συχνότερα σημεία αστοχίας είναι η μνήμη: όταν αλλάζει το μέγεθος, η κατανομή ή ο τύπος των δεδομένων, οι εργασίες εξαντλούν τη μνήμη και αποτυγχάνουν. Είναι δύσκολο να προβλεφθούν αυτά τα προβλήματα και ακόμη δυσκολότερη η αυτόματη ανάκαμψη. Οι αστοχίες είναι αναπόφευκτες στην παραγωγική AI. Στόχος δεν είναι να αποφευχθούν όλες, αλλά να εντοπίζονται και να κατανοούνται γρήγορα, με συστήματα αυτόματης ανάκαμψης που τις επιλύουν πριν επηρεάσουν την επιχείρηση.

Το Ray, το πλαίσιο κατανεμημένων υπολογισμών που δημιούργησε η ιδρυτική ομάδα της Anyscale, διαδίδεται ως βάση για φόρτους εργασίας AI. Γιατί η κατανεμημένη εκτέλεση γίνεται τόσο κρίσιμο επίπεδο της σύγχρονης υποδομής AI;

Η κατανεμημένη εκτέλεση και η διαχείριση φόρτων εργασίας έχουν γίνει βασικές προϋποθέσεις των ροών επεξεργασίας AI. Οι σύγχρονοι φόρτοι είναι από τη φύση τους παράλληλοι και απαιτούν πολλούς πόρους. Η εκπαίδευση, η εξαγωγή συμπερασμάτων και η επεξεργασία δεδομένων απαιτούν συντονισμό πολλών εργασιών μεταξύ CPU και GPU, συχνά δυναμικά. Στο σημερινό περιβάλλον, η πολυπλοκότητα διαχείρισης αυτών των εργασιών με περιορισμένους πόρους δημιουργεί τεράστια λειτουργική επιβάρυνση. Τα παραδοσιακά συστήματα δεν σχεδιάστηκαν για τέτοια πολυπλοκότητα ή κλίμακα. Το Ray και παρόμοια πλαίσια είναι κρίσιμα επειδή αυτοματοποιούν τον υποκείμενο συντονισμό και επιτρέπουν ομαλή κλιμάκωση από έναν υπολογιστή σε χιλιάδες κόμβους. Αυτό αντανακλά μια ευρύτερη μετάβαση σε υπολογιστική σχεδιασμένη εξαρχής για την AI: η υποδομή χτίζεται ειδικά για τα μοτίβα των φόρτων AI και δεν προσαρμόζεται από παλαιότερα παραδείγματα.

Καθώς περισσότερες εταιρείες υιοθετούν το Ray μέσω της Anyscale, ποιες διαφορές βλέπετε ανάμεσα σε οργανισμούς που καθιερώνουν μια ενοποιημένη προσέγγιση και σε όσους συνδέουν ξεχωριστά εργαλεία;

Η διαφορά τελικά αφορά την εστίαση και την αποδοτικότητα. Οι ομάδες που εξαρτώνται από πολλά ασύνδετα συστήματα αφιερώνουν σημαντικό χρόνο στη σύνδεσή τους, στη διαχείριση ασυνεπειών και στην αντιμετώπιση αστοχιών διαφορετικών περιβαλλόντων. Αυτό αυξάνει τη λειτουργική επιβάρυνση και επιβραδύνει τα πειράματα. Η ενοποιημένη προσέγγιση επιτρέπει να συγκεντρωθούν οι προσπάθειες στη βελτίωση ενός συστήματος, με καλύτερη αξιοπιστία, υψηλότερη απόδοση και ομαλότερη εμπειρία προγραμματιστών. Απλοποιεί και τις εφημερίες υποστήριξης και την αποσφαλμάτωση, επειδή τα μοτίβα είναι συνεπή και κατανοητά. Το αποτέλεσμα δεν είναι μόνο τεχνική αποδοτικότητα, αλλά και οργανωτική σαφήνεια.

Με βάση την εμπειρία κατασκευής ολοκληρωμένων πλατφορμών μηχανικής μάθησης από άκρη σε άκρη, πόσο σημαντική είναι η εμπειρία προγραμματιστών (DevEx) για την επιτάχυνση της υιοθέτησης AI στις ομάδες;

Η DevEx είναι ένας από τους τομείς με τη μεγαλύτερη επίδραση στην επιτάχυνση της υιοθέτησης AI. Όταν οι ομάδες πλατφόρμας διευκολύνουν τη χρήση συστημάτων με τυποποιημένες ροές εργασίας, πρότυπα και λιγότερα εμπόδια από την υποδομή, αυξάνουν την παραγωγικότητα κάθε μηχανικού στον οργανισμό. Αυτό είναι ιδιαίτερα σημαντικό στην AI, όπου οι αλλαγές είναι ταχύτατες και οι ομάδες πρέπει να επαναλαμβάνουν γρήγορα τους κύκλους ανάπτυξης για να παραμένουν ανταγωνιστικές. Η καλύτερη DevEx οδηγεί άμεσα σε ταχύτερα πειράματα, μικρότερο χρόνο μέχρι την παραγωγή και τελικά μεγαλύτερη επιχειρηματική επίδραση. Τα εργαλεία προγραμματισμού με AI ενισχύουν αυτά τα θεμέλια της DevEx. Από πολλές απόψεις, είναι ο πιο κλιμακώσιμος τρόπος να επιταχυνθεί ολόκληρος ο οργανισμός.

Η αποδοτικότητα κόστους γίνεται σημαντικό ζήτημα καθώς αυξάνονται οι φόρτοι AI. Ποιοι συχνά παραγνωρισμένοι τρόποι επιτρέπουν στις επιχειρήσεις να μειώσουν το κόστος υποδομής χωρίς να θυσιάσουν την απόδοση;

Η αύξηση των φόρτων AI κάνει τη διαχείριση κόστους σημαντικότερη και πιο σύνθετη. Συχνά παραβλέπεται πόσο γρήγορα η αναποτελεσματικότητα μπορεί να εκτοξεύσει το κόστος, ιδιαίτερα σε υποδομές GPU. Μεγάλες συστοιχίες μπορούν να εκκινήσουν χιλιάδες κόμβους. Αν οι πόροι δεν διαχειρίζονται ή δεν τερματίζονται σωστά, το κόστος συσσωρεύεται γρήγορα. Έτσι προκύπτει ανεξέλεγκτη επέκταση πόρων χαρακτηριστική της AI: η χρήση υπολογισμού αυξάνεται ταχύτερα από τη δυνατότητα παρακολούθησης ή ελέγχου των ομάδων. Χρειάζεται συνδυασμός ισχυρής διακυβέρνησης, ορατότητας και αυτοματοποίησης, όπως αυτόματη κλιμάκωση, αυτόματος τερματισμός και κεντρική διαχείριση πόρων. Σε μεγάλη κλίμακα, η αποδοτικότητα κόστους δεν είναι μόνο λειτουργικό ζήτημα, αλλά θεμελιώδες στοιχείο του σχεδιασμού συστημάτων.

Έχετε εργαστεί από αποθήκες χαρακτηριστικών μοντέλων μέχρι συστήματα εξαγωγής συμπερασμάτων σε πραγματικό χρόνο. Πώς εξελίσσεται, κατά τη γνώμη σας, η ισορροπία μεταξύ φόρτων AI κατά παρτίδες και σε πραγματικό χρόνο;

Η ισορροπία δεν έχει αλλάξει θεμελιωδώς· εξακολουθεί να εξαρτάται από τις επιχειρηματικές απαιτήσεις. Η επεξεργασία κατά παρτίδες είναι συνήθως οικονομικότερη και ευκολότερη στη λειτουργία, άρα κατάλληλη για πολλές χρήσεις. Τα συστήματα πραγματικού χρόνου είναι απαραίτητα όταν η καθυστέρηση επηρεάζει άμεσα την εμπειρία χρήστη ή το επιχειρηματικό αποτέλεσμα, όπως σε εφαρμογές συνομιλίας ή ανίχνευση απάτης. Οι δύο προσεγγίσεις θα συνεχίσουν να συνυπάρχουν. Οι οργανισμοί χρειάζονται πλατφόρμες που υποστηρίζουν αποτελεσματικά και τις δύο. Η απόφαση εξαρτάται τελικά από τους συμβιβασμούς μεταξύ κόστους, καθυστέρησης και αξιοπιστίας.

Πώς θα μοιάζει μια ώριμη εταιρική πλατφόρμα AI σε 2–3 χρόνια και πώς εντάσσονται σε αυτό το μέλλον εργαλεία όπως το Ray και πλατφόρμες όπως η Anyscale;

Τα επόμενα χρόνια, οι ώριμες εταιρικές πλατφόρμες AI θα έχουν ορισμένα βασικά χαρακτηριστικά. Θα στηρίζονται σε ενοποιημένη υποδομή για ολόκληρο τον κύκλο ζωής της AI, από την επεξεργασία δεδομένων στην εκπαίδευση και την εξαγωγή συμπερασμάτων, αντί για σύνολα ασύνδετων εργαλείων. Θα έχουν ισχυρή συνεχή λειτουργία μετά την εγκατάσταση, με παρατηρησιμότητα αυτοματοποιημένη από πράκτορες, αξιοπιστία και γρήγορη αποσφαλμάτωση. Η διαχείριση κόστους θα είναι προβλέψιμη και ελεγχόμενη, επιτρέποντας βιώσιμη κλιμάκωση. Ίσως σημαντικότερο είναι ότι θα υποστηρίζουν υψηλή ταχύτητα ανάπτυξης, ώστε οι ομάδες να περνούν εύκολα και γρήγορα από την ιδέα στην παραγωγή. Το Ray και η Anyscale παίζουν κεντρικό ρόλο, προσφέροντας τη βάση που έχει σχεδιαστεί για την AI και επιτρέπει τέτοια κλίμακα και αποδοτικότητα.

Σας ευχαριστούμε για την εξαιρετική συνέντευξη. Οι αναγνώστες που θέλουν να μάθουν περισσότερα μπορούν να επισκεφθούν την Anyscale.