Βίκτωρ Thu, Πρόεδρος της Datatron – Σειρά Συνεντεύξεων

Ο Βίκτωρ Thu είναι ο Πρόεδρος της Datatron, μια πλατφόρμα που βοηθά τις επιχειρήσεις να αξιοποιήσουν τη δύναμη του machine learning, επιταχύνοντας τις αναπτύξεις, ανιχνεύοντας προβλήματα από νωρίς και αυξάνοντας την αποδοτικότητα της διαχείρισης πολλαπλών μοντέλων σε κλίμακα.

Η επαγγελματική σας εμπειρία είναι στο μάρκετινγκ προϊόντων, στη στρατηγική εισόδου στην αγορά και στη διαχείριση προϊόντων. Πώς σας οδήγησε αυτή η εμπειρία στη μηχανική μάθηση και την τεχνητή νοημοσύνη;

Αγαπώ την τεχνολογία και κάποιοι από τους στενούς μου φίλους με αποκαλούν ακόμη και «γητευτή της τεχνολογίας». Απολαμβάνω να παίρνω σύνθετα τεχνολογικά θέματα και να τα μεταφράζω σε μια γλώσσα που οι άνθρωποι μπορούν να συνδεθούν, και να εκπαιδεύω τον εαυτό μου σε νέες τεχνολογίες για να κατανοήσω το «γιατί» πίσω από τις τεχνολογίες που έχουν τη μεγαλύτερη σημασία για τους ανθρώπους.

Η πρώτη μου συνάντηση με αυτό που ονομάζω «σύγχρονο AI» ήταν όταν έβλεπα μια ομιλία από τη διάσημη καθηγήτρια τεχνητής νοημοσύνης του Στάνφορντ, δρ. Fei-Fei Li. Η ομιλία της δρ. Li ήταν τόσο καταπληκτική που αποτέλεσε ένα σημείο καμπής για μένα στην καριέρα μου. Αυτή η ομιλία με πείστησε ότι αυτό είναι το μέρος όπου ήθελα να βρίσκομαι επόμενο. Ήθελα να είμαι μέρος της επόμενου κύματος της τεχνολογίας όπου χρησιμοποιούμε το AI και ML για να λύσουμε επιχειρηματικά προβλήματα.

Από τότε, έχω εργαστεί με πολλές startups AI/ML, εργαζόμενος για να χρησιμοποιήσω την τεχνολογία για να αντιμετωπίσω πραγματικές επιχειρηματικές ανάγκες. Έχω εργαστεί πολύ στενά με Ph.D.-επίπεδο ML επιστήμονες, οι οποίοι μου έχουν παρέχει τεράστια γνώση στο AI/ML. Και ακόμα μαθαίνω σήμερα, καθώς ο χώρος εξελίσσεται τόσο γρήγορα.

Έτσι, ήταν πραγματικά η αγάπη μου για την τεχνολογία και το πώς να την αξιοποιήσω για να βοηθήσω τους άλλους που με οδήγησε να εργαστώ στενά με την AI/ML.

Η Datatron εστιάζει στο MLOps, για τους αναγνώστες που δεν είναι εξοικειωμένοι με αυτόν τον όρο, θα μπορούσατε να περιγράψετε συγκεκριμένα τι είναι;

Το MLOps είναι ουσιαστικά η συστηματοποίηση και η απλοποίηση της διαδικασίας που βασίζεται σε μεγάλο βαθμό σε εξειδικευμένη χειρωνακτική εργασία της μεταφοράς των μοντέλων AI και ML από το πρωτότυπο στη παραγωγή.

Μια από τις μεγαλύτερες λανθασμένες αντιλήψεις είναι ότι μια φορά που οι επιστήμονες δεδομένων έχουν κατασκευάσει τα μοντέλα AI τους, μπορούν να τα βγάλουν στη παραγωγή γρήγορα. Ωστόσο, η πραγματικότητα είναι ότι μπορεί να πάρει μέχρι και ένα χρόνο πριν από ένα μοντέλο να αναπτυχθεί.

Ο κύριος λόγος για αυτή τη καθυστέρηση είναι ότι οι άνθρωποι που έχουν εξειδίκευση στην ανάπτυξη μοντέλων δεν έχουν απαραίτητα και εξειδίκευση σε λογισμικό. Μια καλή σύγκριση είναι οι αρχιτέκτονες που σχεδιάζουν ουρανοξύστες – δεν είναι επίσης οι κατασκευαστές που τους υλοποιούν.

Το MLOps είναι ουσιαστικά η γέφυρα μεταξύ των προγραμματιστών μοντέλων και της μηχανικής λογισμικού. Αντί να πρέπει να ξοδεύουν περισσότερο από 12 μήνες για να βγάλουν τα μοντέλα στη παραγωγή, το MLOps μπορεί να μειώσει αυτή τη διαδικασία σε μόλις λίγες ημέρες.

Σε ένα άρθρο που γράψατε για εμάς τον Σεπτέμβριο του 2021, συζητήσατε πώς «Το κύριο εμπόδιο για την εισαγωγή λύσεων στην παραγωγή δεν είναι η ποιότητα των μοντέλων, αλλά η έλλειψη υποδομής για να επιτρέψει στις εταιρείες να το κάνουν». Γιατί είναι αυτό ένα εμπόδιο για τις περισσότερες εταιρείες;

Υπάρχουν ορισμένοι παράγοντες που συμβάλλουν σε αυτό.

• Η υπερ-ρομαντικοποίηση του «δωρεάν» ανοιχτού λογισμικού. Θέλω πρώτα να τονίσω ότι αγαπάμε το ανοιχτό λογισμικό και πιστεύουμε ότι έχει βοηθήσει την βιομηχανία να προχωρήσει με τεράστια βήματα. Ωστόσο, πολλοί δεν κατανοούν τη σύνθετη σχέση του ανοιχτού λογισμικού με το AI και ML. Σήμερα, υπάρχει μια σοβαρή έλλειψη ταλέντων AI/ML. Όταν συνδυάσετε αυτό με την αναζήτηση μηχανικών λογισμικού (ML μηχανικών ή MLOps μηχανικών) που γνωρίζουν πώς να χειρίζονται τις μοναδικές ιδιότητες του κώδικα AI/ML, και στη συνέχεια περιμένετε να προσλάβετε προσωπικό και να κατασκευάσετε εσωτερικά μια πλατφόρμα MLOps επιχειρηματικής κλίμακας, κατανοώντας πάνω από 300 έργα MLOps ανοιχτού κώδικα, προετοιμάζετε την αποτυχία σας.
• Ελλειψη υποδομής για την υποστήριξη των ομάδων μηχανικών.Οι εταιρείες χρειάζονται ένα καλύτερο περιβάλλον για να ρυθμίσουν τους μηχανικούς να επιτύχουν. Υπάρχει ανάγκη για επαρκή δυναμικότητα εργασίας και προϋπολογισμό για να παρέχει στις ομάδες τα σωστά εργαλεία. Το AI είναι μια σχετικά νέα τεχνολογία. Οι εταιρείες που κάνουν AI δεν ξέρουν πάντα τι πρέπει να κάνουν για να βγάλουν τα μοντέλα γρήγορα, και αυτό είναι γιατί το MLOps είναι ένα τόσο σημαντικό εργαλείο.

Πώς το MLOps λύνει το πρόβλημα της έλλειψης υποδομής;

Το MLOps λύνει το πρόβλημα της έλλειψης υποδομής με τέσσερις τρόπους:

1. Χωρίς ιδιοκτησιακές αλλαγές κώδικα: Οι επιστήμονες δεδομένων θέλουν ευελιξία να κατασκευάσουν μοντέλα που να ταιριάζουν στις επιχειρηματικές περιπτώσεις τους, επομένως οποιαδήποτε διαδικασία MLOps που απαιτεί αλλαγές κώδικα δυσκολεύει τη διατήρηση της ακεραιότητας των μοντέλων τους.
2. Αυτοματοποίηση/συγγραφή σεναρίων: Πολλές ομάδες γράφουν σενάρια για μοντέλα με σταθερές οδηγίες ενσωματωμένες στον κώδικα, το οποίο παίρνει πολύ χρόνο. Το MLOps αυτοματοποιεί ολόκληρη τη διαδικασία, σώζοντας πολύ χρόνο και ενέργεια.
3. Επικαιροποίηση: Τα μοντέλα AI αλλάζουν σε τακτά χρονικά διαστήματα για να προσαρμοστούν στο περιβάλλον τους. Κάποιες φορές, οι επιστήμονες δεδομένων πρέπει να επιστρέψουν για να επικαιροποιήσουν τα μοντέλα συχνά. Χωρίς MLOps, δεν υπάρχει τρόπος να αποφευχθεί αυτή η επαναλαμβανόμενη επικαιροποίηση.
4. Διαχείριση της υποκείμενης υποδομής: Για να βγάλουμε τα μοντέλα, χρειαζόμαστε υπολογιστικούς, δικτυακούς και αποθηκευτικούς πόρους που ανταποκρίνονται στις ιδιαίτερες απαιτήσεις των μοντέλων AI/ML. Τα εργαλεία MLOps έχουν την ικανότητα να συνδεθούν με τους κατάλληλους πόρους για να τους κλιμακώσουν ανάλογα.

Υπάρχουν επίσης εταιρικές απαιτήσεις που δεν λαμβάνονται υπόψη όταν κατασκευάζετε το δικό σας MLOps εργαλείο, όπως: έλεγχος πρόσβασης με βάση τον ρόλο (RBAC), ολοκλήρωση και διαλειτουργικότητα, υποστήριξη για διαφορετικά εργαλεία ML, αντιμετώπιση ευπαθειών ασφαλείας και η απρόσμενη αποχώρηση των βασικών μελών της ομάδας.

Τι είναι η προσωπική σας άποψη για τη σημασία της διακυβέρνησης AI;

Υπήρξαν αμέτρητες ιστορίες τρόμου για μοντέλα AI που δεν λειτουργούσαν σωστά, από την εσφαλμένη ετικέτα ορισμένων ομάδων ανθρώπων μέχρι την προκαλούμενη τεράστια οικονομική ζημία για εισηγμένες εταιρείες.

Η διακυβέρνηση AI είναι κρίσιμα σημαντική για τις επιχειρήσεις όταν έχουν μοντέλα AI σε παραγωγή. Τούτου λεχθέντος, δεν είναι διαφορετική από άλλες IT ή επιχειρηματικές διακυβερνήσεις. Σήμερα, όταν το IT σας τρέχει εφαρμογές στο cloud ή ακόμη και στα δικά σας κέντρα δεδομένων, έχουν μια σειρά από εργαλεία για να διασφαλίσουν ότι οι εφαρμογές λειτουργούν σωστά.

Όταν έχετε μοντέλα AI σε παραγωγή, χρειάζεστε να έχετε μηχανισμούς και εργαλεία στη θέση σας για να δώσετε στην επιχείρηση και τους επιστήμονες δεδομένων ορατότητα για αυτά που κάνουν τα μοντέλα.

Ειδικά σε αυτό το πρώιμο στάδιο του AI/ML, δεν υπάρχει «βάζω και ξεχνάω» επιλογή. Στην αρχή, πρέπει να παρακολουθείτε πώς συμπεριφέρεται το μοντέλο σας και να κάνετε τις κατάλληλες προσαρμογές. Η διατήρηση των σωστών δυνατοτήτων παρακολούθησης, ώστε να σας ενημερώνει όταν τα μοντέλα σας συμπεριφέρονται έξω από τα επιθυμητά όρια, είναι κρίσιμα.

Η διαχείριση του κινδύνου μοντέλου (MRM) πρέπει επίσης να λάβει υπόψη τους διαφορετικούς ανθρώπους που εμπλέκονται στην ανάπτυξη και τη θέση του μοντέλου σε παραγωγική λειτουργία. Ποιος έλεγχος πρόσβασης έχετε θέσει στη θέση σας για να διασφαλίσετε την ακεραιότητα των μοντέλων; Ή πώς να διασφαλίσετε ότι άτομα από διαφορετικές ομάδες δεν χρησιμοποιούν τα μοντέλα σας για περιπτώσεις που τα μοντέλα σας δεν είναι σχεδιασμένα να κάνουν; Όλα αυτά είναι ερωτήσεις που οι ομάδες πρέπει να κάνουν στον εαυτό τους.

Πώς η Datatron βοηθά στη διαχείριση του κινδύνου μοντέλου;

Το MLOps επιτρέπει γρήγορες ενημερώσεις και αλλαγές μοντέλων. Για παράδειγμα, αν ένα μοντέλο απορρίπτει αδικαιολόγητα ανθρώπους σε μια αίτηση δανείου, το MLOps σας επιτρέπει να πάρτε το μοντέλο πίσω και να εισαγάγετε ένα νέο, διαχειριζόμενο τον κίνδυνο με ένα απλό τρόπο.

Προστατεύει τα μοντέλα από μεταβολές της μεροληψίας τους και διατηρεί τα κρίσιμα μετρικά ενώ βρίσκεται σε παραγωγή μέσω ενός απλού πίνακα που παρουσιάζει αυτά τα μετρικά χρησιμοποιώντας βαθιά λεπτομερή δεδομένα από μια υψηλή επισκόπηση που μπορεί να κατανοηθεί εύκολα από τους υπευθύνους επιχειρηματικών αποφάσεων.

Η πλατφόρμα AI της Datatron διακυβέρνηση παρέχει ένα επίπεδο πάνω από μια γενική δυνατότητα παρακολούθησης – δίνοντας πρόσθετο πλαίσιο και λογική που παρουσιάζει σαφή ορατότητα του μοντέλου που είναι πιο σχετικά με τις περιπτώσεις χρήσης του πελάτη.

Σε ένα άρθρο στη Datatron, περιγράψατε πώς η Datatron ανέλαβε το σύνθημα του Reliable AI™. Θα μπορούσατε να περιγράψετε τι είναι αυτό;

Όταν δημιουργήσαμε αυτό, σκεφτήκαμε πώς είμαστε τόσο άνετοι να πετάμε σε εμπορικά αεροπλάνα σήμερα επειδή είναι πολύ αξιόπιστα.

Παρά όλες τις συζητήσεις για ηθικό AI, υπεύθυνο AI, κ.λπ. η κρίσιμη ανάγκη είναι για τις επιχειρήσεις να μπορούν να χρησιμοποιήσουν το AI/ML αξιόπιστα – όπως αν οι υπαλλήλοι τους θα πήγαιναν σε ένα εμπορικό αεροπλάνο.

Η χρήση όρων όπως ηθικό AI, υπεύθυνο AI έχει πραγματικά προκύψει από το ζήτημα των τρέχοντων μοντέλων AI που δεν κάνουν αυτό που πρέπει, και επομένως θεωρούνται αναξιόπιστα. Οι επιχειρήσεις δεν είναι πρόθυμες να χρησιμοποιήσουν το AI επειδή δεν έχουν εμπιστοσύνη ότι τα μοντέλα τους δεν είναι προκατειλημμένα. Αυτό σημαίνει ότι τα μοντέλα τους είναι αναξιόπιστα και η Datatron έχει ως στόχο να αλλάξει αυτό.

Υπάρχει κάτι άλλο που θα θέλατε να μοιραστείτε για τη Datatron;

Είμαστε ένας από τους λίγους παρόχους MLOps που είναι Super Bowl αποδεδειγμένοι – εργαζόμαστε επιτυχώς σε một υψηλής πίεσης σενάριο, το οποίο δεν είναι τυπικό για μια startup ή ανοιχτό εργαλείο. Ο πελάτης, Domino’s Pizza , εργάζεται με τη Datatron για να θέσει εύκολα και γρήγορα σε λειτουργία τα μοντέλα AI σε παραγωγή, τα οποία στη συνέχεια τέθηκαν στο απόλυτο τεστ κατά τη διάρκεια του Super Bowl.

Το MLOps είναι πραγματικά ο τρόπος για να βοηθήσει τα μοντέλα AI/ML να μπουν σε παραγωγή ενώ διατηρούν τους πόρους και μειώνουν το κόστος. Είμαστε μια βιώσιμη πηγή για επιτυχημένα μοντέλα AI/ML και λειτουργούμε ως καταλύτης για έσοδα. Οι εταιρείες μπορούν τελικά να πάρουν το ROI τους από τα έργα AI και ML. Ανεξάρτητα από τα περιθώρια σας, μπορείτε να παράγετε αποτελέσματα χρησιμοποιώντας MLOps.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που θέλουν να μάθουν περισσότερα πρέπει να επισκεφθούν Datatron.