Βίκτωρ Thu, Πρόεδρος της Datatron – Σειρά Συνεντεύξεων

Ο Βίκτωρ Thu είναι ο Πρόεδρος της Datatron, μια πλατφόρμα που βοηθά τις επιχειρήσεις να αξιοποιήσουν τη δύναμη του machine learning, επιταχύνοντας τις αναπτύξεις, ανιχνεύοντας προβλήματα από νωρίς και αυξάνοντας την αποδοτικότητα της διαχείρισης πολλαπλών μοντέλων σε κλίμακα.

Η προέλευση σας είναι στο Product Marketing, Go-to-market, & Product Management, πώς οδήγησε αυτή η προέλευση να εργαστείτε στο machine learning και AI;

Αγαπώ την τεχνολογία και κάποιοι από τους στενούς μου φίλους με αποκαλούν даже «τεχνολογικό-ψίθυρο». Απολαμβάνω να παίρνω σύνθετα τεχνολογικά θέματα και να τα μεταφράζω σε μια γλώσσα που οι άνθρωποι μπορούν να συνδεθούν, και να εκπαιδεύω τον εαυτό μου σε νέες τεχνολογίες για να κατανοήσω το «γιατί» πίσω από τις τεχνολογίες που έχουν τη μεγαλύτερη σημασία για τους ανθρώπους.

Η πρώτη μου συνάντηση με αυτό που ονομάζω «σύγχρονο AI» ήταν όταν έβλεπα μια ομιλία από một διάσημο καθηγητή του Stanford AI, τον Δρ. Fei-Fei Li. Η ομιλία του Δρ Li ήταν τόσο καταπληκτική που αποτέλεσε ένα σημείο καμπής για μένα στην καριέρα μου. Αυτή η ομιλία με πείστησε ότι αυτό είναι το μέρος όπου ήθελα να βρίσκομαι επόμενο. Ήθελα να είμαι μέρος της επόμενης κυματίνας της τεχνολογίας όπου χρησιμοποιούμε το AI και ML για να λύσουμε επιχειρηματικά προβλήματα.

Από τότε, έχω εργαστεί με πολλές startups AI/ML, εργαζόμενη για να χρησιμοποιήσω την τεχνολογία για να αντιμετωπίσω πραγματικές επιχειρηματικές ανάγκες. Έχω εργαστεί πολύ στενά με Ph.D.-επίπεδο ML επιστήμονες, οι οποίοι μου έχουν παρέχει τεράστια γνώση στο AI/ML. Και ακόμα μαθαίνω σήμερα, καθώς ο χώρος εξελίσσεται τόσο γρήγορα.

Έτσι, ήταν πραγματικά η αγάπη μου για την τεχνολογία και το πώς να την αξιοποιήσω για να βοηθήσω τους άλλους που με οδήγησε να εργαστείτε στενά με το AI/ML.

Η Datatron εστιάζει στο MLOps, για τους αναγνώστες που δεν είναι εξοικειωμένοι με αυτόν τον όρο, θα μπορούσατε να περιγράψετε συγκεκριμένα τι είναι;

Το MLOps είναι ουσιαστικά η κωδικοποίηση και η απλοποίηση του πολύ χειροποίητου διαδικασίας της μεταφοράς των μοντέλων AI και ML από το πρωτότυπο στη παραγωγή.

Μια από τις μεγαλύτερες λανθασμένες αντιλήψεις είναι ότι μια φορά που οι επιστήμονες δεδομένων έχουν κατασκευάσει τα μοντέλα AI τους, μπορούν να τα βγάλουν στη παραγωγή γρήγορα. Ωστόσο, η πραγματικότητα είναι ότι μπορεί να πάρει μέχρι και ένα χρόνο πριν από ένα μοντέλο να αναπτυχθεί.

Ο κύριος λόγος για αυτή τη καθυστέρηση είναι ότι οι άνθρωποι που έχουν εξειδίκευση στην ανάπτυξη μοντέλων δεν έχουν απαραίτητα και εξειδίκευση σε λογισμικό. Μια καλή σύγκριση είναι οι αρχιτέκτονες που σχεδιάζουν ουρανοξύστες – δεν είναι επίσης οι dévelopers που τους κατασκευάζουν.

Το MLOps είναι ουσιαστικά η γέφυρα μεταξύ των dévelopers μοντέλων και του λογισμικού. Αντί να πρέπει να ξοδεύουν περισσότερο από 12 μήνες για να βγάλουν τα μοντέλα στη παραγωγή, το MLOps μπορεί να μειώσει αυτή τη διαδικασία σε μόλις quelques ημέρες.

Σε ένα άρθρο που έγραψα για εμάς τον Σεπτέμβριο του 2021, συζητήσατε πώς «Το κύριο εμπόδιο για την εισαγωγή λύσεων στην παραγωγή δεν είναι η ποιότητα των μοντέλων, αλλά η έλλειψη υποδομής για να επιτρέψει στις εταιρείες να το κάνουν». Γιατί είναι αυτό ένα εμπόδιο για τις περισσότερες εταιρείες;

Υπάρχουν quelques συντελεστές που συμβάλλουν σε αυτό.

• Η υπερ-ρομαντικοποίηση του «δωρεάν» ανοιχτού λογισμικού. Θέλω πρώτα να τονίσω ότι αγαπάμε το ανοιχτό λογισμικό και πιστεύουμε ότι έχει βοηθήσει την βιομηχανία να προχωρήσει με γίγας βήματα. Ωστόσο, πολλοί δεν κατανοούν τη σύνθετη σχέση του ανοιχτού λογισμικού με το AI και ML. Σήμερα, υπάρχει μια σοβαρή έλλειψη ταλέντων AI/ML. Όταν συνδυάσετε αυτό με την αναζήτηση λογισμικών μηχανικών (ML μηχανικών ή MLOps μηχανικών) που γνωρίζουν πώς να χειρίζονται τις μοναδικές ιδιότητες του κώδικα AI/ML, για να περιμένετε να雇σετε και να κατασκευάσετε μια εταιρική κλίμακα MLOps πλατφόρμα εσωτερικά, κατανοώντας τα 300+ ανοιχτά MLOps projects, είναι να ρίχνετε τον εαυτό σας σε αποτυχία.
• Ελλειψη υποδομής για την υποστήριξη των ομάδων μηχανικών.Οι εταιρείες χρειάζονται ένα καλύτερο περιβάλλον για να ρυθμίσουν τους μηχανικούς να επιτύχουν. Υπάρχει ανάγκη για σωστή μπάντα και προϋπολογισμό για να παρέχει στις ομάδες τα σωστά εργαλεία. Το AI είναι μια σχετικά νέα τεχνολογία. Οι εταιρείες που κάνουν AI δεν ξέρουν πάντα τι πρέπει να κάνουν για να βγάλουν τα μοντέλα γρήγορα, και αυτό είναι γιατί το MLOps είναι ένα τόσο σημαντικό εργαλείο.

Πώς το MLOps λύνει το πρόβλημα της έλλειψης υποδομής;

Το MLOps λύνει το πρόβλημα της έλλειψης υποδομής με τέσσερις τρόπους:

1. Χωρίς ιδιοκτησιακές αλλαγές κώδικα: Οι επιστήμονες δεδομένων θέλουν ευελιξία να κατασκευάσουν μοντέλα που να ταιριάζουν στις επιχειρηματικές περιπτώσεις τους, επομένως οποιαδήποτε διαδικασία MLOps που απαιτεί αλλαγές κώδικα περιπλέκει την ακεραιότητα των μοντέλων τους.
2. Αυτοματοποίηση/σενάριο: Πολλές ομάδες γράφουν μοντέλα με ένα σκληρό κωδικοποιημένο τρόπο, το οποίο παίρνει πολύ χρόνο. Το MLOps αυτοματοποιεί ολόκληρη τη διαδικασία, σώζοντας πολύ χρόνο και ενέργεια.
3. Επικαιροποίηση: Τα μοντέλα AI αλλάζουν σε τακτά χρονικά διαστήματα για να προσαρμοστούν στο περιβάλλον τους. Κάποιες φορές, οι επιστήμονες δεδομένων πρέπει να επιστρέψουν για να επικαιροποιήσουν τα μοντέλα συχνά. Χωρίς MLOps, δεν υπάρχει τρόπος να αποφευχθεί αυτή η επαναλαμβανόμενη επικαιροποίηση.
4. Διαχείριση της υποκείμενης υποδομής: Για να βγάλουμε τα μοντέλα, χρειάζεται να υπολογίσουμε το δίκτυο και την αποθήκευση, η οποία απαιτεί μοναδικές ιδιότητες των μοντέλων AI/ML. Τα εργαλεία MLOps έχουν την ικανότητα να συνδεθούν με τις σωστές πόρους για να τις κλιμακώσουν ανάλογα.

Υπάρχουν επίσης εταιρικές απαιτήσεις που δεν λαμβάνονται υπόψη όταν κατασκευάζετε το δικό σας MLOps εργαλείο, όπως: έλεγχος πρόσβασης με βάση τον ρόλο (RBAC), ολοκλήρωση και διαλειτουργικότητα, υποστήριξη για διαφορετικά εργαλεία ML, αντιμετώπιση των ασφαλείας και η απρόσμενη αποχώρηση των βασικών μελών της ομάδας.

Τι είναι η προσωπική σας άποψη για τη σημασία της διακυβέρνησης AI;

Υπήρξαν αμέτρητες ιστορίες τρόμου για μοντέλα AI που δεν λειτουργούσαν σωστά, από την εσφαλμένη ετικέτα ορισμένων ομάδων ανθρώπων μέχρι την προκαλούμενη τεράστια οικονομική ζημία για δημόσιες εταιρείες.

Η διακυβέρνηση AI είναι κρίσιμα σημαντική για τις επιχειρήσεις όταν έχουν μοντέλα AI σε παραγωγή. Με αυτό που कहόταν, δεν είναι διαφορετική από άλλες IT ή επιχειρηματικές διακυβερνήσεις. Σήμερα, όταν το IT σας τρέχει εφαρμογές στο cloud ή ακόμη και στα δικά σας κέντρα δεδομένων, έχουν μια σειρά από εργαλεία για να διασφαλίσουν ότι οι εφαρμογές λειτουργούν σωστά.

Όταν έχετε μοντέλα AI σε παραγωγή, χρειάζεστε να έχετε μηχανισμούς και εργαλεία στη θέση σας για να δώσετε στην επιχείρηση και τους επιστήμονες δεδομένων ορατότητα για αυτά που κάνουν τα μοντέλα.

Ειδικά σε αυτό το πρώιμο στάδιο του AI/ML, δεν υπάρχει «βάζω και ξεχνάω» επιλογή. Στην αρχή, πρέπει να παρακολουθείτε πώς συμπεριφέρεται το μοντέλο σας και να κάνετε τις κατάλληλες điều chỉnh. Η διατήρηση των σωστών δυνατοτήτων παρακολούθησης, ώστε να σας ενημερώνει όταν τα μοντέλα σας συμπεριφέρονται έξω από τα επιθυμητά όρια, είναι κρίσιμα.

Η διαχείριση του κινδύνου μοντέλου (MRM) πρέπει επίσης να λάβει υπόψη τους διαφορετικούς ανθρώπους που εμπλέκονται στην ανάπτυξη και την ανάπτυξη του μοντέλου. Ποια έλεγχος πρόσβασης έχετε θέσει στη θέση σας για να διασφαλίσετε την ακεραιότητα των μοντέλων; Ή πώς να διασφαλίσετε ότι άτομα από διαφορετικές ομάδες δεν χρησιμοποιούν τα μοντέλα σας για περιπτώσεις που τα μοντέλα σας δεν είναι σχεδιασμένα να κάνουν; Όλα αυτά είναι ερωτήσεις που οι ομάδες πρέπει να κάνουν στον εαυτό τους.

Πώς η Datatron βοηθά στη διαχείριση του κινδύνου μοντέλου;

Το MLOps επιτρέπει γρήγορες ενημερώσεις και αλλαγές μοντέλων. Για παράδειγμα, αν ένα μοντέλο απορρίπτει αδικαιολόγητα ανθρώπους σε μια αίτηση δανείου, το MLOps σας επιτρέπει να πάρτε το μοντέλο πίσω και να εισαγάγετε ένα νέο, διαχειριζόμενο τον κίνδυνο με ένα απλό τρόπο.

Προστατεύει τα μοντέλα από μια παρέκκλιση και διατηρεί τα κρίσιμα μετρικά ενώ βρίσκεται σε παραγωγή μέσω ενός απλού πίνακα που παρουσιάζει αυτά τα μετρικά χρησιμοποιώντας βαθιά λεπτομερή δεδομένα από μια υψηλή επισκόπηση που μπορεί να κατανοηθεί εύκολα από τους επιχειρηματίες.

Η πλατφόρμα AI της Datatron διακυβέρνηση παρέχει ένα επίπεδο πάνω από μια γενική δυνατότητα παρακολούθησης – δίνοντας πρόσθετη контекστο και λογική που παρουσιάζει σαφή ορατότητα του μοντέλου που είναι πιο σχετικά με τις περιπτώσεις χρήσης του πελάτη.

Σε ένα άρθρο στη Datatron, περιγράψατε πώς η Datatron ανέλαβε το σύνθημα του Reliable AI™. Θα μπορούσατε να περιγράψετε τι είναι αυτό;

Όταν δημιουργήσαμε αυτό, σκεφτήκαμε πώς είμαστε τόσο άνετοι να πετάμε σε εμπορικά αεροπλάνα σήμερα επειδή είναι πολύ αξιόπιστα.

Παρά όλες τις συζητήσεις για ηθικό AI, υπεύθυνο AI, κ.λπ. η κρίσιμη ανάγκη είναι για τις επιχειρήσεις να μπορούν να χρησιμοποιήσουν το AI/ML αξιόπιστα – όπως αν οι υπαλλήλοι τους θα πήγαιναν σε ένα εμπορικό αεροπλάνο.

Η χρήση όρων όπως ηθικό AI, υπεύθυνο AI έχει πραγματικά προκύψει από το ζήτημα των τρέχοντων μοντέλων AI που δεν κάνουν αυτό που πρέπει, και επομένως είναι αξιόπιστα. Οι επιχειρήσεις δεν είναι πρόθυμες να χρησιμοποιήσουν το AI επειδή δεν έχουν εμπιστοσύνη ότι τα μοντέλα τους δεν είναι προκατειλημμένα. Αυτό σημαίνει ότι τα μοντέλα τους είναι αξιόπιστα και η Datatron έχει ως στόχο να αλλάξει αυτό.

Υπάρχει κάτι άλλο που θα θέλατε να μοιραστείτε για τη Datatron;

Είμαστε einer από τις λίγες MLOps παίκτες που είναι Super Bowl αποδεδειγμένοι – εργαζόμαστε επιτυχώς σε một υψηλής πίεσης σενάριο, το οποίο δεν είναι τυπικό για μια startup ή ανοιχτό εργαλείο. Ο πελάτης, Domino’s Pizza , εργάζεται με τη Datatron για να operationalize εύκολα και γρήγορα τα μοντέλα AI σε παραγωγή, τα οποία στη συνέχεια τέθηκαν στο απόλυτο τεστ κατά τη διάρκεια του Super Bowl.

Το MLOps είναι πραγματικά ο τρόπος για να βοηθήσει τα μοντέλα AI/ML να μπουν σε παραγωγή ενώ διατηρούν τους πόρους και μειώνουν το κόστος. Είμαστε μια βιώσιμη πηγή για επιτυχημένα μοντέλα AI/ML και λειτουργούμε ως καταλύτης για έσοδα. Οι εταιρείες μπορούν τελικά να πάρουν το ROI τους από τα projecτς AI και ML. Ανεξάρτητα από τα περιθώρια σας, μπορείτε να παράγετε αποτελέσματα χρησιμοποιώντας MLOps.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που θέλουν να μάθουν περισσότερα πρέπει να επισκεφθούν Datatron.