Wilson Pang, Συνσυγγραφέας του Real World AI – Σειρά Συνεντεύξεων

Ο Wilson Pang εντάχθηκε στην Appen τον Νοέμβριο του 2018 ως CTO και είναι υπεύθυνος για τα προϊόντα και την τεχνολογία της εταιρείας. Ο Wilson έχει πάνω από δεκαεννέα χρόνια εμπειρίας σε λογισμικό και επιστήμη δεδομένων. Πριν ενταχθεί στην Appen, ο Wilson ήταν chief data officer της Ctrip στην Κίνα, της δεύτερης μεγαλύτερης εταιρείας διαδικτυακών ταξιδιών στον κόσμο, όπου ηγήθηκε ομάδων μηχανικών δεδομένων, αναλυτών, product managers δεδομένων και επιστημόνων για τη βελτίωση της εμπειρίας του χρήστη και την αύξηση της λειτουργικής αποδοτικότητας που μεγάλωσε την επιχείρηση. Πριν από αυτό, ήταν senior director μηχανικής στην eBay στην Καλιφόρνια και παρείχε ηγετική θέση σε διάφορους τομείς, συμπεριλαμβανομένων των υπηρεσιών και λύσεων δεδομένων, επιστήμης αναζήτησης, τεχνολογίας μάρκετινγκ και συστημάτων χρέωσης. Εργάστηκε ως αρχιτέκτονας στην IBM πριν από την eBay, κατασκευάζοντας τεχνολογικές λύσεις για διάφορους πελάτες. Ο Wilson απέκτησε το master και το πτυχίο του σε ηλεκτρολογικό μηχανικό από το Πανεπιστήμιο Zhejiang στην Κίνα.

Συζητάμε για το νέο του βιβλίο: Το Πραγματικό Κόσμο του AI: Ένας Πρακτικός Οδηγός για Ευθύνη Μηχανικής Μάθησης

Περιγράψτε πώς όταν ηγήθηκες των ομάδων επιστήμης αναζήτησης της eBay, μια από τις πρώτες μαθήσεις σας με τη μηχανική μάθηση ήταν η κατανόηση της σημασίας της γνώσης ποια μετρικά να μετρήσετε. Το παράδειγμα που δόθηκε ήταν πώς το μετρικό “αγορές ανά συνεδρία” δεν έλαβε υπόψη την οικονομική αξία ενός αντικειμένου. Πώς μπορούν οι εταιρείες να κατανοήσουν ποια μετρικά χρειάζεται να μετρήσουν για να αποφύγουν παρόμοια ζητήματα;

Ξεκινήστε με τους στόχους που η ομάδα σας αποδίδει στο μοντέλο AI – στην περίπτωσή μας, θέλαμε να οδηγήσουμε περισσότερα έσοδα με τη μηχανική μάθηση. Όταν συνδέσετε μετρικά με τους στόχους, σκεφτείτε ποια μηχανικά αυτά τα μετρικά θα παράγουν, μια φορά που θα κυκλοφορήσετε το μοντέλο και οι άνθρωποι θα αρχίσουν να αλληλεπιδρούν με αυτό, αλλά και να σημειώσετε τις υποθέσεις σας. Στην περίπτωσή μας, υποθέσαμε ότι το μοντέλο θα βελτιστοποιήσει τα έσοδα, αλλά ο αριθμός των αγορών ανά συνεδρία δεν μεταφράστηκε σε αυτό, επειδή το μοντέλο βελτιστοποιούσε για υψηλό αριθμό πωλήσεων χαμηλής αξίας, και στο τέλος της ημέρας δεν κερδίζαμε περισσότερα χρήματα. Μόλις συνειδητοποιήσαμε αυτό, μπορούσαμε να αλλάξουμε τα μετρικά και να οδηγήσουμε το μοντέλο στη σωστή κατεύθυνση. Έτσι, η καθορισμός των λεπτομερών μετρικών, καθώς και η σημείωση των υποθέσεων είναι κρίσιμες για την επιτυχία του έργου.

Τι έμαθε προσωπικά από την έρευνα και τη συγγραφή αυτού του βιβλίου;

Έχουμε πολλά διαφορετικά προβλήματα που μπορούν να λυθούν από το AI από διαφορετικές εταιρείες και βιομηχανίες. Οι περιπτώσεις χρήσης μπορούν να είναι πολύ διαφορετικές, η λύση AI μπορεί να είναι διαφορετική, τα δεδομένα για την εκπαίδευση της λύσης AI μπορεί να είναι διαφορετικά. Ωστόσο, παρά όλες αυτές τις διαφορές, τα λάθη που έγιναν κατά τη διάρκεια του ταξιδιού AI είναι khá παρόμοια. Αυτά τα λάθη συνέβησαν ξανά και ξανά σε όλων των ειδών τις εταιρείες από όλων των ειδών τις βιομηχανίες.

Μοιραζόμαστε ορισμένες κοινές besten πρακτικές όταν εφαρμόζουμε έργα AI με την ελπίδα να βοηθήσουμε περισσότερους ανθρώπους και εταιρείες να αποφύγουν αυτά τα λάθη και να κερδίσουν την εμπιστοσύνη να αναπτύξουν υπεύθυνο AI.

Ποια είναι κάποια από τα πιο σημαντικά μαθήματα που ελπίζετε ότι οι άνθρωποι θα πάρουν από την ανάγνωση αυτού;

Πιστεύουμε έντονα ότι οι σκέπτες, υπεύθυνες και ηθικές χρήσεις της τεχνολογίας μηχανικής μάθησης μπορούν να κάνουν τον κόσμο ένα πιο δίκαιο, δίκαιο και περιεκτικό τόπο. Η τεχνολογία μηχανικής μάθησης υποσχέται να αναμορφώσει όλα τα πράγματα σε όλο τον επιχειρηματικό κόσμο, αλλά δεν πρέπει να είναι δύσκολο. Υπάρχουν δοκιμασμένες και εγκεκριμένες μεθόδους και διαδικασίες που οι ομάδες μπορούν να ακολουθήσουν και να κερδίσουν την εμπιστοσύνη να αναπτύξουν παραγωγή.

Ένα άλλο κρίσιμο μάθημα είναι ότι οι ιδιοκτήτες της γραμμής επιχείρησης (όπως οι product managers) και τα μέλη της ομάδας στην πιο τεχνική πλευρά (όπως οι μηχανικοί και οι επιστήμονες δεδομένων) χρειάζεται να μιλήσουν μια κοινή γλώσσα. Για να αναπτύξουν επιτυχώς AI, οι ηγέτες πρέπει να γεφυρώσουν το χάσμα μεταξύ των ομάδων, παρέχοντας στους ειδικούς επιχειρήσεων και στο C-level αρκετό περιεχόμενο για να συνομιλήσουν αποτελεσματικά με τους τεχνικούς実施ers.

Πολλοί άνθρωποι σκέφτονται πρώτα τον κώδικα όταν σκέφτονται το AI. Ένα από τα κρίσιμα μαθήματα στο βιβλίο είναι ότι τα δεδομένα είναι κρίσιμα για την επιτυχία του μοντέλου AI. Υπάρχει πολύ που συνδέεται με τα δεδομένα από τη συλλογή έως την ετικέτα, την αποθήκευση και κάθε βήμα θα επηρεάσει την επιτυχία του μοντέλου. Οι πιο επιτυχημένες αναπτύξεις AI είναι αυτές που δίνουν μεγάλη έμφαση στα δεδομένα και αγωνίζονται να βελτιώσουν συνεχώς αυτό το аспект του μοντέλου ML.

Όλα τα πραγματικά AI απαιτούν μια διαλειτουργική ομάδα και einen καινοτόμο πνεύμα.

Συζητείται η καθορισμός του πότε ένα μοντέλο AI έχει αρκετή ακρίβεια για να υποστηρίξει τη χρήση AI. Ποια είναι ο ευκολότερος τρόπος για να αξιολογήσετε τον τύπο ακρίβειας που χρειάζεται;

Εξαρτάται από τις περιπτώσεις χρήσης και την αντοχή στο ρίσκο. Οι ομάδες που αναπτύσσουν AI πρέπει πάντα να έχουν μια φάση δοκιμών όπου καθορίζουν τα επίπεδα ακρίβειας και τα αποδεκτά όρια για τις οργανώσεις και τους μετόχους. Για περιπτώσεις χρήσης ζωής ή θανάτου – όπου υπάρχει πιθανότητα βλάβης αν το AI πάει λάθος, όπως στην περίπτωση λογισμικού δίωξης, αυτονομικών οχημάτων, ιατρικών περιπτώσεων, η μπάρα είναι πολύ υψηλή – και οι ομάδες πρέπει να τοποθετήσουν μέτρα σε περίπτωση που τα μοντέλα είναι λάθος. Για περιπτώσεις χρήσης που είναι πιο ανεκτικές σφαλμάτων – όπου υπάρχει πολλή υποκειμενικότητα – όπως περιεχόμενο, αναζήτηση ή σχετικότητα διαφημίσεων, οι ομάδες μπορούν να βασιστούν στις ανατροφοδοτήσεις των χρηστών για να συνεχίσουν να điều chỉnhουν τα μοντέλα τους ακόμη και κατά τη διάρκεια της παραγωγής. Βέβαια, υπάρχουν ορισμένες περιπτώσεις υψηλού ρίσκου εδώ, όπου μπορεί να εμφανιστεί μη法ικό ή αморφότερο υλικό στους χρήστες, οπότε πρέπει να υπάρχουν μέτρα και μηχανισμοί ανατροφοδότησης.

Μπορείτε να ορίσετε τη σημασία της ορισμού της επιτυχίας για ένα έργο από την αρχή;

Είναι εξίσου σημαντικό να ξεκινήσετε με ένα επιχειρηματικό πρόβλημα, όσο και να ορίσετε την επιτυχία από την αρχή, καθώς τα δύο πηγαίνουν χέρι χέρι. Ακολουθώντας το παράδειγμα στο βιβλίο σχετικά με τον αυτοκινητοβιομηχάνη που χρησιμοποιεί AI για να ετικετάρει εικόνες, δεν καθόρισαν τι σημαίνει επιτυχία, επειδή δεν είχαν ορίσει ένα επιχειρηματικό πρόβλημα να λυθεί. Η επιτυχία για αυτούς θα μπορούσε να ήταν πολλά διαφορετικά πράγματα, που καθιστά δύσκολο να λυθεί ένα πρόβλημα, ακόμη και για ομάδες ανθρώπων, όχι μόνο για ένα μοντέλο μηχανικής μάθησης με einen σταθερό scopo. Αν είχαν ορίσει την επιτυχία ως την ετικέτα όλων των οχημάτων με δακτυλίους για να δημιουργήσουν μια λίστα οχημάτων που χρειάζονται επισκευή και είχαν ορίσει την επιτυχία ως την ακριβή ετικέτα 80% όλων των δακτυλίων στα używanych οχήματα, τότε όταν θα είχαν ετικετεύσει ακριβώς 85%, η ομάδα θα είχε ονομάσει αυτό μια επιτυχία. Αλλά αν αυτή η επιτυχία δεν συνδέεται με το επιχειρηματικό πρόβλημα και με την άμεση επιχειρηματική επίδραση, είναι δύσκολο να αξιολογήσετε το έργο εκτός της εστίασης ορισμού ακρίβειας ετικέτας σε αυτό το παράδειγμα. Εδώ, το επιχειρηματικό πρόβλημα ήταν πιο σύνθετο, και η ετικέτα δακτυλίων είναι μόνο ένα компонент του. Σε αυτήν την περίπτωση, θα ήταν καλύτερο να ορίσουν την επιτυχία ως εξοικονόμηση χρόνου/χρημάτων στη διαδικασία αξίωσης ή την βελτίωση της διαδικασίας επισκευής κατά X% και στη συνέχεια να μεταφράσουν την επίδραση ετικέτας σε πραγματικές επιχειρηματικές αποτελέσματα.

Πόσο σημαντικό είναι να διασφαλιστεί ότι τα παραδείγματα δεδομένων εκπαίδευσης καλύπτουν όλες τις περιπτώσεις χρήσης που θα συμβούν στη διαδικασία παραγωγής;

Είναι εξαιρετικά σημαντικό ότι το μοντέλο πρέπει να εκπαιδευτεί σε όλες τις περιπτώσεις χρήσης για να αποφευχθεί η προκατάληψη. Αλλά είναι επίσης σημαντικό να σημειωθεί ότι, ενώ είναι αδύνατο να καλύψετε απόλυτα όλες τις περιπτώσεις χρήσης στην παραγωγή, οι ομάδες που xây dựng AI πρέπει να κατανοήσουν τα δεδομένα παραγωγής, καθώς και τα δεδομένα εκπαίδευσης, ώστε να εκπαιδεύσουν το AI για αυτό που θα συναντήσει στην παραγωγή. Η πρόσβαση σε δεδομένα εκπαίδευσης που προέρχονται από μεγάλες και διαφορετικές ομάδες με διάφορες περιπτώσεις χρήσης θα είναι κρίσιμη για την επιτυχία του μοντέλου. Για παράδειγμα, ένα μοντέλο που έχει εκπαιδευτεί για να αναγνωρίσει τα κατοικίδια ζώα σε μια ανεβαμένη εικόνα πρέπει να έχει εκπαιδευτεί σε όλα τα είδη κατοικίδιων ζώων: σκύλους, γάτες, πουλιά, μικρά θηλαστικά, ερπετά κ.λπ. Αν το μοντέλο έχει εκπαιδευτεί μόνο σε σκύλους, γάτες και πουλιά, τότε όταν κάποιος ανεβάσει μια εικόνα με το γουίνι πίγκουιν, το μοντέλο δεν θα μπορέσει να το αναγνωρίσει. Ενώ αυτό είναι ένα πολύ απλό παράδειγμα, δείχνει πώς η εκπαίδευση σε όλα τα πιθανά παραδείγματα χρήσης είναι κρίσιμη για την επιτυχία του μοντέλου.

Συζητείται στο βιβλίο η ανάγκη να αναπτύξουν καλές συνήθειες υγιεινής δεδομένων από την κορυφή προς τα κάτω, ποια είναι ορισμένα κοινά πρώτα βήματα για να καλλιεργήσετε αυτήν τη συνήθεια;

Οι καλές συνήθειες υγιεινής δεδομένων θα αυξήσουν τη δυνατότητα χρήσης των εσωτερικών δεδομένων και θα τις προετοιμάσουν για περιπτώσεις χρήσης ML. Όλη η εταιρεία πρέπει να γίνει καλή στην οργάνωση και τη διατήρηση των συνόλων δεδομένων. Ένας βέβαιος τρόπος για να το πετύχετε αυτό είναι να το κάνετε ένα επιχειρηματικό απαιτούμενο και να το παρακολουθήσετε, ώστε να υπάρχουν πολύ λίγα αναφορές που θα είναι ειδικές εργασίες, και οι ομάδες θα δουλεύουν περισσότερο και περισσότερο με δεδομένα που κατευθύνονται σε ένα κεντρικό αποθετήριο, με μια σαφή οντολογία. Μια άλλη καλή πρακτική είναι να κρατήσετε ένα αρχείο όταν και πού τα δεδομένα συλλέχθηκαν και τι συνέβη σε αυτά πριν τα τοποθετήσετε στη βάση δεδομένων, καθώς και να καθορίσετε διαδικασίες για την καθαρισμό μη χρησιμοποιημένων ή παλαιών δεδομένων περιοδικά.

Ευχαριστούμε για τη μεγάλη συνέντευξη, για τους αναγνώστες που ενδιαφέρονται να μάθουν περισσότερα, σας συνιστούμε να διαβάσετε το βιβλίο Το Πραγματικό Κόσμο του AI: Ένας Πρακτικός Οδηγός για Ευθύνη Μηχανικής Μάθησης.