Ο Andrew Ng Κριτικάρει τον Πολιτισμό της Υπερπροσαρμογής στη Μηχανική Μάθηση

Ο Andrew Ng, einer των πιο επιφανών φωνών στη μηχανική μάθηση τα τελευταία δέκα χρόνια, εκφράζει τώρα ανησυχίες σχετικά με το βαθμό στον οποίο ο τομέας τονίζει τις καινοτομίες στην αρχιτεκτονική μοντέλων έναντι των δεδομένων – και συγκεκριμένα, το βαθμό στον οποίο επιτρέπει τα “υπερπροσαρμοσμένα” αποτελέσματα να απεικονίζονται ως γενικευμένες λύσεις ή προόδους.

Αυτές είναι εκτενείς κριτικές του τρέχοντος πολιτισμού της μηχανικής μάθησης, που προέρχονται από έναν από τους υψηλότερους αρχές του, και έχουν επιπτώσεις στην εμπιστοσύνη σε έναν τομέα που πλήττεται από φόβους για μια τρίτη κατάρρευση της επιχειρηματικής εμπιστοσύνης στην ανάπτυξη της τεχνητής νοημοσύνης σε ένα διάστημα εξήντα ετών.

Ο Ng, καθηγητής στο Πανεπιστήμιο του Στάνφορντ, είναι επίσης ένας από τους ιδρυτές της deeplearning.ai, και τον Μάρτιο δημοσίευσε một μηνύματα στον ιστότοπο του οργανισμού που αποσταλώνει ένα πρόσφατο λόγο του σε μερικές βασικές συστάσεις:

Πρώτον, ότι η ερευνητική κοινότητα πρέπει να σταματήσει να παραπονιέται ότι η καθαρισμός των δεδομένων αντιπροσωπεύει το 80% των προκλήσεων στη μηχανική μάθηση, και να προχωρήσει στη δουλειά της ανάπτυξης robust MLOps μεθοδολογιών και πρακτικών.

Δεύτερον, ότι πρέπει να μετακινηθεί μακριά από τις “εύκολες νίκες” που μπορούν να επιτευχθούν με την υπερπροσαρμογή των δεδομένων σε ένα μοντέλο μηχανικής μάθησης, ώστε να εκτελεστεί καλά σε αυτό το μοντέλο αλλά να αποτύχει να γενικευτεί ή να παράγει ένα ευρέως αναployable μοντέλο.

Αποδοχή της Πρόκλησης της Αρχιτεκτονικής και της Διαχείρισης των Δεδομένων

“Η άποψή μου”, έγραψε ο Ng, “είναι ότι αν το 80% της δουλειάς μας είναι η προετοιμασία των δεδομένων, τότε η διασφάλιση της ποιότητας των δεδομένων είναι η σημαντική δουλειά μιας ομάδας μηχανικής μάθησης.”

Συνέχισε:

‘Αντί να βασίζουμε τους μηχανικούς να βρουν τυχαία τον καλύτερο τρόπο να βελτιώσουν ένα σύνολο δεδομένων, ελπίζω ότι μπορούμε να αναπτύξουμε εργαλεία MLOps που θα βοηθήσουν να κάνουν την κατασκευή συστημάτων τεχνητής νοημοσύνης, συμπεριλαμβανομένης της κατασκευής υψηλής ποιότητας συνόλων δεδομένων, πιο επαναλαμβανόμενη και συστηματική.

‘Η MLOps είναι ένα νεαρό πεδίο, και διαφορετικά άτομα την ορίζουν διαφορετικά. Nhưng νομίζω ότι η πιο σημαντική αρχή οργάνωσης των ομάδων και των εργαλείων MLOps πρέπει να είναι να διασφαλίσουν τη συνεχή και υψηλής ποιότητας ροή των δεδομένων σε όλα τα στάδια ενός έργου. Αυτό θα βοηθήσει πολλά έργα να προχωρήσουν πιο ομαλά.’

Μιλώντας στο Zoom σε μια ζωντανή συνεδρία Q&A στο τέλος Απριλίου, ο Ng αναφέρθηκε στην ελλειπή εφαρμογή των συστημάτων ανάλυσης μηχανικής μάθησης για την ακτινολογία:

“Βγαίνει ότι όταν συλλέγουμε δεδομένα από το Νοσοκομείο του Στάνφορντ, και στη συνέχεια εκπαιδεύουμε και δοκιμάζουμε δεδομένα από το ίδιο νοσοκομείο, πράγματι, μπορούμε να δημοσιεύσουμε έγγραφα που δείχνουν [τα αλγόριθμοι] είναι συγκρίσιμοι με τους ανθρώπινους ακτινολόγους στην ανίχνευση ορισμένων καταστάσεων.

“…[Όταν] παίρνουμε το ίδιο μοντέλο, το ίδιο σύστημα τεχνητής νοημοσύνης, σε ένα παλαιότερο νοσοκομείο κάτω από το δρόμο, με μια παλαιότερη μηχανή, και ο τεχνικός χρησιμοποιεί μια ελαφρώς διαφορετική πρωτόκολλο απεικόνισης, τα δεδομένα οδηγούν σε μια σημαντική μείωση της απόδοσης του συστήματος τεχνητής νοημοσύνης. Σε αντίθεση, οποιοσδήποτε ανθρώπινος ακτινολόγος μπορεί να περπατήσει στο παλαιότερο νοσοκομείο και να κάνει καλά.”

Η Υποκατάσταση Δεν Είναι Μια Λύση

Η υπερπροσαρμογή συμβαίνει όταν ένα μοντέλο μηχανικής μάθησης σχεδιάζεται ειδικά για να προσαρμοστεί στις ιδιομορφίες ενός συγκεκριμένου συνόλου δεδομένων (ή του τρόπου με τον οποίο τα δεδομένα είναι διαμορφωμένα). Αυτό μπορεί να περιλαμβάνει, για παράδειγμα, την ορισμό βαρών που θα παράγουν καλά αποτελέσματα από αυτό το σύνολο δεδομένων, αλλά δεν θα “γενικευτούν” σε άλλα δεδομένα.

Σε πολλές περιπτώσεις, τέτοιες παραμέτρους ορίζονται σε “μη-δεδομένα” аспектς του συνόλου εκπαίδευσης, όπως η συγκεκριμένη ανάλυση των συλλεγμένων πληροφοριών, ή άλλες ιδιομορφίες που δεν εγγυώνται ότι θα επαναλαμβάνονται σε άλλα μεταγενέστερα σύνολα δεδομένων.

Αν και θα ήταν ωραίο, η υπερπροσαρμογή δεν είναι ένα πρόβλημα που μπορεί να λυθεί με την τυφλή διεύρυνση του πεδίου ή της ευελιξίας της αρχιτεκτονικής των δεδομένων ή του σχεδιασμού του μοντέλου, όταν αυτό που χρειάζεται είναι ευρέως εφαρμόσιμες και υψηλής σημασίας χαρακτηριστικά που θα εκτελεστούν καλά σε ένα φάσμα περιβαλλόντων δεδομένων – μια πιο δυσχερής πρόκληση.

Σε γενικές γραμμές, αυτό το είδος “υποκατάστασης” οδηγεί μόνο στα προβλήματα που ο Ng έχει περιγράψει πρόσφατα, όπου ένα μοντέλο μηχανικής μάθησης αποτυγχάνει σε μη είδη δεδομένα. Η διαφορά σε αυτή την περίπτωση είναι ότι το μοντέλο αποτυγχάνει όχι επειδή τα δεδομένα ή η μορφοποίηση των δεδομένων διαφέρουν από το υπερπροσαρμοσμένο αρχικό σύνολο εκπαίδευσης, αλλά επειδή το μοντέλο είναι πολύ ευέλικτο αντί για πολύ σκληρό.

Τον Δεκέμβριο του 2020, η έρευνα Η Υποκατάσταση Παρουσιάζει Προκλήσεις για την Πιστότητα στη Μοντέρνα Μηχανική Μάθηση κατηγόρησε έντονα αυτή την πρακτική, και φέρει τα ονόματα τουλάχιστον σαράντα ερευνητών και επιστημόνων της μηχανικής μάθησης από την Google και το MIT, μεταξύ άλλων ιδρυμάτων.

Η έρευνα κριτικάρει την “συντόμευση της μάθησης” και παρατηρεί τον τρόπο με τον οποίο τα υποκαταστημένα μοντέλα μπορούν να ξεκινήσουν σε τυχαίες κατευθύνσεις με βάση το τυχαίο σημείο εκκίνησης με το οποίο αρχίζει η εκπαίδευση του μοντέλου. Οι συντελεστές παρατηρούν:

‘Έχουμε δει ότι η υποκατάσταση είναι πανταχού παρούσα στις πρακτικές πipelines της μηχανικής μάθησης σε πολλά πεδία. Πράγματι, χάρη στην υποκατάσταση, ουσιαστικά σημαντικά аспектς των αποφάσεων καθορίζονται από τυχαίες επιλογές, όπως το τυχαίο σπόρο που χρησιμοποιείται για την αρχικοποίηση των παραμέτρων.’

Οικονομικές Επιβεβαιώσεις της Αλλαγής του Πολιτισμού

Παρά τις ακαδημαϊκές του πιστεύω, ο Ng δεν είναι ένας αέρας ακαδημαϊκός, αλλά έχει βαθιά και υψηλό επίπεδο βιομηχανικής εμπειρίας ως συνιδρυτής του Google Brain και του Coursera, ως πρώην επικεφαλής επιστήμονας για τα Μεγάλα Δεδομένα και την Τεχνητή Νοημοσύνη στη Baidu, και ως ο ιδρυτής της Landing AI, η οποία διαχειρίζεται 175 εκατομμύρια δολάρια για новые startups στον τομέα.

Όταν λέει “Όλη η Τεχνητή Νοημοσύνη, όχι μόνο η υγεία, έχει ένα χάσμα μεταξύ της απόδειξης της концепτός και της παραγωγής”, προορίζεται ως ένα ξύπνημα για τον τομέα, του οποίου το τρέχον επίπεδο υπερβολής και σημαδεύεται από προβλήματα ορισμού και εύρους.

Παρά ταύτα, τα ιδιόκτητα συστήματα μηχανικής μάθησης που λειτουργούν καλά στο εσωτερικό και αποτυγχάνουν σε άλλα περιβάλλοντα αντιπροσωπεύουν τον τύπο της αγοράς που θα ανταποκριθεί στην επένδυση της βιομηχανίας. Η παρουσίαση του “προβλήματος της υπερπροσαρμογής” στο контέκστ της επαγγελματικής πρόκλησης προσφέρει einen δόλιο τρόπο να монетиз την εταιρική επένδυση στην ανοιχτή έρευνα, και να παράγει (πρακτικά) ιδιόκτητα συστήματα όπου η αναπαραγωγή από τους ανταγωνιστές είναι δυνατή, αλλά προβληματική.

Εάν αυτό το πρόβλημα θα λυθεί στο μακρότερο χρονικό διάστημα, εξαρτάται από το βαθμό στον οποίο οι πραγματικές προόδους στη μηχανική μάθηση θα συνεχίσουν να απαιτούν πάντα μεγαλύτερες επενδύσεις, και εάν όλοι οι παραγωγικοί στόχοι θα μεταναστεύσουν αναπόφευκτα στη FAANG σε κάποιο βαθμό, λόγω των κολοσσιαίων πόρων που απαιτούνται για τη φιλοξενία και τις επιχειρήσεις.