Ανθεκτικότητα > Ακρίβεια: Γιατί η «ανθεκτικότητα του μοντέλου» πρέπει να είναι το πραγματικό μέτρο για την επιχειρηματική εκμετάλλευση των μοντέλων

Από τον Ingo Mierswa, Ιδρυτή, Πρόεδρος & Αρχιστράτηγα Δεδομένων στην RapidMiner.

Η επιστήμη των δεδομένων έχει κάνει κάποια εξαιρετικά προγράμματα τα τελευταία χρόνια και πολλές οργανώσεις χρησιμοποιούν προηγμένες αναλύσεις ή μοντέλα μηχανικής μάθησης για να λάβουν βαθύτερες γνώσεις για τις διαδικασίες και, σε ορισμένες περιπτώσεις, ακόμη και για να προβλέψουν πιθανές εξελίξεις για το μέλλον. Για άλλες «επιστήμες», δεν είναι σαφές αν ένα έργο θα είναι επιτυχημένο ή όχι, και υπάρχουν αναφορές ότι το 87% των έργων επιστήμης δεδομένων δεν φτάνει ποτέ στην παραγωγή. Ενώ δεν μπορεί να αναμενθεί ποσοστό επιτυχίας 100%, υπάρχουν κάποια μοτίβα σε έργα επιστήμης δεδομένων που οδηγούν σε υψηλότερα ποσοστά επιτυχίας από ό,τι θα έπρεπε να θεωρηθούν αποδεκτά στο πεδίο. Αυτά τα προβληματικά μοτίβα φαίνεται να υπάρχουν ανεξάρτητα από οποιαδήποτε συγκεκριμένη βιομηχανία ή περίπτωση χρήσης, υποδεικνύοντας ότι υπάρχει ένα καθολικό πρόβλημα στην επιστήμη των δεδομένων που πρέπει να αντιμετωπιστεί.

Μέτρηση της επιτυχίας της μηχανικής μάθησης

Οι επιστήμονες δεδομένων που δημιουργούν μοντέλα μηχανικής μάθησης (ML) βασίζονται σε καλά καθορισμένα μαθηματικά κριτήρια για να μετρήσουν πόσο καλά αυτά τα μοντέλα εκτελούνται. Ποιο από αυτά τα κριτήρια εφαρμόζεται κυρίως εξαρτάται από τον τύπο του μοντέλου. Ας υποθέσουμε ότι ένα μοντέλο πρέπει να προβλέψει κατηγορίες ή κατηγορίες για νέες καταστάσεις — για παράδειγμα, αν ένας πελάτης θα εγκαταλείψει ή όχι. Σε καταστάσεις όπως αυτές, οι επιστήμονες δεδομένων θα χρησιμοποιούσαν μετρήσεις όπως η ακρίβεια (πόσο συχνά το μοντέλο είναι σωστό) ή η ακρίβεια (πόσο συχνά οι πελάτες εγκαταλείπουν αν προβλέψουμε εγκατάλειψη).

Οι επιστήμονες δεδομένων χρειάζονται αντικειμενικά κριτήρια όπως αυτά γιατί μέρος του έργου τους είναι να βελτιώσουν αυτά τα αξιολογικά κριτήρια για να παράγουν το καλύτερο μοντέλο. Στην πραγματικότητα, εκτός από την προετοιμασία των δεδομένων για να είναι έτοιμα για μοντελοποίηση, η δημιουργία και η ρύθμιση των μοντέλων είναι εκεί όπου οι επιστήμονες δεδομένων δαπανάνε το μεγαλύτερο μέρος του χρόνου τους.

Το μειονέκτημα αυτού είναι ότι οι επιστήμονες δεδομένων δεν εστιάζουν πραγματικά πολύ στην τοποθέτηση αυτών των μοντέλων στην παραγωγή, το οποίο είναι ένα ζήτημα για περισσότερο από ένα λόγο. Πρώτα και κύρια, τα μοντέλα που δεν παράγουν επιτυχημένα αποτελέσματα δεν μπορούν να χρησιμοποιηθούν για τη δημιουργία επιχειρηματικού αντικτύπου για τις οργανώσεις που τα αναπτύσσουν. Δεύτερον, επειδή αυτές οι οργανώσεις έχουν δαπανήσει χρόνο και χρήματα για την ανάπτυξη, την εκπαίδευση και την επιχειρηματική εκμετάλλευση μοντέλων που δεν έχουν παράγει επιτυχημένα αποτελέσματα όταν εκτελούνται με «πραγματικά» δεδομένα, είναι πιο πιθανό να θεωρήσουν τη μηχανική μάθηση και άλλα εργαλεία επιστήμης δεδομένων ως άχρηστα για την οργάνωσή τους και να αρνηθούν να προχωρήσουν με μελλοντικές πρωτοβουλίες επιστήμης δεδομένων.

Η αλήθεια είναι ότι οι επιστήμονες δεδομένων απλά απολαμβάνουν τη ρύθμιση των μοντέλων και δαπανάνε πολύ χρόνο σε αυτό. Αλλά χωρίς επιχειρηματικό αντίκτυπο, αυτός ο χρόνος δεν δαπανώνεται σοφά, το οποίο είναι ιδιαίτερα επώδυνο δεδομένου πόσο σπάνιο είναι το ресурс των επιστημόνων δεδομένων στον κόσμο σήμερα.

Το βραβείο Netflix και η αποτυχία παραγωγής

Έχουμε δει αυτό το φαινόμενο της υπερεπένδυσης στη δημιουργία μοντέλων και όχι στην επιχειρηματική εκμετάλλευση των μοντέλων να αναπτύσσεται τα τελευταία χρόνια. Το βραβείο Netflix (NFLX ) ήταν ένας ανοιχτός διαγωνισμός για το καλύτερο αλγόριθμο συνεργατικής φιλτραρίσματος για να προβλέψει τις βαθμολογίες των χρηστών για ταινίες. Αν σας δώσω μια υψηλή βαθμολογία σε μια νέα ταινία, είναι πιθανό να την απολαύσετε – έτσι, χρησιμοποιώντας αυτό το σύστημα βαθμολογίας, η Netflix θα σας προτείνει ορισμένες ταινίες και αν απολαύσετε το προτεινόμενο περιεχόμενο, είναι πιθανό να παραμείνετε περισσότερο ως πελάτης της Netflix. Το μεγάλο βραβείο ήταν το ποσό των 1 εκατομμυρίου δολαρίων, που δόθηκε στην ομάδα που μπόρεσε να βελτιώσει τον αλγόριθμο της Netflix τουλάχιστον κατά 10%.

Ο διαγωνισμός ξεκίνησε το 2006 και κατά τα επόμενα τρία χρόνια, οι συνεισφορές περισσότερων από 40.000 ομάδων επιστημόνων δεδομένων σε όλο τον κόσμο οδήγησαν σε μια εντυπωσιακή βελτίωση περισσότερο από 10% για την επιτυχία της σύστασης τίτλων. Ωστόσο, τα μοντέλα της νικήτριας ομάδας δεν αναπτύχθηκαν ποτέ. Η Netflix είπε ότι «η αύξηση της ακρίβειας δεν φαινόταν να δικαιολογεί την προσπάθεια που χρειαζόταν για να φέρουν αυτά τα μοντέλα στην παραγωγή».

Γιατί το βέλτιστο δεν είναι πάντα βέλτιστο

Η ακρίβεια του μοντέλου και άλλα κριτήρια επιστήμης δεδομένων έχουν χρησιμοποιηθεί για καιρό ως το μέτρο για τη μέτρηση της επιτυχίας ενός μοντέλου πριν από την τοποθέτησή του στην παραγωγή. Όπως έχουμε δει, πολλά μοντέλα δεν φτάνουν ποτέ σε αυτό το στάδιο – το οποίο είναι μια σπατάλη πόρων, τόσο σε ενέργεια όσο και σε χρόνο που δαπανώνεται.

Υπάρχουν όμως και άλλα προβλήματα με αυτήν την κουλτούρα της υπερεπένδυσης στη ρύθμιση του μοντέλου. Το πρώτο είναι η ακούσια υπερπροσαρμογή στα δεδομένα δοκιμής, η οποία θα οδηγήσει σε μοντέλα που φαίνονται καλά στον διαχειριστή δεδομένων, αλλά στην πραγματικότητα υποπερφόρμουν όταν βρίσκονται στην παραγωγή – đôiότερα ακόμη και προκαλούν ζημιά. Αυτό συμβαίνει για δύο λόγους:

1. Υπάρχει μια γνωστή ανισότητα μεταξύ του σφάλματος δοκιμής και εκείνου που θα δείτε στην παραγωγή
2. Ο επιχειρηματικός αντίκτυπος και τα κριτήρια απόδοσης της επιστήμης δεδομένων συχνά συσχετίζονται, αλλά τα «βέλτιστα» μοντέλα δεν πάντα παρέχουν τον μεγαλύτερο αντίκτυπο

Το πρώτο σημείο παραπάνω ονομάζεται επίσης «υπερπροσαρμογή στο σύνολο δοκιμής». Είναι ένα γνωστό φαινόμενο, ιδιαίτερα μεταξύ συμμετεχόντων σε διαγωνισμούς επιστήμης δεδομένων όπως αυτούς από την Kaggle. Για αυτούς τους διαγωνισμούς, μπορείτε να δείτε μια ισχυρότερη εκδοχή αυτού του φαινομένου ήδη μεταξύ του δημόσιου και του ιδιωτικού πίνακα επιδόσεων. Στην πραγματικότητα, ένας συμμετέχων θα μπορούσε να κερδίσει τον δημόσιο πίνακα επιδόσεων σε έναν διαγωνισμό Kaggle χωρίς να διαβάσει ποτέ τα δεδομένα. Παρόμοια, ο νικητής του ιδιωτικού πίνακα επιδόσεων και του συνολικού διαγωνισμού μπορεί να μην είχε παράγει ένα μοντέλο που θα μπορούσε να διατηρήσει την απόδοσή του σε οποιοδήποτε άλλο σύνολο δεδομένων εκτός από εκείνο στο οποίο είχε αξιολογηθεί.

Η ακρίβεια δεν ισούται με επιχειρηματικό αντίκτυπο

Για πολύ καιρό, έχουμε αποδεχθεί αυτήν την πρακτική, η οποία οδηγεί στην αργή προσαρμογή των μοντέλων στα σύνολα δοκιμής. Ως αποτέλεσμα, αυτό που φαίνεται να είναι το καλύτερο μοντέλο αποδεικνύεται να είναι μετρίως καλό το πολύ:

• Μετρήσεις όπως η προβλεπτική ακρίβεια συχνά δεν ισούνται με επιχειρηματικό αντίκτυπο
• Μια βελτίωση της ακρίβειας κατά 1% δεν μπορεί να μεταφραστεί σε 1% καλύτερο επιχειρηματικό αποτέλεσμα
• Υπάρχουν περιπτώσεις στις οποίες ένα μοντέλο χαμηλής απόδοσης υπερβαίνει άλλα, όσον αφορά τον επιχειρηματικό αντίκτυπο
• Άλλοι παράγοντες όπως η συντήρηση, η ταχύτητα βαθμολογίας ή η ανθεκτικότητα έναντι των αλλαγών με το χρόνο (που ονομάζεται «ανθεκτικότητα») πρέπει να ληφθούν υπόψη, επίσης.

Αυτό το τελευταίο σημείο είναι ιδιαίτερα σημαντικό. Τα καλύτερα μοντέλα δεν θα κερδίσουν μόνο διαγωνισμούς ή θα φανούν καλά στο εργαστήριο επιστήμης δεδομένων, αλλά θα αντέχουν στην παραγωγή και θα εκτελούνται καλά σε μια ποικιλία συνόλων δοκιμής. Αυτά τα μοντέλα είναι αυτά που αναφερόμαστε ως ανθεκτικά μοντέλα.

Διαρροή και η σημασία της ανθεκτικότητας

Όλα τα μοντέλα χειροτερεύουν με το χρόνο. Το μόνο ερώτημα είναι πόσο γρήγορα συμβαίνει αυτό και πόσο καλά το μοντέλο εξακολουθεί να εκτελείται υπό τις αλλαγμένες συνθήκες. Ο λόγος για αυτήν την χειροτέρευση είναι το γεγονός ότι ο κόσμος δεν είναι στατικός. Έτσι, τα δεδομένα στα οποία εφαρμόζεται το μοντέλο αλλάζουν επίσης με το χρόνο. Αν αυτές οι αλλαγές συμβαίνουν αργά, τις ονομάζουμε «διαρροή έννοιας». Αν οι αλλαγές συμβαίνουν απότομα, τις ονομάζουμε «αλλαγή έννοιας». Για παράδειγμα, οι πελάτες μπορεί να αλλάξουν τη συμπεριφορά τους αργά με το χρόνο, επηρεαζόμενοι από τάσεις και/ή μάρκετινγκ. Μοντέλα προβλέψεων μπορεί να μην λειτουργούν πλέον σε κάποιο σημείο. Αυτές οι αλλαγές μπορούν να επιταχυνθούν δραματικά σε ορισμένες περιπτώσεις. Το COVID-19, για παράδειγμα, έχει οδηγήσει στην πώληση προϊόντων όπως το χαρτί υγείας και τα απολυμαντικά – μια απροσδόκητη απότομη αύξηση σε ορισμένα προϊόντα, η οποία μπορεί να ρίξει τέτοια μοντέλα εντελώς εκτός πορείας.

Ένα ανθεκτικό μοντέλο μπορεί να μην είναι το καλύτερο μοντέλο με βάση μετρήσεις όπως η ακρίβεια ή η ακρίβεια, αλλά θα εκτελεστεί καλά σε μια ευρύτερη ποικιλία συνόλων δεδομένων. Για αυτόν τον λόγο, θα εκτελεστεί επίσης καλύτερα για μια μεγαλύτερη περίοδο χρόνου και θα είναι επομένως καλύτερο για να παράσχει συνεχιζόμενο επιχειρηματικό αντίκτυπο.

Τα γραμμικά και άλλα είδη απλών μοντέλων είναι συχνά πιο ανθεκτικά, επειδή είναι πιο δύσκολο να υπερπροσαρμοστούν σε ένα συγκεκριμένο σύνολο δοκιμής ή στιγμή στο χρόνο. Περισσότερα ισχυρά μοντέλα μπορούν και πρέπει να χρησιμοποιηθούν ως «αμφισβητίες» για ένα απλούστερο μοντέλο, επιτρέποντας στους επιστήμονες δεδομένων να δουν αν μπορεί επίσης να αντέξει με το χρόνο. Αλλά αυτό πρέπει να εφαρμοστεί στο τελικό σημείο, όχι στην αρχή του ταξιδιού μοντελοποίησης.

Ενώ ένα формικό KPI για τη μέτρηση της ανθεκτικότητας δεν έχει εισαχθεί ακόμη στο πεδίο της επιστήμης δεδομένων, υπάρχουν διάφοροι τρόποι με τους οποίους οι επιστήμονες δεδομένων μπορούν να αξιολογήσουν πόσο ανθεκτικά είναι τα μοντέλα τους:

• Μικρότερες τυπικές αποκλίσεις σε μια διασταύρωση-επαληθεύσεων σημαίνει ότι η απόδοση του μοντέλου εξαρτάτο λιγότερο από τις ιδιαιτερότητες των διαφορετικών συνόλων δοκιμής
• Ακόμη και αν οι επιστήμονες δεδομένων δεν εκτελούν πλήρεις διασταυρώσεις-επαληθεύσεων, μπορεί να χρησιμοποιήσουν δύο διαφορετικά σύνολα δεδομένων για δοκιμές και επικύρωση. Μικρότερη διαφορά μεταξύ των ποσοστών σφάλματος για τα σύνολα δοκιμής και επικύρωσης δείχνει υψηλότερη ανθεκτικότητα
• Αν το μοντέλο παρακολουθείται σωστά στην παραγωγή, τα ποσοστά σφάλματος μπορούν να φανούν με το χρόνο. Η σταθερότητα των ποσοστών σφάλματος με το χρόνο είναι ένα καλό σημάδι για την ανθεκτικότητα του μοντέλου.
• Αν η λύση παρακολούθησης του μοντέλου που επιλέγεται λαμβάνει υπόψη τη διαρροή, οι επιστήμονες δεδομένων πρέπει επίσης να προσεχτούν πόσο καλά το μοντέλο επηρεάζεται από αυτήν την είσοδο διαρροής.

Αλλαγή της κουλτούρας της επιστήμης δεδομένων

Μετά τη τοποθέτηση ενός μοντέλου στη φάση επιχειρηματικής εκμετάλλευσης, υπάρχουν ακόμη απειλές για την ακρίβεια του μοντέλου. Τα δύο τελευταία σημεία σχετικά με την ανθεκτικότητα του μοντέλου απαιτούν ήδη τη σωστή παρακολούθηση των μοντέλων στην παραγωγή. Ως σημείο εκκίνησης για μια αλλαγή της κουλτούρας στην επιστήμη δεδομένων, οι εταιρείες είναι καλά να επενδύσουν σε σωστή παρακολούθηση μοντέλων και να αρχίσουν να κάνουν τους επιστήμονες δεδομένων υπεύθυνους για την έλλειψη απόδοσης μετά την τοποθέτηση των μοντέλων στην παραγωγή. Αυτό θα αλλάξει αμέσως την κουλτούρα από μια κουλτούρα δημιουργίας μοντέλων σε μια κουλτούρα δημιουργίας και διατήρησης αξίας για το πεδίο της επιστήμης δεδομένων.

Όπως μας έχουν δείξει πρόσφατα τα παγκόσμια γεγονότα, ο κόσμος αλλάζει γρήγορα. Τώρα, περισσότερο από ποτέ, πρέπει να χτίσουμε ανθεκτικά μοντέλα – όχι μόνο ακριβή. Để να πιάσουμε σημαντικό επιχειρηματικό αντίκτυπο με το χρόνο. Η Kaggle, για παράδειγμα, φιλοξενεί έναν διαγωνισμό για να ενθαρρύνει τους επιστήμονες δεδομένων σε όλο τον κόσμο να βοηθήσουν στην ανάπτυξη λύσεων μοντέλων για χρήση στον παγκόσμιο αγώνα κατά του COVID-19. Προβλέπω ότι τα πιο επιτυχημένα μοντέλα που θα προκύψουν από αυτόν τον διαγωνισμό θα είναι τα πιο ανθεκτικά, όχι τα πιο ακριβή, όπως έχουμε δει πόσο γρήγορα μπορεί να αλλάξει τα δεδομένα του COVID-19 σε μια μέρα.

Η επιστήμη δεδομένων πρέπει να είναι για την ανακάλυψη της αλήθειας, όχι για την παραγωγή του «καλύτερου» μοντέλου. Βάζοντας τους εαυτούς μας σε υψηλότερα πρότυπα ανθεκτικότητας από την ακρίβεια, οι επιστήμονες δεδομένων θα μπορέσουν να παράγουν περισσότερο επιχειρηματικό αντίκτυπο για τις οργανώσεις μας και να βοηθήσουν να διαμορφώσουν θετικά το μέλλον.