Τι είναι η ανισορροπία κλάσεων; Γιατί η ακρίβεια μπορεί να σας παραπλανήσει

Ανισορροπία κλάσεων υπάρχει όταν μία κλάση-στόχος είναι πολύ σπανιότερη από κάποια άλλη, με αποτέλεσμα οι συνολικές μετρικές και οι συνήθεις μέθοδοι εκπαίδευσης να παραμελούν τις περιπτώσεις που μπορεί να έχουν τη μεγαλύτερη σημασία.

Η ανισορροπία κλάσεων χρειάζεται ακριβή εξήγηση, επειδή η ονομασία της προσδιορίζει μια συγκεκριμένη ροή πληροφοριών, επιλογή εκπαίδευσης, μηχανισμό κατά την εκτέλεση ή όριο διακυβέρνησης. Αν την αντιμετωπίσουμε ως συνώνυμο της «προηγμένης τεχνητής νοημοσύνης», οι ισχυρισμοί γίνονται αδύνατο να ελεγχθούν. Αυτός ο οδηγός εξετάζει την έννοια από την είσοδο και τις παραδοχές της έως το παρατηρήσιμο αποτέλεσμα και στη συνέχεια ελέγχει την παρανόηση που είναι πιθανότερο να συγχέεται με αυτήν.

Ανισορροπία κλάσεων-στόχων: ορισμός, όρια και σκοπός

Ανισορροπία κλάσεων υπάρχει όταν μία κλάση-στόχος είναι πολύ σπανιότερη από κάποια άλλη, με αποτέλεσμα οι συνολικές μετρικές και οι συνήθεις μέθοδοι εκπαίδευσης να παραμελούν τις περιπτώσεις που μπορεί να έχουν τη μεγαλύτερη σημασία. Ο ορισμός περιλαμβάνει τρεις πρακτικές δεσμεύσεις: υπάρχει μια αναγνωρίσιμη είσοδος, ένας μετασχηματισμός ή μια απόφαση που χαρακτηρίζει την ανισορροπία κλάσεων και ένα αποτέλεσμα που μπορεί να αξιολογηθεί με βάση έναν διατυπωμένο στόχο. Αν λείπει ένα από αυτά τα στοιχεία, η ονομασία μπορεί να περιγράφει μια επιδίωξη και όχι έναν εφαρμοσμένο μηχανισμό.

Η στατιστική μάθηση μετατρέπει πεπερασμένα δείγματα σε ισχυρισμούς για μελλοντικά δεδομένα. Επομένως, ο διαχωρισμός των δεδομένων, η βελτιστοποίηση, η κανονικοποίηση, οι μετρικές και η παρακολούθηση αποτελούν μέρη ενός ενιαίου προβλήματος γενίκευσης και όχι μεμονωμένες τεχνικές από εγχειρίδια. Στην ανισορροπία κλάσεων, αυτή η συστημική οπτική έχει σημασία, επειδή η απόδοση μπορεί να καθορίζεται από τα δεδομένα, τις διεπαφές, το υλικό, τα δικαιώματα και τους ανθρώπους που πλαισιώνουν το μοντέλο, ακόμη κι όταν το ίδιο το μοντέλο παραμένει αμετάβλητο. Μια χρήσιμη εξήγηση, επομένως, διαχωρίζει τη συμπεριφορά που έχει μάθει το μοντέλο από το προϊόν που αποφασίζει πότε, πού και με ποια εξουσιοδότηση χρησιμοποιείται αυτή η συμπεριφορά.

Η πιο κοντινή παραπλανητική απλούστευση είναι ένα ισορροπημένο σύνολο δεδομένων για εκπαιδευτικούς σκοπούς, το οποίο δεν αντιστοιχεί στην πραγματική συχνότητα εμφάνισης. Μπορεί να έχει κάποιο εμφανές κοινό χαρακτηριστικό με την ανισορροπία κλάσεων, αλλά αλλάζει την αιτιώδη εξήγηση: η επιτυχία θα τεκμηριωνόταν με διαφορετικά στοιχεία, το κόστος θα καθοριζόταν κυρίως από διαφορετικούς πόρους και η πρόληψη της βλάβης θα απαιτούσε διαφορετικούς ελέγχους. Επομένως, το όριο είναι λειτουργικό και όχι ορολογικό.

Χάρτης λειτουργίας της ανισορροπίας κλάσεων-στόχων σε πέντε στάδια

Το διάγραμμα είναι ένας συνοπτικός αιτιώδης χάρτης της ανισορροπίας κλάσεων και όχι ισχυρισμός ότι κάθε υλοποίηση χρησιμοποιεί πέντε στοιχεία λογισμικού. Ορισμένα συστήματα συνδυάζουν στάδια, ενώ άλλα τα επαναλαμβάνουν κυκλικά. Ο χάρτης παραμένει χρήσιμος, επειδή επιβάλλει να ορίζονται για κάθε αλλαγή στην πληροφορία ή στην εξουσιοδότηση ένας υπεύθυνος, μια είσοδος, μια έξοδος και ένας έλεγχος.

1. Μέτρηση του επιπολασμού στον πραγματικό πληθυσμό λειτουργίας: είσοδος και παραδοχές στην ανισορροπία κλάσεων-στόχων

Σε αυτό το στάδιο της ανισορροπίας κλάσεων, το σύστημα πρέπει να μετρήσει τον επιπολασμό στον πραγματικό πληθυσμό λειτουργίας. Το χρήσιμο ερώτημα δεν είναι απλώς αν εκτελείται αυτή η λειτουργία, αλλά ποιες πληροφορίες χρησιμοποιεί, ποια κατάσταση μεταβάλλει και ποια στοιχεία αποδεικνύουν ότι η μεταβολή ήταν έγκυρη. Ο αξιολογητής θα πρέπει να μπορεί να διακρίνει τη λειτουργία από ένα ισορροπημένο σύνολο δεδομένων για εκπαιδευτικούς σκοπούς, το οποίο δεν αντιστοιχεί στην πραγματική συχνότητα εμφάνισης, και να αναπαράγει το αποτέλεσμά της υπό τις ίδιες δηλωμένες συνθήκες.

Η μετάβαση σε αυτό το στάδιο της ανισορροπίας κλάσεων ξεκινά από τον διατυπωμένο στόχο και θα πρέπει να καταλήγει σε αποτέλεσμα που να επιτρέπει τη στρωματοποίηση των συνόλων δεδομένων χωρίς διαρροή σχετικών εγγραφών. Καταγράψτε την αβεβαιότητα, τις εναλλακτικές που απορρίφθηκαν, τη χρήση πόρων και κάθε ανθρώπινο ή λογισμικό έλεγχο που εφαρμόζεται σε αυτό το όριο. Αυτή η καταγραφή επιτρέπει στις ομάδες να εντοπίσουν αν μπορεί να επιτευχθεί υψηλή ακρίβεια αγνοώντας εντελώς τη σπάνια κλάση, προτού η ίδια αδυναμία επηρεάσει ένα σημαντικό αποτέλεσμα.

2. Στρωματοποίηση των συνόλων δεδομένων χωρίς διαρροή σχετικών εγγραφών: αναπαράσταση ή απόφαση στην ανισορροπία κλάσεων-στόχων

Σε αυτό το στάδιο της ανισορροπίας κλάσεων, το σύστημα πρέπει να στρωματοποιεί τα σύνολα δεδομένων χωρίς να διαρρέουν σχετικές εγγραφές μεταξύ τους. Το χρήσιμο ερώτημα δεν είναι απλώς αν εκτελείται αυτή η λειτουργία, αλλά ποιες πληροφορίες χρησιμοποιεί, ποια κατάσταση μεταβάλλει και ποια στοιχεία αποδεικνύουν ότι η μεταβολή ήταν έγκυρη. Ο αξιολογητής θα πρέπει να μπορεί να διακρίνει τη λειτουργία από ένα ισορροπημένο σύνολο δεδομένων για εκπαιδευτικούς σκοπούς, το οποίο δεν αντιστοιχεί στην πραγματική συχνότητα εμφάνισης, και να αναπαράγει το αποτέλεσμά της υπό τις ίδιες δηλωμένες συνθήκες.

Η μετάβαση σε αυτό το στάδιο της ανισορροπίας κλάσεων ξεκινά με τη μέτρηση της συχνότητας εμφάνισης των κλάσεων στον πραγματικό πληθυσμό λειτουργίας και θα πρέπει να καταλήγει σε αποτέλεσμα που μπορεί να υποστηρίξει την επιλογή μετρικών και κατωφλίων που λαμβάνουν υπόψη την ανισορροπία. Καταγράψτε την αβεβαιότητα, τις εναλλακτικές που απορρίφθηκαν, τη χρήση πόρων και κάθε ανθρώπινο ή λογισμικό έλεγχο που εφαρμόστηκε στο συγκεκριμένο σημείο. Αυτό το ίχνος επιτρέπει στις ομάδες να διαπιστώσουν αν μπορεί να επιτευχθεί υψηλή ακρίβεια αγνοώντας εντελώς τη σπάνια κλάση, προτού η ίδια αδυναμία επηρεάσει ένα αποτέλεσμα με σημαντικές συνέπειες.

3. Επιλογή μετρικών και κατωφλίων που λαμβάνουν υπόψη την ανισορροπία: διακριτός μετασχηματισμός στην ανισορροπία στόχου

Σε αυτό το στάδιο της ανισορροπίας κλάσεων, το σύστημα πρέπει να επιλέγει μετρικές και κατώφλια που λαμβάνουν υπόψη την ανισορροπία. Το ουσιαστικό ερώτημα δεν είναι απλώς αν πραγματοποιείται αυτή η ενέργεια, αλλά ποιες πληροφορίες χρησιμοποιεί, ποια κατάσταση αλλάζει και ποια στοιχεία αποδεικνύουν ότι η αλλαγή ήταν έγκυρη. Ένας αξιολογητής θα πρέπει να μπορεί να διακρίνει την ενέργεια από ένα ισορροπημένο εκπαιδευτικό σύνολο δεδομένων που δεν αντανακλά την πραγματική συχνότητα εμφάνισης των κλάσεων, καθώς και να αναπαράγει το αποτέλεσμά της υπό τις ίδιες δηλωμένες συνθήκες.

Η μετάβαση σε αυτό το στάδιο της ανισορροπίας κλάσεων ξεκινά με τον στρωματοποιημένο διαχωρισμό των δεδομένων, χωρίς διαρροή σχετικών εγγραφών, και θα πρέπει να καταλήγει σε αποτέλεσμα που μπορεί να υποστηρίξει την αναπροσαρμογή βαρών, την επαναδειγματοληψία ή τον ανασχεδιασμό της συλλογής δεδομένων. Καταγράψτε την αβεβαιότητα, τις εναλλακτικές που απορρίφθηκαν, τη χρήση πόρων και κάθε ανθρώπινο ή λογισμικό έλεγχο που εφαρμόστηκε στο συγκεκριμένο σημείο. Αυτό το ίχνος επιτρέπει στις ομάδες να διαπιστώσουν αν μπορεί να επιτευχθεί υψηλή ακρίβεια αγνοώντας εντελώς τη σπάνια κλάση, προτού η ίδια αδυναμία επηρεάσει ένα αποτέλεσμα με σημαντικές συνέπειες.

4. Αναπροσαρμογή βαρών, επαναδειγματοληψία ή ανασχεδιασμός της συλλογής δεδομένων: όριο περιορισμών και επαλήθευσης στην ανισορροπία στόχου

Σε αυτό το στάδιο της ανισορροπίας κλάσεων, το σύστημα πρέπει να αναπροσαρμόζει τα βάρη, να πραγματοποιεί επαναδειγματοληψία ή να ανασχεδιάζει τη συλλογή δεδομένων. Το ουσιαστικό ερώτημα δεν είναι απλώς αν πραγματοποιείται αυτή η ενέργεια, αλλά ποιες πληροφορίες χρησιμοποιεί, ποια κατάσταση αλλάζει και ποια στοιχεία αποδεικνύουν ότι η αλλαγή ήταν έγκυρη. Ένας αξιολογητής θα πρέπει να μπορεί να διακρίνει την ενέργεια από ένα ισορροπημένο εκπαιδευτικό σύνολο δεδομένων που δεν αντανακλά την πραγματική συχνότητα εμφάνισης των κλάσεων, καθώς και να αναπαράγει το αποτέλεσμά της υπό τις ίδιες δηλωμένες συνθήκες.

Η μετάβαση σε αυτό το στάδιο της ανισορροπίας κλάσεων ξεκινά με την επιλογή μετρικών και κατωφλίων που λαμβάνουν υπόψη την ανισορροπία και θα πρέπει να καταλήγει σε αποτέλεσμα που μπορεί να υποστηρίξει την παρακολούθηση της απόδοσης της μειονοτικής κλάσης μετά την ανάπτυξη. Καταγράψτε την αβεβαιότητα, τις εναλλακτικές που απορρίφθηκαν, τη χρήση πόρων και κάθε ανθρώπινο ή λογισμικό έλεγχο που εφαρμόστηκε στο συγκεκριμένο σημείο. Αυτό το ίχνος επιτρέπει στις ομάδες να διαπιστώσουν αν μπορεί να επιτευχθεί υψηλή ακρίβεια αγνοώντας εντελώς τη σπάνια κλάση, προτού η ίδια αδυναμία επηρεάσει ένα αποτέλεσμα με σημαντικές συνέπειες.

5. Παρακολούθηση της απόδοσης της μειονοτικής κλάσης μετά την ανάπτυξη: αποτέλεσμα, ανατροφοδότηση και κανόνας διακοπής στην ανισορροπία στόχου

Σε αυτό το στάδιο της ανισορροπίας κλάσεων, το σύστημα πρέπει να παρακολουθεί την απόδοση της μειονοτικής κλάσης μετά την ανάπτυξη. Το ουσιαστικό ερώτημα δεν είναι απλώς αν πραγματοποιείται αυτή η ενέργεια, αλλά ποιες πληροφορίες χρησιμοποιεί, ποια κατάσταση αλλάζει και ποια στοιχεία αποδεικνύουν ότι η αλλαγή ήταν έγκυρη. Ένας αξιολογητής θα πρέπει να μπορεί να διακρίνει την ενέργεια από ένα ισορροπημένο εκπαιδευτικό σύνολο δεδομένων που δεν αντανακλά την πραγματική συχνότητα εμφάνισης των κλάσεων, καθώς και να αναπαράγει το αποτέλεσμά της υπό τις ίδιες δηλωμένες συνθήκες.

Η μετάβαση σε αυτό το στάδιο της ανισορροπίας κλάσεων ξεκινά με την αναπροσαρμογή βαρών, την επαναδειγματοληψία ή τον ανασχεδιασμό της συλλογής δεδομένων και θα πρέπει να καταλήγει σε αποτέλεσμα που μπορεί να υποστηρίξει την παρακολούθηση ή μια τελική απόφαση. Καταγράψτε την αβεβαιότητα, τις εναλλακτικές που απορρίφθηκαν, τη χρήση πόρων και κάθε ανθρώπινο ή λογισμικό έλεγχο που εφαρμόστηκε στο συγκεκριμένο σημείο. Αυτό το ίχνος επιτρέπει στις ομάδες να διαπιστώσουν αν μπορεί να επιτευχθεί υψηλή ακρίβεια αγνοώντας εντελώς τη σπάνια κλάση, προτού η ίδια αδυναμία επηρεάσει ένα αποτέλεσμα με σημαντικές συνέπειες.

Διαβάστε τον χάρτη της ανισορροπίας κλάσεων προς τα εμπρός για να κατανοήσετε τη λειτουργία στην παραγωγή και προς τα πίσω για να διαγνώσετε αστοχίες. Η ανάλυση προς τα εμπρός εξετάζει πώς κάθε στάδιο τροφοδοτεί το επόμενο. Η ανάλυση προς τα πίσω ξεκινά από ένα εσφαλμένο, αργό, δαπανηρό ή μη ασφαλές αποτέλεσμα και εντοπίζει ποια προηγούμενη παραδοχή το επέτρεψε. Συχνά, ακολουθώντας την αντίστροφη διαδρομή, μια ομάδα ανακαλύπτει ότι το καθοριστικό σφάλμα συνέβη προτού παραγάγει οτιδήποτε το μοντέλο.

Ένα αναλυτικό παράδειγμα ανισορροπίας στόχου

Ένα μοντέλο απάτης που χαρακτηρίζει κάθε συναλλαγή ως νόμιμη μπορεί να ξεπερνά το 99% ακρίβεια, χωρίς όμως να εντοπίζει καμία απάτη.

Αυτό το παράδειγμα είναι κατατοπιστικό, επειδή η ανισορροπία κλάσεων μπορεί να συνδεθεί με παρατηρήσιμες εισόδους, ενδιάμεσες καταστάσεις και ένα αποτέλεσμα, αντί να αξιολογείται με βάση μια καλοστημένη επίδειξη. Μια αυστηρή δοκιμή θα διαμόρφωνε συνηθισμένες, δύσκολες και σκόπιμα παραπλανητικές περιπτώσεις γύρω από το συγκεκριμένο σενάριο, θα διατηρούσε μια γραμμή βάσης χωρίς την τεχνική και θα κατέγραφε τόσο τη μέση απόδοση όσο και τη σοβαρότητα των μεμονωμένων αστοχιών.

Αλλάξτε μία παραδοχή στο παράδειγμα ανισορροπίας κλάσεων και επαναλάβετε την ανάλυση. Αφαιρέστε μια απαιτούμενη είσοδο, εισαγάγετε ένα αντικρουόμενο σήμα, περιορίστε τους υπολογιστικούς πόρους, αλλάξτε τον πληθυσμό χρηστών ή αναγκάστε το σύστημα να απέχει από την απόκριση. Ένας μηχανισμός που πετυχαίνει μόνο σε μία προσεκτικά σκηνοθετημένη επίδειξη δεν έχει αποδείξει ότι γενικεύεται στο περιβάλλον λειτουργίας.

Ανισορροπία στόχου έναντι της συνηθέστερης συντόμευσης

Η ανισορροπία κλάσεων συχνά ανάγεται σε ένα ισορροπημένο εκπαιδευτικό σύνολο δεδομένων που δεν αντανακλά την πραγματική συχνότητα εμφάνισης των κλάσεων. Αυτή η απλούστευση αφαιρεί ακριβώς το όριο που ορίζει την έννοια. Μπορεί να οδηγήσει τους αγοραστές στη σύγκριση ανόμοιων προϊόντων, τους ερευνητές στην υπερβολή ως προς όσα αποδεικνύει ένα πείραμα και τους χειριστές στην παρακολούθηση λανθασμένου σήματος μετά την ανάπτυξη.

Η σύγκριση θα πρέπει επίσης να προσδιορίζει τη μονάδα ανάλυσης. Μια εργασία σχετικά με την ανισορροπία κλάσεων μπορεί να εξετάζει μεμονωμένα ένα μοντέλο ή έναν αλγόριθμο, ενώ μια υπηρεσία σε παραγωγική λειτουργία περιλαμβάνει επιπλέον ανάκτηση, δρομολόγηση, προσωρινή αποθήκευση, πολιτικές, ταυτότητα, διεπαφές χρήστη και παρακολούθηση. Δύο προϊόντα μπορεί να χρησιμοποιούν τον ίδιο όρο σε τίτλους, ενώ υλοποιούν διαφορετικά μέρη αυτής της στοίβας. Εξετάστε ποιο στοιχείο εκτελεί τον καθοριστικό μετασχηματισμό και ποια άλλα στοιχεία είναι απαραίτητα για το αναφερόμενο αποτέλεσμα.

Γιατί έχει σημασία η ανισορροπία στόχων στα σημερινά συστήματα ΤΝ

Η ανισορροπία κλάσεων έχει σήμερα σημασία, επειδή τα συστήματα ΤΝ αποκτούν μεγαλύτερα συμφραζόμενα, υποστηρίζουν περισσότερες μορφές δεδομένων, διαθέτουν περισσότερους υπολογιστικούς πόρους κατά την εκτέλεση, έχουν ευρύτερη πρόσβαση σε εργαλεία και συνδέονται στενότερα με τις οργανωτικές αποφάσεις. Υπό αυτές τις συνθήκες, κάτι που παλαιότερα έμοιαζε με τεχνική λεπτομέρεια μιας έρευνας μπορεί να καθορίσει τον χρόνο απόκρισης, την ασφάλεια, την προσβασιμότητα, το περιβαλλοντικό κόστος, την ποιότητα του προϊόντος ή τη νομική λογοδοσία.

Το ζητούμενο δεν είναι αν η ανισορροπία κλάσεων μπορεί να οδηγήσει σε ένα εντυπωσιακό αποτέλεσμα. Το ζητούμενο είναι αν η τεχνική βελτιώνει ένα σημαντικό αποτέλεσμα υπό αντιπροσωπευτικές συνθήκες και το πετυχαίνει αποτελεσματικότερα από μια απλούστερη βασική μέθοδο. Να αναφέρετε κατανομές, κατηγορίες αστοχιών, καθυστέρηση στα υψηλά εκατοστημόρια, χρήση πόρων και υποομάδες που επηρεάζονται, αντί να συμπυκνώνετε όλα τα αποτελέσματα σε έναν μέσο όρο.

Επιλέξτε διαδικασίες με βάση τη δομή των δεδομένων και το κόστος των αποφάσεων. Διατηρήστε τις ομάδες και τη χρονική διάσταση, ποσοτικοποιήστε την αβεβαιότητα, εξετάστε επιμέρους τμήματα των δεδομένων, οριστικοποιήστε τα τελικά σύνολα δοκιμών και επαληθεύστε ότι τα κέρδη εκτός σύνδεσης διατηρούνται μετά την εγκατάσταση σε παραγωγική λειτουργία. Όταν εφαρμόζεται ειδικά στην ανισορροπία κλάσεων, αυτή η πειθαρχία καθιστά τα τεκμήρια αξιοποιήσιμα και από άλλους: μια άλλη ομάδα μπορεί να κρίνει αν το ισχυριζόμενο κέρδος είναι πιθανό να διατηρηθεί με διαφορετικό μοντέλο, γλώσσα, πλατφόρμα υλικού, σύνολο δεδομένων, πληθυσμό χρηστών ή ανοχή στον κίνδυνο.

Οφέλη που μπορεί να προσφέρει η ανισορροπία στόχων

Ο ισχυρότερος λόγος για να χρησιμοποιηθεί η ανισορροπία κλάσεων είναι ότι μπορεί να αντιμετωπίσει άμεσα το πρόβλημα που προορίζεται να λύσει. Ανάλογα με την υλοποίηση, το όφελος μπορεί να φανεί ως καλύτερη θεμελίωση, πιστότερη αναπαράσταση, βελτιωμένη γενίκευση, μικρότερη καθυστέρηση, λιγότερες μεταφορές δεδομένων από και προς τη μνήμη, σαφέστερη λογοδοσία ή ασφαλέστερο όριο μεταξύ μιας πρότασης του μοντέλου και μιας πραγματικής ενέργειας.

Τα οφέλη θα πρέπει να διατυπώνονται με όρους αποφάσεων και μετρήσεων. Η «μεγαλύτερη ευφυΐα» δεν αποτελεί κριτήριο αποδοχής για την ανισορροπία κλάσεων. Ένας χρήσιμος στόχος θα μπορούσε να προσδιορίζει το ποσοστό σφάλματος σε δύσκολες περιπτώσεις, την ανάκαμψη μετά από αντικρουόμενα τεκμήρια, το κόστος σε ένα συγκεκριμένο εκατοστημόριο της κίνησης, τον χρόνο ανθρώπινου ελέγχου, τη βαθμονόμηση ή το ποσοστό των ενεργειών που παραμένουν εντός ενός καθορισμένου ορίου εξουσιοδότησης.

Η αστοχία που χαρακτηρίζει την ανισορροπία στόχων

Ο βασικός περιορισμός είναι ότι μπορεί να επιτευχθεί υψηλή ακρίβεια αγνοώντας εντελώς τη σπάνια κλάση. Η αστοχία αυτή δεν είναι κάτι που προστίθεται εκ των υστέρων στη λίστα, αφού ολοκληρωθεί η ανάπτυξη. Θα πρέπει εξαρχής να καθορίζει τη συλλογή δεδομένων, την αρχιτεκτονική, τα δικαιώματα πρόσβασης, την αξιολόγηση, τα κριτήρια έγκρισης για την κυκλοφορία και την παρακολούθηση της ανισορροπίας κλάσεων.

Ένας έλεγχος για την ανισορροπία κλάσεων είναι χρήσιμος μόνο αν ενεργοποιείται πριν προκύψει μια δαπανηρή ή μη αναστρέψιμη συνέπεια. Εντοπίστε τον πρωιμότερο παρατηρήσιμο πρόδρομο της αστοχίας, ορίστε ένα όριο ή έναν κανόνα, αναθέστε την ευθύνη σε συγκεκριμένο άτομο και δοκιμάστε την ανάκαμψη. Ανάλογα με την περίπτωση χρήσης, ανάκαμψη μπορεί να σημαίνει αποχή από την πρόβλεψη, μετάβαση σε ένα απλούστερο σύστημα, αίτημα για περισσότερα στοιχεία, κλιμάκωση σε άνθρωπο, επαναφορά μιας προηγούμενης έκδοσης του μοντέλου ή πλήρη διακοπή μιας ενέργειας.

Σχέδιο αξιολόγησης για την ανισορροπία των κλάσεων-στόχων

Ξεκινήστε την αξιολόγηση της ανισορροπίας κλάσεων διατυπώνοντας ποια απόφαση πρέπει να υποστηρίξουν τα στοιχεία. Ορίστε τον πληθυσμό λειτουργίας, τις συνέπειες ενός λανθασμένου αποτελέσματος, τις πληροφορίες που είναι πράγματι διαθέσιμες τη στιγμή της απόφασης και την απλούστερη αξιόπιστη εναλλακτική. Έτσι αποτρέπεται το ενδεχόμενο να γίνει ένα σημείο αναφοράς αυτοσκοπός απλώς και μόνο επειδή είναι εύκολο να εκτελεστεί.

Χρησιμοποιήστε ένα ανέγγιχτο σύνολο δοκιμής για ελεγχόμενες συγκρίσεις και στη συνέχεια επικυρώστε την αντιμετώπιση της ανισορροπίας κλάσεων σε ένα σταδιακό περιβάλλον λειτουργίας. Η αξιολόγηση εκτός σύνδεσης επιτρέπει τη σύγκριση διαφορετικών παραλλαγών· η λειτουργία σκιάς, οι δοκιμές σε μικρό ποσοστό χρηστών (canary), τα όρια ρυθμού ή οι πύλες έγκρισης αποκαλύπτουν πώς η πραγματική κίνηση, οι βρόχοι ανατροφοδότησης και οι άνθρωποι μεταβάλλουν τη συμπεριφορά. Το στάδιο ανάπτυξης πρέπει να έχει σαφώς καθορισμένη συνθήκη διακοπής, αντί να θεωρείται δεδομένο ότι κάθε βελτίωση δικαιολογεί πλήρη διάθεση.

Διατηρήστε εκδόσεις των στοιχείων που απαιτούνται για την αναπαραγωγή της αντιμετώπισης της ανισορροπίας κλάσεων: των αρχικών δεδομένων, της προεπεξεργασίας, του διαχωριστή ή του κωδικοποιητή, των βαρών του μοντέλου, των ρυθμίσεων, της προτροπής ή της πολιτικής, του ευρετηρίου ανάκτησης, του συνόλου αξιολόγησης, των παραδοχών για το υλικό και του κώδικα εξυπηρέτησης, όπου εφαρμόζεται. Χωρίς ιστορικό προέλευσης, μια ομάδα δεν μπορεί να διαπιστώσει αν μια αλλαγή στο αποτέλεσμα οφείλεται στην τεχνική, στο περιβάλλον ή σε κάποια απαρατήρητη τροποποίηση της διοχέτευσης δεδομένων.

Τέλος, αναρωτηθείτε ποιο εύρημα θα διέψευδε τον ισχυρισμό ότι η αντιμετώπιση της ανισορροπίας κλάσεων είναι ωφέλιμη. Αν κανένα αποτέλεσμα δεν θα μπορούσε να ανατρέψει την απόφαση υιοθέτησης, τότε η αξιολόγηση είναι διαφήμιση. Τα προκαθορισμένα όρια αποδοχής και ένα διατηρημένο σύνολο επιβεβαίωσης μετατρέπουν τη διαδικασία σε τεκμηρίωση.

Ερωτήσεις πριν από την υιοθέτηση της αντιμετώπισης της ανισορροπίας των κλάσεων-στόχων

• Στόχος: Ποιο μετρήσιμο σημείο συμφόρησης επιδιώκει να αντιμετωπίσει η ανισορροπία κλάσεων;
• Μηχανισμός: Σε ποιο από τα πέντε στάδια πραγματοποιείται ο διακριτός μετασχηματισμός;
• Γραμμή βάσης: Πώς συγκρίνεται με ένα ισορροπημένο διδακτικό σύνολο δεδομένων που δεν αντανακλά την πραγματική συχνότητα εμφάνισης ή με κάποια άλλη απλούστερη εναλλακτική;
• Τεκμηρίωση: Ποιες συνήθεις, δύσκολες, αντιπαραθετικές και υποομαδικές περιπτώσεις δοκιμάστηκαν;
• Λειτουργία: Ποιο είναι το κόστος καθυστέρησης, μνήμης, υπολογιστικών πόρων, ενέργειας, συντήρησης και ελέγχου σε μεγάλη κλίμακα;
• Κίνδυνος: Πώς θα εντοπίσει η ομάδα ότι μπορεί να επιτευχθεί υψηλή ακρίβεια αγνοώντας εντελώς τη σπάνια κλάση;
• Ανάκαμψη: Μπορεί το σύστημα να απέχει από την πρόβλεψη, να στραφεί σε εναλλακτική λύση, να επανέλθει σε προηγούμενη έκδοση ή να κλιμακώσει το ζήτημα πριν προκληθεί βλάβη;

Βασικές πηγές για τη μελέτη της ανισορροπίας των κλάσεων-στόχων

Έγκυρα σημεία εκκίνησης για το τμήμα της στοίβας τεχνητής νοημοσύνης που αφορά την ανισορροπία κλάσεων είναι οι οδηγοί του scikit-learn για την επιλογή μοντέλων, οι Κανόνες της Google για τη μηχανική μάθηση και το Πλαίσιο Διαχείρισης Κινδύνων ΤΝ του NIST. Μελετήστε τα παράλληλα με την τεκμηρίωση για το συγκεκριμένο μοντέλο, σύνολο δεδομένων και υλικό, καθώς και για τη δικαιοδοσία που σας αφορά. Μια γενική πηγή μπορεί να ορίσει τον μηχανισμό, αλλά μόνο τεκμηρίωση ειδικά για την ανάπτυξη μπορεί να αποδείξει ότι μια συγκεκριμένη υλοποίηση είναι κατάλληλη.

Τι να θυμάστε για την ανισορροπία των κλάσεων-στόχων

Η ανισορροπία κλάσεων είναι ένας καθορισμένος μηχανισμός μέσα σε ένα ευρύτερο κοινωνικοτεχνικό σύστημα. Η αξία του έγκειται στη βελτίωση ενός συγκεκριμένου αποτελέσματος υπό ρητά καθορισμένες συνθήκες και όχι στην ίδια την ονομασία του. Η χαρτογράφηση των πέντε σταδίων καθιστά ορατή τη ροή πληροφοριών, η σύγκριση δείχνει τι δεν είναι και η διαδρομή ελέγχου υποδεικνύει πού μπορεί να παρέμβει ένας υπεύθυνος χειριστής.

Ο πρακτικός κανόνας για την αντιμετώπιση της ανισορροπίας κλάσεων είναι να ορίσετε τον στόχο, να συγκρίνετε με μια αξιόπιστη γραμμή βάσης, να δοκιμάσετε την αστοχία που έχει τη μεγαλύτερη σημασία και να διατηρήσετε τα στοιχεία που απαιτούνται για την παρακολούθηση των αλλαγών. Με αυτά τα στοιχεία στη θέση τους, η έννοια γίνεται μια επιλογή μηχανικής και διακυβέρνησης που μπορεί να αξιολογηθεί. Χωρίς αυτά, παραμένει μια πολλά υποσχόμενη ονομασία συνδεδεμένη με έναν άγνωστο λειτουργικό κίνδυνο.