Ερευνητές Κάνουν Λόγο σε Νευροεπιστήμονες για την Αντιμετώπιση της Προκατάληψης του Συνόλου Δεδομένων

Μια ομάδα ερευνητών στο MIT, το Πανεπιστήμιο Χάρβαρντ και η Fujitsu, Ltd. αναζήτησαν τον τρόπο με τον οποίο ένα μοντέλο μηχανικής μάθησης θα μπορούσε να υπερβεί την προκατάληψη του συνόλου δεδομένων. Εξαρτήθηκαν από μια νευροεπιστημονική προσέγγιση για να μελετήσουν πώς τα δεδομένα εκπαίδευσης επηρεάζουν την ικανότητα ενός τεχνητού νευρωνικού δικτύου να αναγνωρίσει αντικείμενα που δεν έχει δει ποτέ.

Η έρευνα δημοσιεύθηκε στο Nature Machine Intelligence.

Ποικιλία στα Δεδομένα Εκπαίδευσης

Τα αποτελέσματα της μελέτης έδειξαν ότι η ποικιλία στα δεδομένα εκπαίδευσης επηρεάζει την ικανότητα του νευρωνικού δικτύου να υπερβεί την προκατάληψη. Ωστόσο, η ποικιλία των δεδομένων μπορεί επίσης να έχει αρνητική επίδραση στην απόδοση του δικτύου. Οι ερευνητές έδειξαν επίσης ότι ο τρόπος με τον οποίο εκπαιδεύεται ένα νευρωνικό δίκτυο μπορεί επίσης να επηρεάσει την ικανότητά του να υπερβεί μια προκατειλημμένη βάση δεδομένων.

Ο Xavier Boix είναι ερευνητικός επιστήμονας στο Τμήμα Εγκεφάλου και Γνωστικών Επιστημών (BCS) και το Κέντρο για τους Εγκεφάλους, τους Νούς και τις Μηχανές (CBMM). Είναι επίσης ο senior συγγραφέας του εγγράφου.

“Ένα νευρωνικό δίκτυο μπορεί να υπερβεί την προκατάληψη του συνόλου δεδομένων, το οποίο είναι ενθαρρυντικό. Αλλά η κύρια λήψη εδώ είναι ότι πρέπει να λαμβάνουμε υπόψη την ποικιλία των δεδομένων. Πρέπει να σταματήσουμε να σκεφτόμαστε ότι αν einfach συλλέξετε ένα τεράστιο σύνολο сырых δεδομένων, αυτό θα σας οδηγήσει κάπου. Πρέπει να είμαστε πολύ προσεκτικοί σχετικά με τον τρόπο με τον οποίο σχεδιάζουμε τα σύνολα δεδομένων από την αρχή”, λέει ο Boix.

Η ομάδα ενστερνίστηκε το νου του νευροεπιστήμονα για να αναπτύξει την νέα προσέγγιση. Σύμφωνα με τον Boix, είναι συνηθισμένο να χρησιμοποιούνται ελεγχόμενα σύνολα δεδομένων σε πειράματα, οπότε η ομάδα κατασκεύασε σύνολα δεδομένων που περιείχαν εικόνες διαφορετικών αντικειμένων σε διάφορες στάσεις. Στη συνέχεια, έλεγξαν τις συνδυασίες ώστε κάποια σύνολα δεδομένων να είναι πιο ποικίλα από άλλα. Ένα σύνολο δεδομένων με περισσότερες εικόνες που δείχνουν αντικείμενα από μόνο μια οπτική γωνία είναι λιγότερο ποικίλο, ενώ ένα σύνολο δεδομένων με περισσότερες εικόνες που δείχνουν αντικείμενα από πολλές οπτικές γωνίες είναι πιο ποικίλο.

Οι ερευνητές πήραν αυτά τα σύνολα δεδομένων και τα χρησιμοποίησαν για να εκπαιδεύσουν ένα νευρωνικό δίκτυο για την ταξινόμηση εικόνων. Στη συνέχεια, μελέτησαν πόσο καλό ήταν στο να αναγνωρίζει αντικείμενα από οπτικές γωνίες που το δίκτυο δεν είχε δει κατά την εκπαίδευση.

Βρήκαν ότι τα πιο ποικίλα σύνολα δεδομένων επιτρέπουν στο δίκτυο να γενικεύσει καλύτερα νέες εικόνες ή οπτικές γωνίες, και αυτό είναι κρίσιμο για την υπέρβαση της προκατάληψης.

“Αλλά δεν είναι σαν η περισσότερη ποικιλία των δεδομένων να είναι πάντα καλύτερη. Υπάρχει μια ένταση εδώ. Όταν το νευρωνικό δίκτυο γίνεται καλύτερο στο να αναγνωρίζει νέα πράγματα που δεν έχει δει, τότε θα γίνει πιο δύσκολο για αυτό να αναγνωρίσει πράγματα που έχει ήδη δει”, λέει ο Boix.

Μέθοδοι Εκπαίδευσης Νευρωνικών Δικτύων

Η ομάδα βρήκε επίσης ότι ένα μοντέλο που εκπαιδεύεται ξεχωριστά για κάθε εργασία είναι ικανότερο να υπερβεί την προκατάληψη σε σύγκριση με ένα μοντέλο που εκπαιδεύεται για cả τις εργασίες μαζί.

“Τα αποτελέσματα ήταν πραγματικά εντυπωσιακά. Στην πραγματικότητα, την πρώτη φορά που κάναμε αυτό το πείραμα, σκεφτήκαμε ότι ήταν ένα σφάλμα. Χρειάστηκαν μας αρκετές εβδομάδες για να συνειδητοποιήσουμε ότι ήταν ένα πραγματικό αποτέλεσμα επειδή ήταν τόσο απροσδόκητο”, συνεχίζει ο Boix.

Μια πιο sâuστόχαστη ανάλυση αποκάλυψε ότι η εξειδίκευση των νευρώνων εμπλέκεται σε αυτή τη διαδικασία. Όταν το νευρωνικό δίκτυο εκπαιδεύεται για να αναγνωρίσει αντικείμενα σε εικόνες, δύο τύποι νευρώνων εμφανίζονται. Ο ένας νευρώνας εξειδικεύεται στην αναγνώριση της κατηγορίας του αντικειμένου, ενώ ο άλλος εξειδικεύεται στην αναγνώριση της οπτικής γωνίας.

Οι εξειδικευμένοι νευρώνες γίνονται πιο προεξάρχοντες όταν το δίκτυο εκπαιδεύεται για να εκτελέσει εργασίες ξεχωριστά. Ωστόσο, όταν ένα δίκτυο εκπαιδεύεται για να ολοκληρώσει και τις δύο εργασίες την ίδια στιγμή, κάποιοι νευρώνες γίνονται αραιότεροι. Αυτό σημαίνει ότι δεν εξειδικεύονται σε μια εργασία και είναι πιο πιθανό να συγχυσθούν.

“Αλλά η επόμενη ερώτηση τώρα είναι, πώς αυτοί οι νευρώνες ήρθαν εκεί; Εκπαιδεύετε το νευρωνικό δίκτυο και εμφανίζονται από τη διαδικασία μάθησης. Κανείς δεν είπε στο δίκτυο να περιλαμβάνει αυτούς τους τύπους νευρώνων στη δομή του. Αυτό είναι το φανταστικό πράγμα”, λέει ο Boix.

Οι ερευνητές θα επιδιώξουν να διερευνήσουν αυτή την ερώτηση στη μελλοντική τους εργασία, καθώς και να εφαρμόσουν τη νέα προσέγγιση σε πιο σύνθετες εργασίες.