Ερευνητές Αναζητούν Βοήθεια από Νευροεπιστήμονες για την Αντιμετώπιση της Προκατάληψης των Δεδομένων

Μια ομάδα ερευνητών στο MIT, το Πανεπιστήμιο Χάρβαρντ και η Fujitsu, Ltd. αναζήτησαν τον τρόπο με τον οποίο ένα μοντέλο μηχανικής μάθησης μπορεί να υπερβεί την προκατάληψη των δεδομένων. Εξαρτήθηκαν από μια νευροεπιστημονική προσέγγιση για να μελετήσουν πώς τα δεδομένα εκπαίδευσης επηρεάζουν την ικανότητα ενός τεχνητού νευρωνικού δικτύου να μάθει να αναγνωρίζει αντικείμενα που δεν έχει δει ποτέ.

Η έρευνα δημοσιεύθηκε στο Nature Machine Intelligence.

Ποικιλία στα Δεδομένα Εκπαίδευσης

Τα αποτελέσματα της μελέτης έδειξαν ότι η ποικιλία στα δεδομένα εκπαίδευσης επηρεάζει την ικανότητα του νευρωνικού δικτύου να υπερβεί την προκατάληψη. Ωστόσο, η ποικιλία των δεδομένων μπορεί επίσης να έχει αρνητική επίδραση στην απόδοση του δικτύου. Οι ερευνητές έδειξαν επίσης ότι ο τρόπος με τον οποίο εκπαιδεύεται ένα νευρωνικό δίκτυο μπορεί επίσης να επηρεάσει την ικανότητά του να υπερβεί μια προκατειλημμένη βάση δεδομένων.

Ο Xavier Boix είναι ερευνητικός επιστήμονας στο Τμήμα Εγκεφάλου και Γνωστικών Επιστημών (BCS) και στο Κέντρο για τους Εγκεφάλους, τους Νους και τις Μηχανές (CBMM). Είναι επίσης ο старший συγγραφέας του εγγράφου.

“Ένα νευρωνικό δίκτυο μπορεί να υπερβεί την προκατάληψη των δεδομένων, το οποίο είναι ενθαρρυντικό. Nhưng η κύρια συμπέρασμα εδώ είναι ότι πρέπει να λάβουμε υπόψη την ποικιλία των δεδομένων. Πρέπει να σταματήσουμε να σκεφτόμαστε ότι αν просто συλλέξουμε ένα τεράστιο ποσό ακατέργαστων δεδομένων, αυτό θα μας οδηγήσει κάπου. Πρέπει να είμαστε πολύ προσεκτικοί σχετικά με τον τρόπο με τον οποίο σχεδιάζουμε τις βάσεις δεδομένων από την αρχή”, λέει ο Boix.

Η ομάδα ενστερνίστηκε το μυαλό ενός νευροεπιστήμονα για να αναπτύξει την νέα προσέγγιση. Σύμφωνα με τον Boix, είναι συνήθως να χρησιμοποιούνται ελεγχόμενα δεδομένα σε πειράματα, οπότε η ομάδα κατασκεύασε βάσεις δεδομένων που περιείχαν εικόνες διαφόρων αντικειμένων σε διάφορες στάσεις. Στη συνέχεια, έλεγξαν τις συνδυασίες έτσι ώστε κάποιες βάσεις δεδομένων να είναι πιο ποικίλες από τις άλλες. Μια βάση δεδομένων με περισσότερες εικόνες που δείχνουν αντικείμενα από μόνο μια οπτική γωνία είναι λιγότερο ποικίλη, ενώ μια βάση δεδομένων με περισσότερες εικόνες που δείχνουν αντικείμενα από πολλές οπτικές γωνίες είναι πιο ποικίλη.

Οι ερευνητές πήραν αυτές τις βάσεις δεδομένων και τις χρησιμοποίησαν για να εκπαιδεύσουν ένα νευρωνικό δίκτυο για την ταξινόμηση εικόνων. Στη συνέχεια, μελέτησαν πόσο καλά ήταν στην αναγνώριση αντικειμένων από οπτικές γωνίες που το δίκτυο δεν είχε δει κατά την εκπαίδευση.

Βρήκαν ότι οι πιο ποικίλες βάσεις δεδομένων επιτρέπουν στο δίκτυο να γενικεύσει καλύτερα νέες εικόνες ή οπτικές γωνίες, και αυτό είναι κρίσιμο για την υπέρβαση της προκατάληψης.

“Αλλά δεν είναι σαν η περισσότερη ποικιλία δεδομένων να είναι πάντα καλύτερη· υπάρχει μια ένταση εδώ. Όταν το νευρωνικό δίκτυο γίνεται καλύτερο στην αναγνώριση νέων πραγμάτων που δεν έχει δει, τότε θα γίνει πιο δύσκολο για αυτό να αναγνωρίσει πράγματα που έχει ήδη δει”, λέει ο Boix.

Μέθοδοι Εκπαίδευσης Νευρωνικών Δικτύων

Η ομάδα βρήκε επίσης ότι ένα μοντέλο που εκπαιδεύεται ξεχωριστά για κάθε εργασία είναι σε θέση να υπερβεί την προκατάληψη比較 με ένα μοντέλο που εκπαιδεύεται για cả τις εργασίες μαζί.

“Τα αποτελέσματα ήταν πραγματικά εντυπωσιακά. Στην πραγματικότητα, την πρώτη φορά που κάναμε αυτό το πείραμα, σκεφτήκαμε ότι ήταν ένα σφάλμα. Χρειάστηκαν μας αρκετές εβδομάδες για να συνειδητοποιήσουμε ότι ήταν ένα πραγματικό αποτέλεσμα επειδή ήταν τόσο απροσδόκητο”, συνεχίζει ο Boix.

Μια πιο sâuτή ανάλυση αποκάλυψε ότι η εξειδίκευση των νευρώνων συμμετέχει σε αυτή τη διαδικασία. Όταν το νευρωνικό δίκτυο εκπαιδεύεται για να αναγνωρίσει αντικείμενα σε εικόνες, δύο τύποι νευρώνων εμφανίζονται. Ο ένας νευρώνας εξειδικεύεται στην αναγνώριση της κατηγορίας του αντικειμένου ενώ ο άλλος εξειδικεύεται στην αναγνώριση της οπτικής γωνίας.

Οι εξειδικευμένοι νευρώνες γίνονται πιο προεξέχοντες όταν το δίκτυο εκπαιδεύεται να εκτελεί εργασίες ξεχωριστά. Ωστόσο, όταν ένα δίκτυο εκπαιδεύεται να εκτελεί και τις δύο εργασίες την ίδια στιγμή, κάποιοι νευρώνες γίνονται αραιότεροι. Αυτό σημαίνει ότι δεν εξειδικεύονται σε μια εργασία και είναι πιο πιθανό να μπερδευτούν.

“Αλλά η επόμενη ερώτηση τώρα είναι, πώς αυτοί οι νευρώνες εμφανίστηκαν; Εκπαιδεύετε το νευρωνικό δίκτυο και εμφανίζονται από τη διαδικασία μάθησης. Κανείς δεν είπε στο δίκτυο να περιλαμβάνει αυτούς τους τύπους νευρώνων στη δομή του. Αυτό είναι το συναρπαστικό”, λέει ο Boix.

Οι ερευνητές θα αναζητήσουν να εξερευνήσουν αυτή την ερώτηση στη μελλοντική τους εργασία, καθώς και να εφαρμόσουν την νέα προσέγγιση σε πιο σύνθετες εργασίες.