Εκπαίδευση Μοντέλων Υπολογιστικής Όρασης με Τυχαίο Θόρυβο Αντί για Πραγματικές Εικόνες

Ερευνητές από το Εργαστήριο Επιστήμης και Τεχνολογίας Υπολογιστών του MIT (CSAIL) έχουν πειραματιστεί με τη χρήση τυχαίου θορύβου σε συνόλους δεδομένων υπολογιστικής όρασης για την εκπαίδευση μοντέλων υπολογιστικής όρασης και έχουν διαπιστώσει ότι αντί να παράγουν σκουπίδια, η μέθοδος είναι εκπληκτικά αποτελεσματική:

Γεννητικά μοντέλα από το πείραμα, ταξινομημένα ανά απόδοση. Πηγή: https://openreview.net/pdf?id=RQUl8gZnN7O

Η διαδικασία εισαγωγής φαινομενικού “οπτικού σκουπιδίου” σε δημοφιλείς αρχιτεκτονικές υπολογιστικής όρασης δεν πρέπει να οδηγεί σε αυτό είδος απόδοσης. Στο δεξί μέρος της εικόνας παραπάνω, οι μαύρες στήλες αντιπροσωπεύουν βαθμολογίες ακρίβειας (στο Imagenet-100) για τέσσερα “πραγματικά” συνόλους δεδομένων. Ενώ τα “τυχαίου θορύβου” συνόλους δεδομένων που προηγούνται (απεικονίζονται σε διάφορα χρώματα, δείτε ευρετήριο επάνω-αριστερά) δεν μπορούν να τα ισοφαρίσουν, βρίσκονται σχεδόν όλα εντός σεβαστού ανώτερου και κατώτερου ορίου (κοκκίνες διακεκομμένες γραμμές) για ακρίβεια.

Σε αυτή τη σημασία “ακρίβεια” δεν σημαίνει ότι ένα αποτέλεσμα πρέπει να μοιάζει με ένα πρόσωπο, μια εκκλησία, μια πίτσα, ή οποιοδήποτε άλλο συγκεκριμένο domaine για το οποίο μπορείτε να ενδιαφερθείτε να δημιουργήσετε ένα σύστημα σύνθεσης εικόνας, όπως ένα Γεννητικό Ανταγωνιστικό Δίκτυο ή ένα πλαίσιο κωδικοποιητή/αποκωδικοποιητή.

Αντίθετα, σημαίνει ότι τα μοντέλα του CSAIL έχουν εξαγάγει ευρέως εφαρμόσιμες κεντρικές “αλήθειες” από δεδομένα εικόνας που φαίνονται τόσο ακατάστατα που δεν θα έπρεπε να είναι ικανά να τις παρέχουν.

Ποικιλία Vs. Φυσικότητα

Αυτά τα αποτελέσματα δεν μπορούν να αποδοθούν στην υπερπροσαρμογή: μια ζωντανή συζήτηση μεταξύ των συγγραφέων και των κριτών στο Open Review αποκαλύπτει ότι η ανάμιξη διαφορετικού περιεχομένου από οπτικά διαφορετικά συνόλους δεδομένων (όπως “νεκρά φύλλα”, “φρακτάλ” και “διαδικαστικός θόρυβος” – δείτε εικόνα παρακάτω) σε ένα σύνολο δεδομένων εκπαίδευσης βελτιώνει την ακρίβεια σε αυτά τα πειράματα.

Αυτό υποδηλώνει (και είναι ένα peu επαναστατικό εννοια) ένα νέο είδος “υπο-προσαρμογής”, όπου η “ποικιλία” υπερτερεί της “φυσικότητας”.

Η σελίδα του έργου επιτρέπει να προβληθεί διαδραστικά τους διαφορετικούς τύπους τυχαίων συνόλων δεδομένων που χρησιμοποιήθηκαν στο πείραμα. Πηγή: https://mbaradad.github.io/learning_with_noise/

Τα αποτελέσματα που έλαβαν οι ερευνητές αμφισβητούν την θεμελιώδη σχέση μεταξύ των ικανοτήτων της υπολογιστικής όρασης και των “πραγματικών” εικόνων που τους παρουσιάζονται σε φρενηρή αύξηση κάθε χρόνο, και υποδηλώνουν ότι η ανάγκη να αποκτήσουν, να επιμεληθούν και να χειριστούν υπερκλίμακα συνόλους δεδομένων εικόνας μπορεί τελικά να γίνει περιττή. Οι συγγραφείς δηλώνουν:

‘Τα τρέχοντα συστήματα όρασης εκπαιδεύονται σε τεράστια συνόλους δεδομένων, και αυτά τα συνόλους δεδομένων έρχονται με κόστος: η επιμέλεια είναι ακριβή, κληρονομούν τις προκαταλήψεις των ανθρώπων, και υπάρχουν ανησυχίες σχετικά με την ιδιωτικότητα και τα δικαιώματα χρήσης. Για να αντιμετωπίσουμε αυτά τα κόστη, έχει αυξηθεί το ενδιαφέρον για την εκμάθηση από φθηνότερες πηγές δεδομένων, όπως τις μη επισημασμένες εικόνες. ‘

‘Σε αυτό το έγγραφο, πάμε ένα βήμα παραπέρα και ρωτάμε αν μπορούμε να κάνουμε χωρίς πραγματικά συνόλους δεδομένων εικόνας, μαθαίνοντας από διαδικαστικές διαδικασίες θορύβου.’

Οι ερευνητές προτείνουν ότι η τρέχουσα γενιά αρχιτεκτονικών μάθησης μπορεί να συναγάγει κάτι πολύ πιο θεμελιώδες (ή τουλάχιστον απροσδόκητο) από τις εικόνες παρά ό,τι θεωρούνταν προηγουμένως, και ότι “ανοησίες” εικόνες μπορούν να μεταφέρουν μια μεγάλη ποσότητα αυτής της γνώσης πολύ φθηνότερα, ακόμη και με τη πιθανή χρήση ad hoc συνθετικών δεδομένων, μέσω αρχιτεκτονικών γεννήσεων συνόλων δεδομένων που παράγουν τυχαίες εικόνες κατά την εκπαίδευση:

‘‘Ταυτοποιήσαμε δύο βασικές ιδιότητες που κάνουν τα συνθετικά δεδομένα καλά για την εκπαίδευση συστημάτων όρασης: 1) φυσικότητα, 2) ποικιλία. Το πιο φυσικό δεδομένο δεν είναι πάντα το καλύτερο,既然 η φυσικότητα μπορεί να έρθει με το κόστος της ποικιλίας. ‘

‘Το γεγονός ότι τα φυσικά δεδομένα βοηθούν μπορεί να μην είναι εκπληκτικό, και υποδηλώνει ότι πράγματι, τα μεγάλης κλίμακας πραγματικά δεδομένα έχουν αξία. Ωστόσο, βρήκαμε ότι αυτό που είναι κρίσιμο δεν είναι ότι τα δεδομένα είναι πραγματικά αλλά ότι είναι φυσικά, δηλαδή πρέπει να πιάσουν ορισμένες δομικές ιδιότητες των πραγματικών δεδομένων. ‘

‘Πολλές από αυτές τις ιδιότητες μπορούν να πιεστούν σε απλές μοντέλα θορύβου.’

Οπτικοποιήσεις χαρακτηριστικών που προκύπτουν από έναν κωδικοποιητή που προέρχεται από το AlexNet σε κάποια από τα διάφορα ‘τυχαία εικόνα’ συνόλους δεδομένων που χρησιμοποιήθηκαν από τους συγγραφείς, καλύπτοντας το 3ο και 5ο (τελικό) στρώμα συζυγούς. Η μεθοδολογία που χρησιμοποιήθηκε εδώ ακολουθεί αυτή που καθορίστηκε στην έρευνα του Google AI το 2017.

Το έγγραφο, που παρουσιάστηκε στη 35η Διασκέψη για την Επεξεργασία Νευρικών Πληροφοριών (NeurIPS 2021) στη Σίδνεϋ, έχει τον τίτλο Μάθηση για να Δούμε κοιτάζοντας τον Θόρυβο, και προέρχεται από έξι ερευνητές στο CSAIL, με ισότιμη συνεισφορά.

Το έργο συνιστάται από ομόφωνη απόφαση για μια επιλογή spotlight στο NeurIPS 2021, με σχόλια κριτών που χαρακτηρίζουν το έγγραφο ως ‘μια επιστημονική επανάσταση’ που ανοίγει ‘μια μεγάλη περιοχή μελέτης’, ακόμη και αν θέτει τόσο πολλά ερωτήματα όσο και απαντήσεις.

Στο έγγραφο, οι συγγραφείς καταλήγουν:

‘Έχουμε δείξει ότι, όταν σχεδιαστούν με αποτελέσματα από προηγούμενη έρευνα για στατιστικά στοιχεία φυσικών εικόνων, αυτά τα συνόλους δεδομένων μπορούν να εκπαιδεύσουν επιτυχώς οπτικές αναπαραστάσεις. Ελπίζουμε ότι αυτό το έγγραφο θα мотιβάρει τη μελέτη νέων γεννητικών μοντέλων ικανών να παράγουν δομημένο θόρυβο που επιτυγχάνει ακόμη υψηλότερη απόδοση όταν χρησιμοποιείται σε μια ποικιλία οπτικών εργασιών. ‘

‘Θα ήταν δυνατό να ταιριάξουμε την απόδοση που λάβαμε με την προ-εκπαίδευση του ImageNet; Ίσως στην απουσία ενός μεγάλου συνόλου δεδομένων που είναι συγκεκριμένο για μια συγκεκριμένη εργασία, η καλύτερη προ-εκπαίδευση μπορεί να μην είναι η χρήση eines τυπικού πραγματικού συνόλου δεδομένων όπως το ImageNet.’