Νέο Εργαλείο Μπορεί Να Δείξει Στα Ερευνητές Τι Αφήνουν Εκτός Μιας Εικόνας Τα GANs

Πρόσφατα, μια ομάδα ερευνητών από το MIT-IBM Watson AI Lab δημιούργησε μια μέθοδο για να δείξει τι αφήνει ένα Γενετικό Αντισταθμιστικό Δίκτυο (GAN) εκτός μιας εικόνας όταν ζητείται να γεννήσει εικόνες. Η μελέτη ονομάστηκε Βλέποντας Τι Δεν Μπορεί Να Γεννήσει Ένα GAN και παρουσιάστηκε πρόσφατα στη Διεθνή Διάσκεψη για την Όραση Υπολογιστών.

Τα Γενετικά Αντισταθμιστικά Δίκτυα έχουν γίνει πιο ισχυρά, περίπλοκα και ευρέως χρησιμοποιημένα τα τελευταία χρόνια. Έχουν γίνει αρκετά καλά στην απόδοση εικόνων πλήρως λεπτομερειών, αρκεί η εικόνα να περιορίζεται σε μια σχετικά μικρή περιοχή. Ωστόσο, όταν τα GANs χρησιμοποιούνται για τη γεννήση εικόνων μεγαλύτερων σκηνών και περιβαλλόντων, δεν λειτουργούν τόσο καλά. Σε σενάρια όπου τα GANs ζητούνται να αποδώσουν σκηνές πλήρεις με πολλά αντικείμενα και στοιχεία, όπως μια πολυσύχναστη οδός, τα GANs συχνά αφήνουν πολλά σημαντικά στοιχεία της εικόνας εκτός.

Σύμφωνα με το MIT News, η έρευνα αναπτύχθηκε εν μέρει από τον David Bau, einen μεταπτυχιακό φοιτητή στο Τμήμα Ηλεκτρικής Μηχανικής και Επιστήμης Υπολογιστών στο MIT. Ο Bau εξήγησε ότι οι ερευνητές συνήθως επικεντρώνονται στην ευεξία των συστημάτων μηχανικής μάθησης και στην κατανόηση των εισροών που μπορούν να αντιστοιχιστούν σε συγκεκριμένα αποτελέσματα. Ωστόσο, ο Bau εξήγησε επίσης ότι η κατανόηση των δεδομένων που αγνοούνται από τα μοντέλα μηχανικής μάθησης είναι συχνά εξίσου σημαντική και ότι η ερευνητική ομάδα ελπίζει ότι τα εργαλεία τους θα ενθαρρύνουν τους ερευνητές να προσεγγίσουν τα αγνοημένα δεδομένα.

Το ενδιαφέρον του Bau για τα GANs προκλήθηκε από το γεγονός ότι μπορούν να χρησιμοποιηθούν για τη διερεύνηση της φύσης των νευρωνικών δικτύων και για την απόκτηση μιας直觉 για το πώς τα δίκτυα μπορεί να λειτουργούν. Ο Bau είχε προηγουμένως εργαστεί σε ένα εργαλείο που μπορούσε να αναγνωρίσει συγκεκριμένα кластерία τεχνητών νευρώνων, τα οποία επισημαίνονταν ως υπεύθυνα για την αναπαράσταση πραγματικών αντικειμένων όπως βιβλία, σύννεφα και δέντρα. Ο Bau είχε επίσης εμπειρία με ένα εργαλείο που ονομάζεται GANPaint, το οποίο επιτρέπει στους καλλιτέχνες να αφαιρέσουν και να προσθέσουν συγκεκριμένα χαρακτηριστικά από φωτογραφίες χρησιμοποιώντας GANs. Σύμφωνα με τον Bau, η εφαρμογή GANPaint αποκάλυψε ένα πιθανό πρόβλημα με τα GANs, ένα πρόβλημα που έγινε εμφανές όταν ο Bau ανέλυσε τις εικόνες. Όπως ο Bau είπε στο MIT News:

«Ο σύμβουλος μου έχει πάντα ενθαρρύνει τους ερευνητές να κοιτάξουν πέρα από τα νούμερα και να εξετάσουν τις πραγματικές εικόνες. Όταν τις εξετάσαμε, το φαινόμενο έγινε сразу εμφανές: Οι άνθρωποι αφαιρούνταν επιλεκτικά».

Ενώ τα συστήματα μηχανικής μάθησης σχεδιάζονται για να εξάγουν μοτίβα από εικόνες, μπορούν επίσης να αγνοούν σχετικά μοτίβα. Ο Bau και άλλοι ερευνητές πειραματίστηκαν με την εκπαίδευση GANs σε διάφορες εσωτερικές και εξωτερικές σκηνές, αλλά σε όλους τους τύπους σκηνών τα GANs άφηναν εκτός σημαντικά στοιχεία στις σκηνές, όπως αυτοκίνητα, οδικές σήμανσεις, άνθρωποι, ποδήλατα κ.λπ. Αυτό ήταν αλήθεια ακόμη και όταν τα αντικείμενα που αφαιρούνταν ήταν σημαντικά για την σκηνή.

Η ερευνητική ομάδα υποθέτει ότι όταν ένα GAN εκπαιδεύεται σε εικόνες, το GAN μπορεί να βρει πιο εύκολο να αποκτήσει τα μοτίβα της εικόνας που είναι πιο εύκολα να αναπαρασταθούν, όπως μεγάλα σταθερά αντικείμενα όπως τοπία και κτήρια. Μαθαίνει αυτά τα μοτίβα πάνω από άλλα, πιο δύσκολα να ερμηνευθούν μοτίβα, όπως αυτοκίνητα και άνθρωποι. Έχει γίνει κοινό ότι τα GANs συχνά παραλείπουν σημαντικά, μεaningful στοιχεία όταν γεννούν εικόνες, αλλά η μελέτη της ομάδας του MIT μπορεί να είναι η πρώτη φορά που τα GANs έχουν αποδειχθεί ότι παραλείπουν ολόκληρες κατηγορίες αντικειμένων μέσα σε μια εικόνα.

Η ερευνητική ομάδα σημειώνει ότι είναι δυνατό για τα GANs να επιτύχουν τους αριθμητικούς στόχους τους ακόμη και όταν αφήνουν εκτός αντικείμενα που οι άνθρωποι φροντίζουν όταν κοιτάζουν εικόνες. Εάν οι εικόνες που γεννούνται από τα GANs θα χρησιμοποιηθούν για την εκπαίδευση σύνθετων συστημάτων, όπως τα αυτονομικά οχήματα, τα δεδομένα εικόνας πρέπει να ελέγχονται στενά, επειδή υπάρχει ένας πραγματικός φόβος ότι κρίσιμα αντικείμενα, όπως σήματα, άνθρωποι και άλλα αυτοκίνητα, θα αφαιρεθούν από τις εικόνες. Ο Bau εξήγησε ότι η έρευνά τους δείχνει γιατί η απόδοση ενός μοντέλου δεν πρέπει να βασίζεται μόνο στην ακρίβεια:

«Πρέπει να κατανοήσουμε τι κάνουν και τι δεν κάνουν τα δίκτυα, για να βεβαιωθούμε ότι κάνουν τις επιλογές που θέλουμε να κάνουν».