Εκμεταλλεύοντας την Ανθρώπινη Προσοχή για τη Βελτίωση των Εικόνων που Γεννούνται από το AI

Νέα έρευνα από την Κίνα έχει προτείνει μια μέθοδο για τη βελτίωση της ποιότητας των εικόνων που γεννούνται από μοντέλα Latent Diffusion Models (LDMs) όπως το Stable Diffusion.

Η μέθοδος επικεντρώνεται στην оптимποίηση των περιοχών που προσελκύουν την προσοχή μιας εικόνας – περιοχές που είναι πιο πιθανό να προσελκύσουν την ανθρώπινη προσοχή.

Η νέα έρευνα έχει βρει ότι οι χάρτες σαληνότητας (τέταρτη στήλη από αριστερά) μπορούν να χρησιμοποιηθούν ως φίλτρο, ή ‘μάσκα’, για την κατεύθυνση του εστιασμού της προσοχής στη διαδικασία αποσάρωσης προς περιοχές της εικόνας που οι άνθρωποι είναι πιο πιθανό να προσελκύσουν την προσοχή τους. Πηγή: https://arxiv.org/pdf/2410.10257

Οι παραδοσιακές μεθόδους, βελτιώνουν όλη την εικόνα ομοιόμορφα, ενώ η νέα προσέγγιση χρησιμοποιεί einen ανιχνευτή σαληνότητας για να αναγνωρίσει και να προτεραιότητα τις πιο ‘σημαντικές’ περιοχές, όπως οι άνθρωποι.

Σε ποσοτικές και ποιοτικές δοκιμές, η μέθοδος των ερευνητών ήταν σε θέση να ξεπεράσει τα προηγούμενα μοντέλα που βασίζονται στη διάχυση, και σε σχέση με την ποιότητα της εικόνας και την πιστότητα στα κείμενα-πρότυπα.

Η νέα μέθοδος επίσης σημείωσε την καλύτερη βαθμολογία σε μια δοκιμή ανθρώπινης αντίληψης με 100 συμμετέχοντες.

Φυσική Επιλογή

Η σαληνότητα, η ικανότητα να προτεραιότητα την πληροφορία στον πραγματικό κόσμο και στις εικόνες, είναι ένα απαραίτητο μέρος της ανθρώπινης όρασης.

Ένα απλό παράδειγμα αυτού είναι η αυξημένη προσοχή στα λεπτομέρειες που δίνει η κλασική τέχνη στις σημαντικές περιοχές ενός πίνακα, όπως το πρόσωπο σε ένα πορτρέτο, ή τα κατάρτια ενός πλοίου σε ένα θαλάσσιο θέμα· σε τέτοιους примерες, η προσοχή του καλλιτέχνη συγκεντρώνεται στο κεντρικό αντικείμενο, που σημαίνει ότι οι ευρείες λεπτομέρειες όπως το φόντο του πορτρέτου ή οι μακρινές κυματοδείκτες ενός θυέλλους είναι πιο χαλαρές και πιο αντιπροσωπευτικές από τις λεπτομέρειες.

Ενημερωμένοι από ανθρώπινες μελέτες, μεθόδους μηχανικής μάθησης έχουν αναδυθεί τα τελευταία δέκα χρόνια που μπορούν να αναπαράγουν ή τουλάχιστον να προσεγγίσουν αυτήν την ανθρώπινη εστίαση σε οποιαδήποτε εικόνα.

Το αντικειμενικό σήμανση (σεμαντικό σήμανση) μπορεί να είναι μια βοήθεια για την αναγνώριση των μερών μιας εικόνας και την ανάπτυξη των αντίστοιχων χαρτών σαληνότητας. Πηγή: https://arxiv.org/pdf/1312.6034

Στην πορεία της ερευνητικής βιβλιογραφίας, ο πιο δημοφιλής ανιχνευτής χάρτη σαληνότητας τα τελευταία πέντε χρόνια ήταν το 2016 Gradient-weighted Class Activation Mapping (Grad-CAM) πρωτοβουλία, η οποία αργότερα εξελίχθηκε στο βελτιωμένο Grad-CAM++ σύστημα, μεταξύ άλλων παραλλαγών και βελτιώσεων.

Το Grad-CAM χρησιμοποιεί την ακτίνα ενεργοποίησης ενός σεμαντικού συμβόλου (όπως ‘σκύλος’ ή ‘γάτα’) για να παράγει einen οπτικό χάρτη του哪里 η έννοια ή η σημείωση φαίνεται να είναι πιθανό να αντιπροσωπεύεται στην εικόνα.

Παραδείγματα από το αρχικό Grad-CAM έγγραφο. Στη δεύτερη στήλη, η καθοδηγούμενη αναστροφή individuates όλα τα συμβαλλόμενα χαρακτηριστικά. Στην τρίτη στήλη, οι σεμαντικοί χάρτες σχεδιάζονται για τις δύο έννοιες ‘σκύλος’ και ‘γάτα’. Η τέταρτη στήλη αντιπροσωπεύει την συνένωση των δύο προηγούμενων συναλλαγών. Η πέμπτη, η χάρτα οκλού (masking) που αντιστοιχεί στη συναλλαγή· και τελικά, στην έκτη στήλη, το Grad-CAM οπτικοποιεί einen ResNet-18 στρώμα. Πηγή: https://arxiv.org/pdf/1610.02391

Ανθρώπινες έρευνες για τα αποτελέσματα που λήφθηκαν από αυτές τις μεθόδους έχουν αποκαλύψει μια συσχέτιση μεταξύ αυτών των μαθηματικών individuations των κρίσιμων σημείων ενδιαφέροντος σε μια εικόνα και της ανθρώπινης προσοχής (όταν σκανάρει την εικόνα).

SGOOL

Το νέο έγγραφο εξετάζει τι μπορεί να φέρει η σαληνότητα στα συστήματα κειμένου-εικόνας (και, πιθανώς, κειμένου-βίντεο) όπως το Stable Diffusion και το Flux.

Όταν ερμηνεύει μια πρόταση κειμένου, τα μοντέλα Latent Diffusion Models εξερευνούν τον εκπαιδευμένο λατινικό χώρο για τις μαθημένες οπτικές έννοιες που αντιστοιχούν με τα λόγια ή τις φράσεις που χρησιμοποιούνται. Στη συνέχεια, αναλύουν αυτά τα βρεθέντα δεδομένα μέσω μιας διαδικασίας αποσάρωσης, όπου το τυχαίο θόρυβο εξελίσσεται σταδιακά σε μια δημιουργική ερμηνεία της πρότασης κειμένου.

Σε αυτό το σημείο, ωστόσο, το μοντέλο δίνει ίσες προσοχές σε κάθε μέρος της εικόνας. Από την время που τα μοντέλα διάχυσης δημοσιεύθηκαν το 2022, με την εκκίνηση του OpenAI’s διαθέσιμου Dall-E γεννήτριας εικόνων, και την επόμενη ανοικτή πηγή του πλαισίου Stable Diffusion, οι χρήστες βρήκαν ότι οι ‘απαραίτητες’ περιοχές μιας εικόνας συχνά υποεκτιμούνται.

Εξέτασε ότι σε μια τυπική απεικόνιση ενός ανθρώπου, το πρόσωπο (που είναι μέγιστης σημασίας για τον θεατή) είναι πιθανό να καταλάβει το πολύ 10-35% της συνολικής εικόνας, αυτή η δημοκρατική μέθοδος της προσοχής της διασποράς λειτουργεί ενάντια και στην ανθρώπινη αντίληψη και την ιστορία της τέχνης και της φωτογραφίας.

Όταν τα κουμπιά σε ένα ζευγάρι παντελονιών λαμβάνουν την ίδια υπολογιστική βαρύτητα με τα μάτια, η κατανομή των πόρων μπορεί να θεωρηθεί ως μη βέλτιστη.

Επομένως, η νέα μέθοδος που προτείνεται από τους συγγραφείς, με τίτλο Σαληνότητα-καθοδηγούμενη βελτίωση της διάχυσης (SGOOL), χρησιμοποιεί einen ανιχνευτή σαληνότητας για να αυξήσει την προσοχή στις παραμελημένες περιοχές μιας εικόνας, αφιερώνοντας λιγότερους πόρους σε περιοχές που είναι πιθανό να παραμείνουν στην περιφέρεια της προσοχής του θεατή.

Μέθοδος

Η διαδικασία SGOOL περιλαμβάνει τη γεννήτρια εικόνας, τον χάρτη σαληνότητας και την βελτίωση, με την συνολική εικόνα και την εικόνα που έχει βελτιωθεί με τη σαληνότητα να επεξεργάζονται από κοινού.

Σχέδιο της SGOOL.

Οι εμβυθύνσεις του μοντέλου διάχυσης βελτιώνονται trực tiếp με βελτίωση, αφαιρώντας την ανάγκη για εκπαίδευση ενός ειδικού μοντέλου. Η μέθοδος δειγματοληψίας Denoising Diffusion Implicit Model (DDIM) του Stanford University, που είναι γνωστή στους χρήστες του Stable Diffusion, προσαρμόζεται για να ενσωματώσει τις δευτερεύουσες πληροφορίες που παρέχονται από τους χάρτες σαληνότητας.

Το έγγραφο αναφέρει:

‘Πρώτα, χρησιμοποιούμε einen ανιχνευτή σαληνότητας για να μιμηθούμε το ανθρώπινο σύστημα προσοχής και να σημειώσουμε τις σαληντικές περιοχές. Για να αποφευχθεί η εκπαίδευση ενός επιπλέον μοντέλου, η μέθοδός μας βελτιώνει trực tiếp τις εμβυθύνσεις της διάχυσης.

‘Επιπλέον, η SGOOL χρησιμοποιεί μια αναστρέψιμη διαδικασία διάχυσης και της δίνει τα πλεονεκτήματα της σταθερής υλοποίησης της μνήμης. Έτσι, η μέθοδός μας γίνεται μια παραμετρο-αποτελεσματική και plug-and-play μέθοδος βελτίωσης. Εκτενείς πειραματικές δοκιμές έχουν thựcτοποιηθεί με διάφορους δείκτες και ανθρώπινη αξιολόγηση.’

Δεδομένα και Δοκιμές

Για να δοκιμαστεί η SGOOL, οι συγγραφείς χρησιμοποίησαν μια ‘βαριά’ διανομή του Stable Diffusion V1.4 (που σημειώνεται ως ‘SD’ στα αποτελέσματα των δοκιμών) και το Stable Diffusion με καθοδήγηση CLIP (που σημειώνεται ως ‘baseline’ στα αποτελέσματα).

Το σύστημα αξιολογήθηκε σε σχέση με τρεις δημόσιους συνόλους δεδομένων: CommonSyntacticProcesses (CSP), DrawBench, και DailyDallE*.

Το τελευταίο περιέχει 99 περίπλοκες προτάσεις από έναν καλλιτέχνη που εμφανίζεται σε ένα από τα blog posts του OpenAI, ενώ το DrawBench προσφέρει 200 προτάσεις σε 11 κατηγορίες. Το CSP αποτελείται από 52 προτάσεις που βασίζονται σε οκτώ διαφορετικές γραμματικές περιπτώσεις.

Για το SD, το baseline και την SGOOL, στις δοκιμές, το μοντέλο CLIP χρησιμοποιήθηκε πάνω από το ViT/B-32 για τη γεννήτρια εικόνας και κειμένου. Η ίδια πρόταση και τυχαίος σπόρος χρησιμοποιήθηκαν. Το μέγεθος της έξοδου ήταν 256×256, και οι προεπιλεγμένες trọngότητες και ρυθμίσεις του TransalNet χρησιμοποιήθηκαν.

Εκτός από το μετρικό CLIP, χρησιμοποιήθηκε επίσης ένας εκτιμώμενος Δείκτης Προτίμησης Ανθρώπων (HPS), μαζί με μια πραγματική μελέτη με 100 συμμετέχοντες.

Ποσοτικά αποτελέσματα που συγκρίνουν την SGOOL με προηγούμενες ρυθμίσεις.

Σχετικά με τα ποσοτικά αποτελέσματα που απεικονίζονται στον πίνακα παραπάνω, το έγγραφο αναφέρει:

‘Το μοντέλο μας υπερέχει σημαντικά του SD και του Baseline σε όλα τα συνόλα δεδομένων και στα δύο μετρικά CLIP και HPS. Τα μέσα αποτελέσματα του μοντέλου μας στο μετρικό CLIP και HPS είναι 3,05 και 0,0029 υψηλότερα από τη δεύτερη θέση, αντίστοιχα.’

Οι συγγραφείς εκτιμούν επίσης τους πίνακες των HPS και CLIP σε σχέση με τις προηγούμενες προσεγγίσεις:

Πίνακες για τα HPS και CLIP που λήφθηκαν στις δοκιμές.

Σημειώνουν:

‘Φαίνεται ότι το μοντέλο μας υπερέχει των άλλων μοντέλων, υποδεικνύοντας ότι το μοντέλο μας είναι πιο ικανό να γεννήσει εικόνες που είναι συνεπείς με τις προτάσεις.

‘Ωστόσο, στον πίνακα δεν είναι εύκολο να οπτικοποιηθεί η σύγκριση από τον πίνακα λόγω του μεγέθους αυτού του μετρητή αξιολόγησης στο [0, 1]. Έτσι, προχωρούμε να οπτικοποιήσουμε τους αντίστοιχους πίνακες.

‘Φαίνεται ότι η SGOOL υπερέχει του SD και του Baseline σε όλα τα συνόλα δεδομένων και στα δύο μετρικά CLIP και HPS. Τα ποσοτικά αποτελέσματα δείχνουν ότι το μοντέλο μας μπορεί να γεννήσει πιο σεμαντικά συνεπείς και ανθρώπινες εικόνες.’

Οι ερευνητές σημειώνουν ότι ενώ το μοντέλο baseline είναι σε θέση να βελτιώσει την ποιότητα της εικόνας, δεν λαμβάνει υπόψη τις σαληντικές περιοχές της εικόνας. Υποστηρίζουν ότι η SGOOL, φθάνοντας σε μια συμβιβαστική λύση μεταξύ της παγκόσμιας και της σαληντικής αξιολόγησης της εικόνας, λαμβάνει καλύτερες εικόνες.

Στις ποιοτικές (αυτόματες) συγκρίσεις, ο αριθμός των βελτιώσεων ορίστηκε σε 50 για την SGOOL και το DOODL.

Ποιοτικά αποτελέσματα για τις δοκιμές. Παρακαλώ αναφερθείτε στο αρχικό έγγραφο για καλύτερη οπτικοποίηση.

Εδώ οι συγγραφείς παρατηρούν:

‘Στην πρώτη σειρά, τα αντικείμενα της πρότασης είναι “μία γάτα που τραγουδά” και “μια κουρτίνα”. Υπάρχουν τέσσερις γάτες στην εικόνα που γεννήθηκε από το SD, και το περιεχόμενο της εικόνας δεν είναι καλά συσχετισμένο με την πρόταση.

‘Η γάτα αγνοείται στην εικόνα που γεννήθηκε από το Baseline, και υπάρχει έλλειψη λεπτομερειών στην απεικόνιση του προσώπου και των λεπτομερειών στην εικόνα. Το DOODL προσπαθεί να γεννήσει μια εικόνα που είναι συνεπής με την πρόταση.

‘Ωστόσο, поскольку το DOODL βελτιώνει την εικόνα παγκοσμίως, οι άνθρωποι στην εικόνα βελτιώνονται προς την γάτα.’

Σημειώνουν ότι η SGOOL, αντίθετα, γεννήθηκε εικόνες που είναι πιο συνεπείς με την αρχική πρόταση.

Στη δοκιμή ανθρώπινης αντίληψης, 100 εθελοντές αξιολόγησαν τις εικόνες δοκιμής για την ποιότητα και τη σεμαντική συνεπήτητα (δηλαδή, πόσο στενά συσχετίζονται με το αρχικό κείμενο-πρότυπο). Οι συμμετέχοντες είχαν απεριόριστο χρόνο για να κάνουν τις επιλογές τους.

Αποτελέσματα για τη δοκιμή ανθρώπινης αντίληψης.

Όπως αναφέρει το έγγραφο, η μέθοδος των συγγραφέων είναι αξιοσημείωτα προτιμότερη από τις προηγούμενες προσεγγίσεις.

Συμπέρασμα

Δεν πέρασε πολύ καιρός μετά την εμφάνιση των ελαττωμάτων που αναφέρονται σε αυτό το έγγραφο σε τοπικές εγκαταστάσεις του Stable Diffusion, όταν διάφορες ειδικές μεθόδους (όπως After Detailer) εμφανίστηκαν για να αναγκάσουν το σύστημα να εφαρμόσει επιπλέον προσοχή σε περιοχές που ήταν περισσότερο ανθρώπινου ενδιαφέροντος.

Ωστόσο, αυτή η προσέγγιση απαιτεί ότι το σύστημα διάχυσης αρχικά περάσει από την κανονική διαδικασία εφαρμογής ίσης προσοχής σε κάθε μέρος της εικόνας, με την αυξημένη δουλειά να γίνεται ως ένα επιπλέον στάδιο.

Η απόδειξη από την SGOOL δείχνει ότι η εφαρμογή βασικής ανθρώπινης ψυχολογίας στην προτεραιότητα των τμημάτων εικόνας θα μπορούσε να βελτιώσει σημαντικά την αρχική εικασία, χωρίς βήματα μετα-επεξεργασίας.

* Το έγγραφο παρέχει τον ίδιο σύνδεσμο για αυτό όσο και για το CommonSyntacticProcesses.

Πρώτη δημοσίευση Τετάρτη, 16 Οκτωβρίου 2024