Βελτιώνοντας την Ακρίβεια της Επεξεργασίας Εικόνων του AI

Αν και το μοντέλο Firefly της Adobe είναι πιθανώς ένα από τα καλύτερα που είναι διαθέσιμα σήμερα, οι χρήστες του Photoshop που έχουν δοκιμάσει τις γενετικές του λειτουργίες θα έχουν παρατηρήσει ότι δεν είναι σε θέση να επεξεργαστεί εύκολα υπάρχουσες εικόνες – αντίθετα, αντικαθιστά完全 την επιλεγμένη περιοχή του χρήστη με εικόνες που βασίζονται στην κείμενή του προτροπή (αν και το Firefly είναι ικανό να ενσωματώνει την παραγμένη εικόνα στο контέκστ της εικόνας).

Στην τρέχουσα έκδοση beta, το Photoshop μπορεί τουλάχιστον να ενσωματώσει μια εικόνα αναφοράς ως μερική εικόνα προτροπή, η οποία φέρνει το προϊόν της Adobe σε ίσο επίπεδο με τη λειτουργικότητα που έχουν οι χρήστες του Stable Diffusion για πάνω από δύο χρόνια, χάρη σε εξωτερικά πλαίσια όπως το Controlnet:

Η τρέχουσα έκδοση beta του Adobe Photoshop επιτρέπει τη χρήση εικόνων αναφοράς κατά τη δημιουργία νέου περιεχομένου μέσα σε μια επιλογή – αν και είναι ένα hit-and-miss affair στο παρόν.

Αυτό δείχνει ένα ανοιχτό πρόβλημα στην έρευνα σύνθεσης εικόνων – τη δυσκολία που έχουν τα μοντέλα διάχυσης να επεξεργάζονται υπάρχουσες εικόνες χωρίς να εφαρμόσουν μια πλήρη ‘ανασύνθεση’ της επιλογής που υποδεικνύει ο χρήστης.

Αν και η διάχυση-βασισμένη inpaint υπακούει στην προτροπή του χρήστη, ανακαινίζει完全 το αρχικό θέμα χωρίς να λαμβάνει υπόψη την αρχική εικόνα (εκτός από το να αναμιγνύει τη νέα γενεά με το περιβάλλον). Πηγή: https://arxiv.org/pdf/2502.20376

Το πρόβλημα αυτό προκύπτει επειδή τα LDM δημιουργούν εικόνες μέσω επαναλαμβανόμενης αποσβέσεως, όπου κάθε στάδιο της διαδικασίας εξαρτάται από την κείμενή προτροπή που παρέχει ο χρήστης. Με την κείμενή προτροπή να μετατρέπεται σε embedding tokens, και με ένα υπερκλίμακα μοντέλο όπως το Stable Diffusion ή το Flux που περιέχει εκατοντάδες χιλιάδες (ή εκατομμύρια)近-matching embeddings σχετικά με την προτροπή, η διαδικασία έχει μια υπολογισμένη условιακή κατανομή προς την οποία να προσανατολιστεί: και κάθε βήμα που λαμβάνεται είναι ένα βήμα προς αυτήν την ‘условιακή κατανομή στόχο’.

Έτσι, αυτή είναι η κείμενο-προς-εικόνα – ένα σενάριο όπου ο χρήστης ‘ελπίζει στο καλύτερο’,既然 δεν υπάρχει τρόπος να προβλέψουμε ακριβώς τι θα είναι η γενεά.

Αντίθετα, πολλοί έχουν προσπαθήσει να χρησιμοποιήσουν την ισχυρή γενετική ικανότητα ενός LDM για να επεξεργαστούν υπάρχουσες εικόνες – αλλά αυτό απαιτεί ένα ισορροπημένο χειρισμό μεταξύ πιστότητας και ευελιξίας.

Όταν μια εικόνα προβάλλεται στο.latent χώρο του μοντέλου με μεθόδους όπως η DDIM inversion, ο στόχος είναι να ανακτήσει την αρχική εικόνα όσο το δυνατόν πιο ακριβώς, ενώ vẫn επιτρέπει σημαντικές επεξεργασίες. Το πρόβλημα είναι ότι όσο πιο ακριβώς ανακτάται η εικόνα, τόσο πιο σκληρά το μοντέλο κρατά την αρχική δομή, καθιστώντας δύσκολες τις σημαντικές αλλαγές.

Συμφωνία με πολλά άλλα διάχυση-βασισμένα πλαίσια επεξεργασίας εικόνων που έχουν προταθεί τα τελευταία χρόνια, η αρχιτεκτονική Renoise έχει δυσκολία να κάνει οποιαδήποτε πραγματική αλλαγή στην εμφάνιση της εικόνας, με μόνο μια προφορική ένδειξη ενός παπιγιόν να εμφανίζεται στη βάση του λαιμού του γάτου.

Από την άλλη πλευρά, αν η διαδικασία προτεραιότητας στην επεξεργασία, το μοντέλο χαλαρώνει τη σφικτή του στην αρχική, καθιστώντας ευκολότερη την εισαγωγή αλλαγών – αλλά με το κόστος της συνολικής συνάφειας με την αρχική εικόνα:

Αποστολή ολοκληρωμένη – αλλά είναι μια μεταμόρφωση παρά μια ρύθμιση, για hầu hết τα AI-βασισμένα πλαίσια επεξεργασίας εικόνων.

Εφόσον είναι ένα πρόβλημα που ακόμη και οι σημαντικές πόρους της Adobe αγωνίζονται να αντιμετωπίσουν, τότε μπορούμε να θεωρήσουμε ότι η πρόκληση είναι σημαντική και μπορεί να μην επιτρέπει εύκολες λύσεις, αν υπάρχουν.

Στενή Ανάστροφη

Επομένως, τα παραδείγματα σε μια νέα εργασία που κυκλοφόρησε αυτή την εβδομάδα drew την προσοχή μου, καθώς η εργασία προσφέρει μια αξιοσημείωτη και αξιομνημόνευτη βελτίωση στο τρέχον status quo σε这一 περιοχή, αποδεικνύοντας την ικανότητα να εφαρμόσει λεπτές και περίπλοκες επεξεργασίες σε εικόνες που προβάλλονται στο.latent χώρο ενός μοντέλου – χωρίς τις επεξεργασίες να είναι αμελητέες ή να υπερβαίνουν την αρχική περιεχόμενο στην πηγή εικόνας:

Με τη Στενή Ανάστροφη εφαρμοσμένη σε υπάρχουσες μεθόδους ανάστροφης, η πηγή επιλογή λαμβάνεται υπόψη με ένα πολύ πιο λεπτομερή τρόπο, και οι μεταμορφώσεις συμμορφώνονται με το αρχικό υλικό αντί να το αντικαθιστούν.

Οι χόμπι και οι επαγγελματίες του LDM μπορεί να αναγνωρίσουν αυτό το είδος αποτελέσματος,既然 πολύ από αυτό μπορεί να δημιουργηθεί σε một σύνθετο workflow χρησιμοποιώντας εξωτερικά συστήματα όπως το Controlnet και το IP-Adapter:

Στην πραγματικότητα, η νέα μέθοδος – που ονομάζεται Στενή Ανάστροφη – χρησιμοποιεί πραγματικά το IP-Adapter, μαζί με ένα αφιερωμένο μοντέλο για ανθρώπινες απεικονίσεις, για ανθρώπινες απεικονίσεις.

Από το αρχικό 2023 IP-Adapter paper, παραδείγματα δημιουργίας κατάλληλων επεξεργασιών στο αρχικό υλικό. Πηγή: https://arxiv.org/pdf/2308.06721

Η σημαντική επιτυχία της Στενής Ανάστροφης, τότε, είναι να έχει διαδικασιοποιήσει σύνθετες τεχνικές σε ένα ενιαίο drop-in plug-in modality που μπορεί να εφαρμοστεί σε υπάρχοντα συστήματα, συμπεριλαμβανομένων πολλών από τα πιο δημοφιλή LDM distributions.

Φυσικά, αυτό σημαίνει ότι η Στενή Ανάστροφη (TI), όπως και τα συστήματα που τη χρησιμοποιούν, χρησιμοποιεί την πηγή εικόνα ως einen conditioning παράγοντα για την επεξεργασμένη εκδοχή της, αντί να βασίζεται μόνο σε ακριβείς κείμενες προτροπές:

Πρόσθετα παραδείγματα της ικανότητας της Στενής Ανάστροφης να εφαρμόζει πραγματικά μπλέντερες επεξεργασίες στο αρχικό υλικό.

Αν και οι συγγραφείς παραδέχονται ότι η προσέγγισή τους δεν είναι ελεύθερη από την παραδοσιακή και συνεχιζόμενη τάση μεταξύ πιστότητας και επεξεργασιμότητας στις διάχυση-βασισμένες τεχνικές επεξεργασίας εικόνων, αναφέρουν state-of-the-art αποτελέσματα όταν εγχέουν την TI σε υπάρχοντα συστήματα, σε σύγκριση με την βασική απόδοση.

Η νέα εργασία έχει τον τίτλο Στενή Ανάστροφη: Εικόνα-Προσαρμοσμένη Ανάστροφη για Πραγματική Επεξεργασία Εικόνων, και προέρχεται από πέντε ερευνητές από το Πανεπιστήμιο του Τελ Αβίβ και το Snap Research.

Μέθοδος

Αρχικά, ένα Μεγάλο Γλωσσικό Μοντέλο (LLM) χρησιμοποιείται για να δημιουργήσει ένα σύνολο ποικίλων κειμένων προτροπών από τα οποία μια εικόνα δημιουργείται. Στη συνέχεια, η προαναφερθείσα DDIM inversion εφαρμόζεται σε κάθε εικόνα με τρεις κείμενες προτροπές: η κείμενή προτροπή που χρησιμοποιήθηκε για να δημιουργηθεί η εικόνα; μια συντομευμένη έκδοση της ίδιας; και μια κενή (κενή) προτροπή.

Με το ανάστροφο θόρυβο που επιστρέφεται από αυτές τις διαδικασίες, οι εικόνες ξαναδημιουργούνται με την ίδια προτροπή, και χωρίς classifier-free καθοδήγηση (CFG).

DDIM inversion σκορ σε διάφορους μετρητές με διαφορετικές ρυθμίσεις προτροπής.

Όπως μπορούμε να δούμε από το γράφημα παραπάνω, τα σκορ σε διάφορους μετρητές βελτιώνονται με την αύξηση του μήκους του κειμένου. Οι μετρητές που χρησιμοποιήθηκαν ήταν Peak Signal-to-Noise Ratio (PSNR); L2 απόσταση; Δομική Ομοιότητα Δείκτης (SSIM); και Μάθηση Πραγματοποιημένης Εικονογραφικής Ομοιότητας (LPIPS).

Εικόνα-Συνειδητός

Εфективικά, η Στενή Ανάστροφη αλλάζει τον τρόπο που ένα host διάχυση μοντέλο επεξεργάζεται πραγματικές εικόνες, προϋποθέτοντας την ανάστροφη διαδικασία στην εικόνα herself αντί να βασίζεται μόνο σε κείμενο.

Κανονικά, η ανάστροφη μιας εικόνας σε ένα διάχυση μοντέλο απαιτεί την εκτίμηση του αρχικού θορύβου που, όταν αποσβέσει, ανακτά την είσοδο. Τυπικές μεθόδους χρησιμοποιούν μια κείμενή προτροπή για να οδηγήσουν αυτήν τη διαδικασία; αλλά μια ατελής προτροπή μπορεί να οδηγήσει σε σφάλματα, χάνοντας λεπτομέρειες ή αλλάζοντας δομές.

Η Στενή Ανάστροφη αντίθετα χρησιμοποιεί το IP Adapter για να τροφοδοτήσει οπτική πληροφορία στο μοντέλο, ώστε να ανακτά την εικόνα με μεγαλύτερη ακρίβεια, μετατρέποντας τις πηγή εικόνες σε conditioning tokens, και προβάλλοντας τους στην ανάστροφη διαδικασία.

Αυτά τα παραμέτρους είναι επεξεργάσιμα: αύξηση της επιρροής της πηγή εικόνας κάνει την ανακατασκευή σχεδόν τέλεια, ενώ η μείωση της επιτρέπει για πιο δημιουργικές αλλαγές. Αυτό κάνει τη Στενή Ανάστροφη χρήσιμη για τόσο λεπτές τροποποιήσεις, όπως η αλλαγή του χρώματος eines πουκάμισου, ή πιο σημαντικές επεξεργασίες, όπως η ανταλλαγή αντικειμένων – χωρίς τις κοινές παρενέργειες άλλων μεθόδων ανάστροφης, όπως η απώλεια λεπτών λεπτομερειών ή απρόβλεπτες ανωμαλίες στο περιεχόμενο του φόντου.

Οι συγγραφείς αναφέρουν:

‘Σημειώνουμε ότι η Στενή Ανάστροφη μπορεί να ενσωματωθεί εύκολα με προηγούμενες μεθόδους ανάστροφης (π.χ., Edit Friendly DDPM, ReNoise) με [αλλαγή του εγγενή διάχυση πυρήνα για το IP Adapter τροποποιημένο μοντέλο], [και] η Στενή Ανάστροφη βελτιώνει συνεχώς αυτές τις μεθόδους σε σχέση με την ανακατασκευή και την επεξεργασιμότητα.’

Δεδομένα και Τεστ

Οι ερευνητές αξιολόγησαν την TI στην ικανότητά της να ανακτά και να επεξεργαστεί πραγματικές πηγή εικόνες. Όλα τα πειράματα χρησιμοποιούν Stable Diffusion XL με einen DDIM προγραμματιστή όπως περιγράφεται στο αρχικό Stable Diffusion paper; και όλα τα τεστ χρησιμοποιούν 50 βήματα αποσβέσεως με einen προεπιλεγμένο καθοδήγηση κλίμακα 7.5.

Για την προϋπόθεση εικόνας, IP-Adapter-plus sdxl vit-h χρησιμοποιήθηκε. Για τεστ με λίγα βήματα, οι ερευνητές χρησιμοποιούν SDXL-Turbo με einen Euler προγραμματιστή, και επίσης διεξήγαγαν πειράματα με FLUX.1-dev, προϋποθέτοντας το μοντέλο σε αυτήν την περίπτωση με PuLID-Flux, χρησιμοποιώντας RF-Inversion σε 28 βήματα.

PulID χρησιμοποιήθηκε μόνο σε περιπτώσεις που απεικονίζουν ανθρώπινες φυσιογνωμίες,既然 αυτό είναι το domaine που PulID εκπαιδεύτηκε να αντιμετωπίσει – και ενώ είναι αξιοσημείωτο ότι ένα εξειδικευμένο υποσύστημα χρησιμοποιείται για αυτόν τον einen πιθανό τύπο προτροπής, το άκρα μας ενδιαφέρον για τη δημιουργία ανθρώπινων φυσιογνωμιών υποδηλώνει ότι η εξάρτηση μόνο από τα ευρύτερα βάρη ενός μοντέλου όπως το Stable Diffusion μπορεί να μην είναι επαρκής για τους προτύπους που απαιτούμε για αυτήν την ειδική εργασία.

Τεστ ανακατασκευής πραγματοποιήθηκαν για ποιοτική και ποσοτική αξιολόγηση. Στην εικόνα παρακάτω, βλέπουμε ποιοτικά παραδείγματα για DDIM inversion:

Ποιοτικά αποτελέσματα για DDIM inversion. Κάθε σειρά δείχνει μια πολύ λεπτομερή εικόνα μαζί με τις ανακατασκευασμένες εκδοχές της, με κάθε βήμα να χρησιμοποιεί προοδευτικά πιο ακριβείς προϋποθέσεις κατά τη διάρκεια της ανάστροφης και αποσβέσεως.

Το έγγραφο αναφέρει:

‘Αυτά τα παραδείγματα υπογραμμίζουν ότι η προϋπόθεση της ανάστροφης διαδικασίας σε μια εικόνα βελτιώνει σημαντικά την ανακατασκευή σε περιοχές με υψηλή λεπτομέρεια.

‘Σημειωτέον, στο τρίτο παράδειγμα [της εικόνας παρακάτω], η μέθοδός μας ανακτά επιτυχώς το τατουάζ στην πλάτη του δεξιού μποξέρ. Επιπλέον, η στάση του ποδιού του μποξέρ διατηρείται πιο ακριβώς, και το τατουάζ στο πόδι γίνεται ορατό.’

Πρόσθετα ποιοτικά αποτελέσματα για DDIM inversion. Περιγραφικές προϋποθέσεις βελτιώνουν την DDIM inversion, με την προϋπόθεση εικόνας να υπερβαίνει το κείμενο, ιδιαίτερα σε σύνθετες εικόνες.

Οι συγγραφείς επίσης ε-tested την TI ως ένα drop-in module για υπάρχοντα συστήματα, συγκρίνοντάς την με την βασική απόδοση των προηγουμένων προσεγγίσεων prompt2prompt; Edit Friendly DDPM; LED-ITS++; και RF-Inversion.

Δείχνουμε παρακάτω μια επιλογή από τα ποιοτικά αποτελέσματα του εγγράφου για SDXL και Flux (και αναφερόμαστε τον αναγνώστη στο αρχικό PDF για καλύτερη ανάλυση και καθαρότητα).

Επιλογή από τα ποιοτικά αποτελέσματα (που είναι κάπως συγχυσμένα) που διασκορπίζονται σε όλο το έγγραφο.

Οι συγγραφείς ισχυρίζονται ότι η Στενή Ανάστροφη υπερβαίνει συνεχώς τις υφιστάμενες μεθόδους ανάστροφης, επιτυγχάνοντας καλύτερη ισορροπία μεταξύ ανακατασκευής και επεξεργασιμότητας. Τυπικές μεθόδους όπως η DDIM inversion και η ReNoise μπορούν να ανακτήσουν μια εικόνα καλά, το έγγραφο αναφέρει ότι συχνά δυσκολεύονται να διατηρήσουν λεπτές λεπτομέρειες όταν εφαρμόζονται επεξεργασίες.

Αντίθετα, η Στενή Ανάστροφη χρησιμοποιεί την προϋπόθεση εικόνας για να αγκυροβολήσει την έξοδο του μοντέλου πιο στενά στην αρχική, αποτρέποντας απρόβλεπτες παραμορφώσεις. Οι συγγραφείς ισχυρίζονται ότι ακόμη και όταν οι ανταγωνιστικές προσεγγίσεις παράγουν ανακατασκευές που φαίνονται ακριβείς, η εισαγωγή επεξεργασιών συχνά οδηγεί σε ανωμαλίες ή δομικές ασυνέπειες, και ότι η Στενή Ανάστροφη μετριάζει αυτά τα ζητήματα.

Τέλος, ποσοτικά αποτελέσματα έγιναν με την αξιολόγηση της Στενής Ανάστροφης ενάντια στο MagicBrush benchmark, χρησιμοποιώντας DDIM inversion και LEDITS++, μετρημένα με CLIP Sim.

Ποσοτικά συγκρίσεις της Στενής Ανάστροφης ενάντια στο MagicBrush benchmark.

Οι συγγραφείς συμπεραίνουν:

‘Σε cả τα γραφήματα η ανταλλαγή μεταξύ διατήρησης εικόνας και συμμόρφωσης με την προτροπή είναι σαφώς [παρατηρήσιμη]. Η Στενή Ανάστροφη παρέχει καλύτερο έλεγχο σε αυτήν την ανταλλαγή, και διατηρεί καλύτερα την είσοδο εικόνας ενώ vẫn συμμορφώνεται με την προτροπή [edit]. ‘

‘Σημειωτέον, ότι μια CLIP ομοιότητα πάνω από 0.3 μεταξύ μιας εικόνας και μιας κειμένης προτροπής υποδηλώνει πιθανή συμμόρφωση μεταξύ της εικόνας και της προτροπής.’

Συμπέρασμα

Αν και δεν αντιπροσωπεύει ένα ‘βήμα’ σε ένα από τα πιο δύσκολα προβλήματα στη σύνθεση εικόνων με βάση LDM, η Στενή Ανάστροφη συνδυάζει μια σειρά από δυσχερείς輔助 προσεγγίσεις σε μια ενιαία μέθοδο AI-βασισμένης επεξεργασίας εικόνων.

Αν και η τάση μεταξύ επεξεργασιμότητας και πιστότητας δεν έχει εξαφανιστεί με αυτήν τη μέθοδο, είναι αξιοσημείωτα μειωμένη, σύμφωνα με τα αποτελέσματα που παρουσιάζονται. Λαμβάνοντας υπόψη ότι η κεντρική πρόκληση που αντιμετωπίζει αυτή η εργασία μπορεί να αποδειχθεί τελικά ακατόρθωτη αν αντιμετωπιστεί με τους δικούς της όρους (αντί να κοιτάζει πέρα από αρχιτεκτονικές με βάση LDM σε μελλοντικά συστήματα), η Στενή Ανάστροφη αντιπροσωπεύει ένα ευπρόσδεκτο σταδιακό βήμα στην κατάσταση της τέχνης.

Πρώτη δημοσίευση Παρασκευή, 28 Φεβρουαρίου 2025