Τις τελευταίες années, τα μοντέλα διάχυσης με βάση την επιτόπια προσαρμογή έχουν επιδείξει αξιοσημείωτη πρόοδο σε eine ευρεία γκάμα εργασιών προσωποποίησης και εξατομίκευσης εικόνας. Ωστόσο, παρά την πρόσφατη επιτυχία και την αύξηση της απόδοσης, η μεταφορά στυλ παραμένει μια απαιτητική εργασία για τους ερευνητές λόγω της ακαθόριστης και μη καθορισμένης φύσης του στυλ, που περιλαμβάνει ποικιλία στοιχείων, συμπεριλαμβανομένης της ατμόσφαιρας, της δομής, του σχεδιασμού, του υλικού, του χρώματος και πολλά άλλα.

Επιπλέον, ο πρωταρχικός στόχος της πλειοψηφίας των προσεγγίσεων μεταφοράς στυλ ή γεννήτριας εικόνας στυλ είναι να χρησιμοποιήσει την εικόνα αναφοράς και να εφαρμόσει το συγκεκριμένο στυλ από ένα δεδομένο υποσύνολο ή εικόνα αναφοράς σε μια εικόνα περιεχομένου στόχου. Ωστόσο, είναι η ευρεία ποικιλία χαρακτηριστικών του στυλ που καθιστά τη δουλειά δύσκολη για τους ερευνητές να συλλέξουν συνόλους δεδομένων στυλ, να αντιπροσωπεύουν το στυλ σωστά και να αξιολογούν την επιτυχία της μεταφοράς.

Σε αυτό το άρθρο, θα μιλήσουμε για το InstantStyle, ένα πλαίσιο που σχεδιάστηκε με στόχο την αντιμετώπιση των προβλημάτων που αντιμετωπίζουν τα τρέχοντα μοντέλα διάχυσης με βάση την επιτόπια προσαρμογή για τη γεννήτρια εικόνας και την εξατομίκευση. Θα μιλήσουμε για τις δύο βασικές στρατηγικές που εφαρμόζει το πλαίσιο InstantStyle:

1. Μια απλή αλλά αποτελεσματική προσέγγιση για να αποσυνδέσει το στυλ και το περιεχόμενο από τις εικόνες αναφοράς στο χώρο των χαρακτηριστικών, με βάση την υπόθεση ότι τα χαρακτηριστικά μέσα στον ίδιο χώρο χαρακτηριστικών μπορούν να προστεθούν ή να αφαιρεθούν ο ένας από τον άλλον.
2. Η αποτροπή των διαρροών στυλ με την ένεση των χαρακτηριστικών της εικόνας αναφοράς αποκλειστικά στα μπλοκ στυλ και την επιθυμητή αποφυγή της ανάγκης να χρησιμοποιηθούν δυσχερείς βαρύτητες για την επιτόπια προσαρμογή, που χαρακτηρίζουν συχνά σχεδιασμούς με περισσότερους παραμέτρους.

Αυτό το άρθρο έχει ως στόχο να καλύψει το πλαίσιο InstantStyle σε βάθος, και θα εξετάσουμε τον μηχανισμό, τη μεθοδολογία, την αρχιτεκτονική του πλαισίου μαζί με τη σύγκριση με τα state-of-the-art πλαισια. Θα μιλήσουμε επίσης για το πώς το πλαίσιο InstantStyle επιτυγχάνει αξιοσημείωτα αποτελέσματα οπτικής στυλιστικής, και επιτυγχάνει μια ιδανική ισορροπία μεταξύ της ελέγχου των στοιχείων κειμένου και της έντασης του στυλ. Έτσι, ας ξεκινήσουμε.

InstantStyle: Διατήρηση Στυλ σε Γεννήτρια Εικόνας Κειμένου

Τα μοντέλα διάχυσης με βάση την επιτόπια προσαρμογή έχουν επιδείξει αξιοσημείωτη πρόοδο σε eine ευρεία γκάμα εργασιών προσωποποίησης και εξατομίκευσης εικόνας. Ωστόσο, παρά την πρόσφατη επιτυχία και την αύξηση της απόδοσης, η μεταφορά στυλ παραμένει μια απαιτητική εργασία για τους ερευνητές λόγω της ακαθόριστης και μη καθορισμένης φύσης του στυλ, που περιλαμβάνει ποικιλία στοιχείων, συμπεριλαμβανομένης της ατμόσφαιρας, της δομής, του σχεδιασμού, του υλικού, του χρώματος και πολλά άλλα.

Με τα προβλήματα που αντιμετωπίζουν οι τρέχοντες προσεγγίσεις, οι ερευνητές έχουν ενδιαφερθεί για την ανάπτυξη μεθόδων επιτόπιας προσαρμογής για τη μεταφορά στυλ ή τη γεννήτρια εικόνας στυλ, και αυτά τα πλαισια μπορούν να χωριστούν σε δύο διαφορετικές ομάδες:

• Προσεγγίσεις χωρίς προσαρμογέα: Οι προσεγγίσεις χωρίς προσαρμογέα και τα πλαισια αξιοποιούν τη δύναμη της αυτοπροσοχής μέσα στη διαδικασία διάχυσης, και με την εφαρμογή μιας κοινής λειτουργίας προσοχής, αυτά τα μοντέλα είναι ικανά να εξάγουν τα απαραίτητα χαρακτηριστικά, συμπεριλαμβανομένων των κλειδιών και των τιμών, από μια δεδομένη εικόνα αναφοράς στυλ απευθείας.

• Προσεγγίσεις με προσαρμογέα: Οι προσεγγίσεις με προσαρμογέα και τα πλαισια ενσωματώνουν ένα ελαφρύ μοντέλο που σχεδιάστηκε για να εξάγει λεπτομερείς αναπαραστάσεις εικόνας από τις εικόνες αναφοράς στυλ. Το πλαίσιο στη συνέχεια ενσωματώνει αυτές τις αναπαραστάσεις στη διαδικασία διάχυσης με τη χρήση μηχανισμών διασταύρωσης προσοχής. Ο πρωταρχικός στόχος της διαδικασίας ενσωμάτωσης είναι να οδηγήσει τη διαδικασία γεννήτριας και να εξασφαλίσει ότι η παραγμένη εικόνα είναι ευθυγραμμισμένη με τις επιθυμητές νюανς στυλ της εικόνας αναφοράς.

Ωστόσο, παρά τις υποσχέσεις, οι μεθόδους χωρίς επιτόπια προσαρμογή συχνά αντιμετωπίζουν κάποια προβλήματα. Πρώτον, η προσέγγιση χωρίς προσαρμογέα απαιτεί μια ανταλλαγή κλειδιών και τιμών μέσα στις λειτουργίες προσοχής, και προ-πιάζει τις матриτσες κλειδιών και τιμών που προέρχονται από τις εικόνες αναφοράς στυλ. Όταν εφαρμόζεται σε φυσικές εικόνες, η προσέγγιση χωρίς προσαρμογέα απαιτεί την αναστροφή της εικόνας πίσω στο θόρυβο λατεντίου χρησιμοποιώντας τεχνικές όπως DDIM ή Denoising Diffusion Implicit Models inversion. Ωστόσο, η χρήση DDIM ή άλλων μεθόδων αναστροφής μπορεί να οδηγήσει στην απώλεια λεπτομερειών όπως το χρώμα και η υφή, μειώνοντας έτσι τις πληροφορίες στυλ στις παραγμένες εικόνες. Επιπλέον, το πρόσθετο βήμα που εισάγεται από αυτές τις προσεγγίσεις είναι μια χρονοβόρα διαδικασία και μπορεί να υποβάλει σημαντικές δυσχέρειες στις πρακτικές εφαρμογές. Από την άλλη πλευρά, η πρωταρχική πρόκληση για τις μεθόδους με προσαρμογέα έγκειται στην επίτευξη της σωστής ισορροπίας μεταξύ της διαρροής περιεχομένου και της έντασης του στυλ. Η διαρροή περιεχομένου συμβαίνει όταν μια αύξηση της έντασης του στυλ οδηγεί στην εμφάνιση μη-στοιχείων στυλ από την εικόνα αναφοράς στην παραγμένη έξοδο, με το πρωταρχικό σημείο δυσχέρειας να είναι η διάκριση του στυλ από το περιεχόμενο μέσα στην εικόνα αναφοράς αποτελεσματικά.

Για να αντιμετωπίσουν αυτές τις περιορισμούς, το πλαίσιο InstantStyle εισάγεται, το οποίο είναι ένας καινούριος μηχανισμός χωρίς επιτόπια προσαρμογή με βάση τις υφιστάμενες μεθόδους με προσαρμογέα, με την ικανότητα να ενσωματώνεται απρόσκοπτα με άλλες μεθόδους ένεσης προσοχής, και να επιτυγχάνει την αποσύνδεση του περιεχομένου και του στυλ αποτελεσματικά. Επιπλέον, το πλαίσιο InstantStyle εισάγει δύο αποτελεσματικούς τρόπους για την ολοκλήρωση της αποσύνδεσης του στυλ και του περιεχομένου, επιτυγχάνοντας καλύτερη μεταφορά στυλ χωρίς την ανάγκη να εισαγάγει πρόσθετες μεθόδους για την αποσύνδεση ή να κατασκευάσει ζευγαρωμένα σύνολα δεδομένων.

Επιπλέον, προηγούμενα πλαισια με προσαρμογέα έχουν χρησιμοποιηθεί ευρέως στις μεθόδους CLIP ως εξαγωγείς χαρακτηριστικών εικόνας, και κάποια πλαισια έχουν εξετάσει την πιθανότητα εφαρμογής αποσύνδεσης χαρακτηριστικών μέσα στο χώρο χαρακτηριστικών, και όταν συγκρίνονται με την ακαθόριστη φύση του στυλ, είναι ευκολότερο να περιγράψουν το περιεχόμενο με κείμενο. Καθώς οι εικόνες και τα κείμενα μοιράζονται ένα χώρο χαρακτηριστικών στις μεθόδους CLIP, μια απλή операция υποστολής των χαρακτηριστικών κειμένου και εικόνας μπορεί να μειώσει σημαντικά τη διαρροή περιεχομένου. Επιπλέον, σε πολλά μοντέλα διάχυσης, υπάρχει ένα συγκεκριμένο επίπεδο στη αρχιτεκτονική τους που ενέχει τις πληροφορίες στυλ, και επιτυγχάνει την αποσύνδεση του περιεχομένου και του στυλ με την ένεση των χαρακτηριστικών εικόνας μόνο στα συγκεκριμένα μπλοκ στυλ. Με την εφαρμογή αυτών των δύο απλών στρατηγικών, το πλαίσιο InstantStyle είναι ικανό να λύσει τα προβλήματα διαρροής περιεχομένου που αντιμετωπίζουν πολλά υφιστάμενα πλαισια, διατηρώντας παράλληλα τη δύναμη του στυλ.

Για να συνοψίσουμε, το πλαίσιο InstantStyle εφαρμόζει δύο απλές, ευθείες αλλά αποτελεσματικές μεθόδους για να επιτύχει μια αποτελεσματική αποσύνδεση του περιεχομένου και του στυλ από τις εικόνες αναφοράς. Το πλαίσιο Instant-Style είναι ένα μοντέλο ανεξάρτητο και χωρίς επιτόπια προσαρμογή που επιδείχνει αξιοσημείωτη απόδοση σε εργασίες μεταφοράς στυλ με ένα τεράστιο δυναμικό για εργασίες κατάβασης.

Instant-Style: Μεθοδολογία και Αρχιτεκτονική

Όπως έχει δειχθεί από προηγούμενες προσεγγίσεις, υπάρχει μια ισορροπία στη ένεση των συνθηκών στυλ στα μοντέλα διάχυσης χωρίς επιτόπια προσαρμογή. Αν η ένταση της συνθήκης εικόνας είναι πολύ υψηλή, μπορεί να οδηγήσει σε διαρροή περιεχομένου, ενώ αν η ένταση της συνθήκης εικόνας είναι πολύ χαμηλή, το στυλ μπορεί να μην είναι αρκετά εμφανές. Ένας σημαντικός λόγος πίσω από αυτή την παρατήρηση είναι ότι σε μια εικόνα, το στυλ και το περιεχόμενο είναι διασυνδεμένα, και λόγω της ακαθόριστης φύσης του στυλ, είναι δύσκολο να αποσυνδεθούν το στυλ και το περιεχόμενο. Ως αποτέλεσμα, μερικές φορές χρησιμοποιούνται προσεκτικές βαρύτητες για κάθε εικόνα αναφοράς σε μια προσπάθεια να ισορροπήσουν την ελέγχου του κειμένου και τη δύναμη του στυλ.

Ερχόμενοι στην μεθοδολογία, αντί να εφαρμόζουν σύνθετες στρατηγικές για να αποσυνδέσουν το περιεχόμενο και το στυλ από τις εικόνες, το πλαίσιο Instant-Style λαμβάνει την απλούστερη προσέγγιση για να επιτύχει παρόμοια απόδοση. Σε σύγκριση με την ακαθόριστη φύση του στυλ, το περιεχόμενο μπορεί να αντιπροσωπεύεται με φυσικό κείμενο, επιτρέποντας στο πλαίσιο Instant-Style να χρησιμοποιήσει τον κωδικοποιητή κειμένου από το CLIP για να εξάγει τα χαρακτηριστικά του περιεχομένου κειμένου ως αναπαραστάσεις περιεχομένου. Ταυτόχρονα, το πλαίσιο Instant-Style εφαρμόζει τον κωδικοποιητή εικόνας CLIP για να εξάγει τα χαρακτηριστικά της εικόνας αναφοράς. Λαμβάνοντας υπόψη την χαρακτηριστική των χαρακτηριστικών CLIP, και αφαιρώντας τα χαρακτηριστικά κειμένου από τα χαρακτηριστικά εικόνας, το πλαίσιο Instant-Style είναι ικανό να αποσυνδέσει το στυλ και το περιεχόμενο ρητά. Αν και είναι μια απλή στρατηγική, βοηθά το πλαίσιο Instant-Style να είναι αποτελεσματικό στη μείωση της διαρροής περιεχομένου.

Επιπλέον, κάθε επίπεδο μέσα σε ένα βαθύ δίκτυο είναι υπεύθυνο για την κατανόηση διαφορετικών σεματικών πληροφοριών, και η κλειδί παρατήρηση από προηγούμενα μοντέλα είναι ότι υπάρχουν δύο επίπεδα προσοχής που είναι υπεύθυνα για την αντιμετώπιση του στυλ. Συγκεκριμένα, είναι τα μπλοκ.0.attentions.1 και down blocks.2.attentions.1 που είναι υπεύθυνα για την κατανόηση του στυλ όπως το χρώμα, το υλικό, η ατμόσφαιρα, και το επίπεδο χωρικής διάταξης που κατανόησε τη δομή και τη σύνθεση αντίστοιχα. Το πλαίσιο Instant-Style χρησιμοποιεί αυτά τα επίπεδα ρητά για να εξάγει πληροφορίες στυλ, και αποτρέπει τη διαρροή περιεχομένου χωρίς να χάσει τη δύναμη του στυλ. Η στρατηγική είναι απλή αλλά αποτελεσματική,既然 το μοντέλο έχει εντοπίσει τα μπλοκ στυλ που μπορούν να ενέσουν τις χαρακτηριστικές εικόνας σε αυτά τα μπλοκ για να επιτύχουν μια αμαχητί μεταφορά στυλ. Επιπλέον,既然 το μοντέλο μειώνει σημαντικά τον αριθμό των παραμέτρων του προσαρμογέα, η ικανότητα ελέγχου του κειμένου του πλαισίου ενισχύεται, και ο μηχανισμός είναι επίσης εφαρμόσιμος σε άλλους μοντέλους ένεσης προσοχής για επεξεργασία και άλλες εργασίες.

Instant-Style: Πειράματα και Αποτελέσματα

Το πλαίσιο InstantStyle εφαρμόζεται στο πλαίσιο Stable Diffusion XL, και χρησιμοποιεί το συνήθως υιοθετούμενο προ-εκπαιδευμένο IR-adapter ως το εξαγόμενο για να επικυρώσει τη μεθοδολογία του, και σβήνει όλα τα μπλοκ εκτός από τα μπλοκ στυλ για τις χαρακτηριστικές εικόνας. Το μοντέλο Instant-Style επίσης εκπαιδεύει τον IR-adapter σε 4 εκατομμύρια μεγάλα σύνολα δεδομένων κειμένου-εικόνας από την αρχή, και αντί να εκπαιδεύει όλα τα μπλοκ, ενημερώνει μόνο τα μπλοκ στυλ.

Για να διεξαγάγει πειράματα για τις ικανότητες γενίκευσης και την ανθεκτικότητα, το πλαίσιο InstantStyle διεξάγει πολλά πειράματα μεταφοράς στυλ με διάφορα στυλ σε διαφορετικό περιεχόμενο, και τα αποτελέσματα μπορούν να παρατηρηθούν στις ακόλουθες εικόνες. Δεδομένου ενός στυλ εικόνας αναφοράς μαζί με διάφορες προτροπές, το πλαίσιο InstantStyle παρέχει υψηλής ποιότητας, συνεπή στυλ γεννήτρια εικόνας.

Επιπλέον,既然 το μοντέλο ενέχει τις πληροφορίες εικόνας μόνο στα μπλοκ στυλ, είναι ικανό να μετριάσει σημαντικά το πρόβλημα της διαρροής περιεχομένου, και δεν χρειάζεται να thực hiện βαρύτητες.

Συνεχίζοντας, το πλαίσιο InstantStyle επίσης υιοθετεί την αρχιτεκτονική ControlNet για να επιτύχει την στυλιστική εικόνας με χωρικό έλεγχο, και τα αποτελέσματα παρουσιάζονται στην ακόλουθη εικόνα.

Σε σύγκριση με προηγούμενες μεθόδους state-of-the-art, συμπεριλαμβανομένων StyleAlign, B-LoRA, Swapping Self Attention, και IP-Adapter, το πλαίσιο InstantStyle επιδείχνει τα καλύτερα οπτικά αποτελέσματα.

Τελικές Σκέψεις

Σε αυτό το άρθρο, abbiamo μιλήσει για το Instant-Style, ένα γενικό πλαίσιο που εφαρμόζει δύο απλές αλλά αποτελεσματικές στρατηγικές για να επιτύχει μια αποτελεσματική αποσύνδεση του περιεχομένου και του στυλ από τις εικόνες αναφοράς. Το πλαίσιο InstantStyle σχεδιάστηκε με στόχο την αντιμετώπιση των προβλημάτων που αντιμετωπίζουν τα τρέχοντα μοντέλα διάχυσης με βάση την επιτόπια προσαρμογή για τη γεννήτρια εικόνας και την εξατομίκευση. Το πλαίσιο Instant-Style εφαρμόζει δύο βασικές στρατηγικές: μια απλή αλλά αποτελεσματική προσέγγιση για να αποσυνδέσει το στυλ και το περιεχόμενο από τις εικόνες αναφοράς στο χώρο των χαρακτηριστικών, και η αποτροπή των διαρροών στυλ με την ένεση των χαρακτηριστικών εικόνας αναφοράς αποκλειστικά στα μπλοκ στυλ, και την επιθυμητή αποφυγή της ανάγκης να χρησιμοποιηθούν δυσχερείς βαρύτητες για την επιτόπια προσαρμογή.