Η inpainting εικόνας είναι ένα από τα κλασικά προβλήματα στην υπολογιστική όραση και στοχεύει στην αποκατάσταση των μασκαρεμένων περιοχών μιας εικόνας με πιθανό και φυσικό περιεχόμενο. Η υπάρχουσα εργασία που χρησιμοποιεί παραδοσιακές τεχνικές inpainting εικόνας όπως τα Δίκτυα Ανταγωνιστικών Αυτοματών ή GANS και τα Αυτο-Ενκωδικοποιητές ή VAEs συχνά απαιτούν βοηθητικά χαρακτηριστικά που έχουν σχεδιαστεί με το χέρι, αλλά ταυτόχρονα δεν παρέχουν ικανοποιητικά αποτελέσματα. Τα τελευταία χρόνια, οι μεθόδοι που βασίζονται στη διαχύτηση έχουν κερδίσει δημοτικότητα внутри της κοινότητας της υπολογιστικής όρασης λόγω των εξαιρετικών ικανοτήτων τους για την παραγωγή υψηλής ποιότητας εικόνων, της ποικιλίας της εξόδου και του λεπτομερούς ελέγχου. Οι αρχικές προσπάθειες για την εφαρμογή μοντέλων διαχύτησης για την inpainting εικόνας με οδηγία κειμένου τροποποίησαν την τυποποιημένη στρατηγική αποσυνέθεσης με δειγματοληψία των μασκαρεμένων περιοχών από ένα προ-εκπαιδευμένο μοντέλο διαχύτησης και αντιγραφή των αμασκαρεμένων περιοχών από την δεδομένη εικόνα σε κάθε βήμα αποσυνέθεσης. Αν και αυτές οι μεθόδοι οδήγησαν σε ικανοποιητική απόδοση σε απλές εργασίες inpainting εικόνας, δυσκολεύτηκαν με σύνθετες μάσκες, οδηγίες κειμένου και περιεχόμενο εικόνας που οδήγησαν σε μια συνολική έλλειψη συνάφειας. Η έλλειψη συνάφειας που παρατηρήθηκε σε αυτές τις μεθόδοι μπορεί να οφείλεται κυρίως στην περιορισμένη γνώση τους για τα όρια των μασκών και το контέκστ της αμασκαρεμένης περιοχής της εικόνας.

Παρά τις προόδους, την έρευνα και την ανάπτυξη αυτών των μοντέλων τα τελευταία χρόνια, η inpainting εικόνας παραμένει ένα σημαντικό εμπόδιο για τους développers της υπολογιστικής όρασης. Οι τρέχουσες προσαρμογές των μοντέλων διαχύτησης για εργασίες inpainting εικόνας涉 INCLUDE την τροποποίηση της στρατηγικής δειγματοληψίας ή την ανάπτυξη μοντέλων inpainting που έχουν σχεδιαστεί ειδικά για την ενσωμάτωση των μασκαρεμένων εικόνων και των μασκών συχνά υποφέρουν από μειωμένη ποιότητα εικόνας και ασυνέπεδη σημασιολογία. Για να αντιμετωπίσουν αυτές τις προκλήσεις και να ανοίξουν τον δρόμο για τα μοντέλα inpainting εικόνας, σε αυτό το άρθρο, θα μιλήσουμε για το BrushNet, ένα καινούριο πλαίσιο dual-branch που ενσωματώνει χαρακτηριστικά εικόνας σε κάθε προ-εκπαιδευμένο μοντέλο διαχύτησης, εγγυώμενος συνάφεια και ενισχυμένα αποτελέσματα στις εργασίες inpainting εικόνας. Το BrushNet εισαγάγει ένα νέο парадίγμα στο οποίο το πλαίσιο διαιρεί τις χαρακτηριστικές εικόνας και τους θορύβους σε ξεχωριστές κλάδους. Η διαιρέση των χαρακτηριστικών εικόνας και των θορύβων μειώνει τη φόρτωση μάθησης για το μοντέλο δραστικά και διευκολύνει μια νηφαλία ενσωμάτωση των απαραίτητων μασκαρεμένων χαρακτηριστικών εικόνας σε μια ιεραρχική μορφή. Επιπλέον, στο BrushNet, θα μιλήσουμε επίσης για το BrushBench και το BrushData που διευκολύνουν την αξιολόγηση της απόδοσης με βάση τη διαίρεση και την εκπαίδευση της inpainting εικόνας, αντίστοιχα.

Το άρθρο αυτό στοχεύει να καλύψει το BrushNet σε βάθος και να εξερευνήσουμε τον μηχανισμό, τη μεθοδολογία, την αρχιτεκτονική του πλαισίου μαζί με την σύγκριση με τα state-of-the-art πλαισια. Έτσι, ας ξεκινήσουμε.

BrushNet: Image Inpainting με Δυαδική Διαχύτηση

Η inpainting εικόνας, μια μέθοδος που προσπαθεί να αποκαταστήσει τις μασκαρεμένες περιοχές μιας εικόνας διατηρώντας τη συνολική συνάφεια, έχει sido ένα μακροχρόνιο πρόβλημα στην υπολογιστική όραση και έχει προβληματίσει τους développers και τους ερευνητές για quelques χρόνια τώρα. Η inpainting εικόνας βρίσκει εφαρμογές σε μια ευρεία ποικιλία εργασιών υπολογιστικής όρασης, συμπεριλαμβανομένης της επεξεργασίας εικόνας και των εικονικών δοκιμών. Πρόσφατα, τα μοντέλα διαχύτησης όπως η Stable Diffusion και η Stable Diffusion 1.5 έχουν δείξει εξαιρετική ικανότητα να παράγουν υψηλής ποιότητας εικόνες και παρέχουν στους χρήστες την ευελιξία να ελέγχουν τη σημασιολογική και cấu trúc ελέγχου. Η εξαιρετική δυνατότητα των μοντέλων διαχύτησης είναι αυτό που έχει οδηγήσει τους ερευνητές να καταφύγουν στα μοντέλα διαχύτησης για υψηλής ποιότητας εργασίες inpainting εικόνας που συμφωνούν με τις οδηγίες κειμένου.

Οι μεθόδοι που χρησιμοποιούνται από τα παραδοσιακά μοντέλα διαχύτησης με οδηγία κειμένου μπορούν να χωριστούν σε δύο κατηγορίες, Τροποποίηση της Στρατηγικής Δειγματοληψίας και Αφιερωμένα Μοντέλα Inpainting. Η μέθοδος τροποποίησης της στρατηγικής δειγματοληψίας τροποποιεί τη τυποποιημένη διαδικασία αποσυνέθεσης με δειγματοληψία των μασκαρεμένων περιοχών από ένα προ-εκπαιδευμένο μοντέλο διαχύτησης και αντιγραφή των αμασκαρεμένων περιοχών από την δεδομένη εικόνα σε κάθε βήμα αποσυνέθεσης. Αν και οι προσεγγίσεις τροποποίησης της στρατηγικής δειγματοληψίας μπορούν να εφαρμοστούν σε τυχαία μοντέλα διαχύτησης, συχνά οδηγούν σε ασυνέπεδες αποτελέσματα inpainting εικόνας, поскольку έχουν περιορισμένη γνώση των ορίων των μασκών και του контέκστ της αμασκαρεμένης περιοχής της εικόνας. Από την άλλη πλευρά, τα αφιερωμένα μοντέλα inpainting fine-tune ένα μοντέλο inpainting εικόνας που έχει σχεδιαστεί ειδικά με την επέκταση των διαστάσεων του καναλιού εισόδου του βασικού μοντέλου διαχύτησης για να ενσωματώσει την εικόνα και τις μάσκες. Αν και τα αφιερωμένα μοντέλα inpainting επιτρέπουν στο μοντέλο διαχύτησης να παράγει πιο ικανοποιητικά αποτελέσματα με εξειδικευμένα μοντέλα που είναι ευαίσθητα στη μορφή και το περιεχόμενο, μπορεί να μην είναι η καλύτερη αρχιτεκτονική σχεδίαση για τα μοντέλα inpainting εικόνας.

Όπως φαίνεται στην ακόλουθη εικόνα, τα αφιερωμένα μοντέλα inpainting συνδυάζουν το μασκαρεμένο εικόνα λανθάνων, θορύβους, κείμενο και μάσκες σε πρώιμο στάδιο. Η αρχιτεκτονική σχεδίαση των αφιερωμένων μοντέλων inpainting επηρεάζει εύκολα τα χαρακτηριστικά εικόνας και αποτρέπει τις επόμενες στρώσεις στην αρχιτεκτονική UNet από το να λάβουν καθαρές χαρακτηριστικές εικόνας λόγω της επιρροής του κειμένου. Επιπλέον, η διαχείριση της γεννήσεως και της κατάστασης σε ένα seul κλάδο επιβάλλει επιπλέον φόρτωση στην αρχιτεκτονική UNet και由于 αυτά τα μοντέλα επίσης απαιτούν fine-tuning σε διαφορετικές παραλλαγές του μοντέλου διαχύτησης, αυτές οι προσεγγίσεις είναι συχνά χρονοβόρες με περιορισμένη μεταφερσιμότητα.

Μπορεί να φαίνεται ότι η προσθήκη ενός επιπλέον κλάδου αφιερωμένου στην εξαγωγή χαρακτηριστικών εικόνας μπορεί να είναι μια επαρκής λύση στα προβλήματα που αναφέρθηκαν παραπάνω, ωστόσο, τα υπάρχοντα πλαισια συχνά οδηγούν σε εξαγωγή και εισαγωγή ανεπαρκούς πληροφοριών όταν εφαρμόζονται απευθείας στην inpainting. Ως αποτέλεσμα, τα υπάρχοντα πλαισια όπως το ControlNet αποδίδουν μη ικανοποιητικά αποτελέσματα όταν συγκρίνονται με αφιερωμένα μοντέλα inpainting. Για να αντιμετωπίσουν αυτό το πρόβλημα με τον πιο αποτελεσματικό τρόπο, το BrushNet εισαγάγει einen επιπλέον κλάδο στο αρχικό δίκτυο διαχύτησης και δημιουργεί μια πιο κατάλληλη αρχιτεκτονική για εργασίες inpainting εικόνας. Η σχεδίαση και αρχιτεκτονική του BrushNet μπορούν να συνοψιστούν σε τρεις σημεία.

1. Αντί να αρχικοποιούνται τα στρώματα συνволύσεων τυχαία, το BrushNet εφαρμόζει έναν κωδικοποιητή VAE για να επεξεργαστεί την μασκαρεμένη εικόνα. Ως αποτέλεσμα, το BrushNet είναι σε θέση να εξάγει τα χαρακτηριστικά εικόνας για προσαρμογή στην κατανομή UNet πιο αποτελεσματικά.
2. Το BrushNet ενσωματώνει σταδιακά το πλήρες στρώμα χαρακτηριστικών UNet στρώμα προς στρώμα στην προ-εκπαιδευμένη αρχιτεκτονική UNet, μια ιεραρχική προσέγγιση που επιτρέπει πυκνό ελέγχο pixel προς pixel.
3. Το BrushNet αφαιρεί την προσοχή κειμένου από το στρώμα UNet για να διασφαλίσει ότι λαμβάνονται καθαρές πληροφορίες εικόνας στον επιπλέον κλάδο. Επιπλέον, το BrushNet προτείνει την εφαρμογή μιας στρατηγικής συνδυασμού με θολούμενη μάσκες για να επιτύχει καλύτερη συνάφεια μαζί με einen μεγαλύτερο εύρος ελέγχου στις αμασκαρεμένες περιοχές της εικόνας.

BrushNet: Μεθοδολογία και Αρχιτεκτονική

Η ακόλουθη εικόνα μας δίνει μια σύντομη επισκόπηση του BrushNet.

Όπως μπορεί να παρατηρηθεί, το πλαίσιο εφαρμόζει μια στρατηγική dual-branch για την εισαγωγή οδηγιών εικόνας και χρησιμοποιεί επιχειρήσεις συνδυασμού με θολούμενη μάσκες για να διασφαλίσει καλύτερη διατήρηση των αμασκαρεμένων περιοχών. Αξίζει να σημειωθεί ότι το BrushNet είναι σε θέση να điều chỉnh την κλίμακα που προστίθεται για να επιτύχει εύκαμπτο έλεγχο. Για μια δεδομένη μασκαρεμένη εικόνα και μάσκες, το BrushNet εξόδου μια inpainted εικόνα. Το μοντέλο πρώτα υποδείγματος τη μάσκες για να ταιριάζει με το μέγεθος του λανθάνωντος και η μασκαρεμένη εικόνα εισάγεται ως είσοδος στον κωδικοποιητή VAE για να ευθυγραμμίσει την κατανομή του χώρου λανθάνωντος. Το μοντέλο στη συνέχεια συνδυάζει το μασκαρεμένο εικόνα λανθάνων, τους θορύβους και το υποδείγματος μάσκες και χρησιμοποιεί το ως είσοδο. Τα χαρακτηριστικά που εξάγει το μοντέλο προστίθενται στο προ-εκπαιδευμένο στρώμα UNet μετά από ένα στρώμα συνволύσεων μηδέν. Μετά την αποσύνθεση, το μοντέλο συνδυάζει την μασκαρεμένη εικόνα και την παραγμένη εικόνα με μια θολούμενη μάσκες.

Οδηγίες Εικόνας

Το BrushNet εισάγει τις οδηγίες εικόνας στο προ-εκπαιδευμένο δίκτυο διαχύτησης χρησιμοποιώντας einen επιπλέον κλάδο, ο οποίος χωρίζει την εξαγωγή χαρακτηριστικών εικόνας από τη διαδικασία της γεννήσεως εικόνας ρητά. Η είσοδος σχηματίζεται με την συνδυασμός του μασκαρεμένου εικόνα λανθάνωντος, θορύβων και υποδείγματος μάσκες. Για να seja πιο συγκεκριμένος, ο θορύβος λανθάνωντος παρέχει πληροφορίες για τη γεννήσεως εικόνας κατά τη διάρκεια της τρέχουσας γεννήσεως και βοηθά το BrushNet να ενισχύσει τη σημασιολογική συνάφεια του μασκαρεμένου εικόνα χαρακτηριστικών. Το BrushNet στη συνέχεια εξάγει το μασκαρεμένο εικόνα λανθάνωντος από την μασκαρεμένη εικόνα χρησιμοποιώντας einen Αυτο-Ενκωδικοποιητή. Επιπλέον, το BrushNet εφαρμόζει την κυβική παρεμβολή για να υποδείγματος τη μάσκες σε μια προσπάθεια να διασφαλίσει ότι το μέγεθος της μάσκας ταιριάζει με το μέγεθος του μασκαρεμένου εικόνα λανθάνωντος και του θορύβου λανθάνωντος. Για να επεξεργαστεί τα χαρακτηριστικά εικόνας, το BrushNet εφαρμόζει einen κλώνο του προ-εκπαιδευμένου μοντέλου διαχύτησης και εξαιρεί τα στρώματα προσοχής κειμένου του μοντέλου διαχύτησης. Ο λόγος είναι ότι τα προ-εκπαιδευμένα βάρη του μοντέλου διαχύτησης υπηρετούν ως ένα ισχυρό προηγούμενο για την εξαγωγή των χαρακτηριστικών εικόνας και η εξαίρεση των στρωμάτων προσοχής κειμένου διασφαλίζει ότι το μοντέλο λαμβάνει μόνο καθαρές πληροφορίες εικόνας στον επιπλέον κλάδο. Το BrushNet εισάγει τα χαρακτηριστικά στο παγωμένο δίκτυο διαχύτησης στρώμα προς στρώμα, επιτρέποντας eine ιεραρχική πυκνή ελέγχο pixel προς pixel και επίσης εφαρμόζει στρώματα συνβολύσεων μηδέν για να καθιερώσει μια σύνδεση μεταξύ του εκπαιδεύσιμου BrushNet και του κλειδωμένου μοντέλου, διασφαλίζοντας ότι ο θόρυβος δεν έχει επίδραση στα κρυφά κράτη κατά τη διάρκεια των αρχικών σταδίων εκπαίδευσης.

Επιχείρηση Συνδυασμού

Όπως αναφέρθηκε νωρίτερα, η διεξαγωγή της επιχείρησης συνδυασμού στο χώρο λανθάνωντος συχνά οδηγεί σε λάθη, και το BrushNet αντιμετωπίζει ένα παρόμοιο πρόβλημα όταν υποδείγματος τη μάσκες για να ταιριάζει με το μέγεθος του χώρου λανθάνωντος. Επιπλέον, αξίζει να σημειωθεί ότι οι επιχειρήσεις κωδικοποίησης και αποκωδικοποίησης των Αυτο-Ενκωδικοποιητών έχουν περιορισμένες επιχειρήσεις και μπορεί να μην διασφαλίσουν πλήρη ανακατασκευή εικόνας. Για να διασφαλίσει ότι το BrushNet ανακατασκευάζει μια πλήρη συνάφεια εικόνας στις αμασκαρεμένες περιοχές, τα υπάρχοντα έργα έχουν εφαρμόσει διαφορετικές τεχνικές, όπως η αντιγραφή των αμασκαρεμένων περιοχών από την αρχική εικόνα. Αν και η προσέγγιση αυτή λειτουργεί, συχνά οδηγεί σε έλλειψη σημασιολογικής συνάφειας στην παραγωγή των τελικών αποτελεσμάτων. Από την άλλη πλευρά, άλλες μεθόδοι, όπως η υιοθέτηση επιχειρήσεων συνδυασμού λανθάνωντος, αντιμετωπίζουν δυσκολίες στη διατήρηση της επιθυμητής πληροφορίας στις αμασκαρεμένες περιοχές.

Εύκαμπτος Έλεγχος

Η αρχιτεκτονική σχεδίαση του BrushNet το καθιστά ένα κατάλληλο πλαίσιο για plug and play ολοκλήρωση με διάφορα προ-εκπαιδευμένα μοντέλα διαχύτησης και επιτρέπει εύκαμπτη διατήρηση κλίμακας.既然 το BrushNet δεν τροποποιεί τα βάρη του προ-εκπαιδευμένου μοντέλου διαχύτησης, οι développers έχουν την ευελιξία να το ολοκληρώσουν ως einen plug and play συνιστώσα με ένα fine-tune μοντέλο διαχύτησης, επιτρέποντας εύκολη υιοθέτηση και πειραματισμό με προ-εκπαιδευμένα μοντέλα. Επιπλέον, οι développers έχουν επίσης την επιλογή να ελέγχουν την κλίμακα διατήρησης των αμασκαρεμένων περιοχών ενσωματώνοντας τα χαρακτηριστικά του BrushNet στο παγωμένο δίκτυο διαχύτησης με το δοθέν βάρος w που καθορίζει την επιρροή του BrushNet στην κλίμακα διατήρησης, προσφέροντας στους développers την khảότητα να προσαρμόσουν τα επιθυμητά επίπεδα διατήρησης. Τέλος, το BrushNet επιτρέπει στους χρήστες να điều chỉnh την κλίμακα θόλυνσης και να αποφασίσουν εάν θα εφαρμόσουν την επιχείρηση θόλυνσης, επιτρέποντας εύκολη προσαρμογή και λεπτομερή έλεγχο της διαδικασίας inpainting εικόνας.

BrushNet: Υλοποίηση και Αποτελέσματα

Για να αναλύσει τα αποτελέσματά του, το BrushNet προτείνει το BrushBench, einen dataset με βάση τη διαίρεση για την inpainting εικόνας με πάνω από 600 εικόνες, με κάθε εικόνα να συνοδεύεται από μια ανθρώπινα-annotated μάσκες και κείμενο. Οι εικόνες στο dataset BrushBench διανέμονται ισότιμα μεταξύ φυσικών και τεχνητών εικόνων και επίσης διασφαλίζουν ισότιμη κατανομή μεταξύ διαφορετικών κατηγοριών, επιτρέποντας μια δίκαιη αξιολόγηση σε διαφορετικές κατηγορίες. Για να ενισχύσει την ανάλυση των εργασιών inpainting ακόμη περισσότερο, το BrushNet κατηγοριοποιεί το dataset σε δύο ξεχωριστές μέρη με βάση τις μεθόδοι που χρησιμοποιούνται: με βάση τη διαίρεση και με βάση τις μάσκες.

Ποσοτική Σύγκριση

Ο ακόλουθος πίνακας συγκρίνει το BrushNet με υπάρχοντα μοντέλα διαχύτησης για την inpainting εικόνας στο dataset BrushBench με το Stable Diffusion ως το βασικό μοντέλο.

Όπως μπορεί να παρατηρηθεί, το BrushNet αποδίδει εξαιρετική αποτελεσματικότητα σε μασκαρεμένες περιοχές, στοίχηση κειμένου και ποιότητα εικόνας. Επιπλέον, μοντέλα όπως το Stable Diffusion Inpainting, το HD-Painter, το PowerPaint και άλλα αποδίδουν ισχυρή απόδοση σε εργασίες inpainting εικόνας, αν και αποτυγχάνουν να αναπαράγουν την απόδοσή τους σε εργασίες inpainting εικόνας εκτός, ιδιαίτερα σε όρους στοίχηση κειμένου και ποιότητας εικόνας. Συνολικά, το BrushNet αποδίδει τα ισχυρότερα αποτελέσματα.

Επιπλέον, ο ακόλουθος πίνακας συγκρίνει το BrushNet με υπάρχοντα μοντέλα διαχύτησης για την inpainting εικόνας στο dataset EditBench και η απόδοση είναι συγκρίσιμη με αυτή που παρατηρείται στο dataset BrushBench. Τα αποτελέσματα δείχνουν ότι το BrushNet αποδίδει ισχυρή απόδοση σε eine ευρεία ποικιλία εργασιών inpainting εικόνας με διαφορετικά είδη μασκών.

Ποιοτική Σύγκριση

Η ακόλουθη εικόνα συγκρίνει ποιοτικά το BrushNet με υπάρχοντα μεθόδοι inpainting εικόνας, με αποτελέσματα που καλύπτουν την τεχνητή νοημοσύνη και τις φυσικές εικόνες σε διαφορετικά εργασίες inpainting, συμπεριλαμβανομένων της τυχαίας μάσκας inpainting, της inpainting εσωτερικής μάσκας και της inpainting εξωτερικής μάσκας.

Όπως μπορεί να παρατηρηθεί, το BrushNet αποδίδει εξαιρετικά αποτελέσματα στη συνάφεια της αμασκαρεμένης περιοχής και των συνάφειας περιοχών και επιτυγχάνει με επιτυχία την επίγνωση της πληροφορίας του φόντου λόγω της εφαρμογής της dual-branch αποσύνδεσης. Επιπλέον, ο αδιατάρακτος κλάδος του προ-εκπαιδευμένου μοντέλου διαχύτησης παρέχει το πλεονέκτημα της κάλυψης διαφορετικών δεδομένων περιοχών, όπως οι εικόνες anime και ζωγραφικής, με καλύτερη απόδοση σε διαφορετικές περιπτώσεις.

Τελικές Σκέψεις

Σε αυτό το άρθρο, μιλήσαμε για το BrushNet, einen καινούριο plug and play dual-branch πλαίσιο που ενσωματώνει pixel-επίπεδο μασκαρεμένες χαρακτηριστικές εικόνας σε κάθε προ-εκπαιδευμένο μοντέλο διαχύτησης, εγγυώμενος συνάφεια και ενισχυμένα αποτελέσματα στις εργασίες inpainting εικόνας. Το BrushNet εισαγάγει einen νέο парадίγμα στο οποίο το πλαίσιο διαιρεί τις χαρακτηριστικές εικόνας και τους θορύβους σε ξεχωριστές κλάδους. Η διαιρέση των χαρακτηριστικών εικόνας και των θορύβων μειώνει τη φόρτωση μάθησης για το μοντέλο δραστικά και διευκολύνει μια νηφαλία ενσωμάτωση των απαραίτητων μασκαρεμένων χαρακτηριστικών εικόνας σε μια ιεραρχική μορφή. Επιπλέον, στο BrushNet, θα μιλήσουμε επίσης για το BrushBench και το BrushData που διευκολύνουν την αξιολόγηση της απόδοσης με βάση τη διαίρεση και την εκπαίδευση της inpainting εικόνας, αντίστοιχα.