Δημιουργώντας ένα Προσαρμοσμένο Γεννητικό Ανταγωνιστικό Δίκτυο Με Σκίτσα

Ερευνητές από το Carnegie Mellon και το MIT έχουν αναπτύξει μια νέα μεθοδολογία που επιτρέπει στον χρήστη να δημιουργήσει ένα προσαρμοσμένο Γεννητικό Ανταγωνιστικό Δίκτυο (GAN) σύστημα δημιουργίας εικόνων, απλώς διαγράφοντας ενδεικτικά σκίτσα.

Ένα σύστημα αυτού του τύπου θα μπορούσε να επιτρέψει στον τελικό χρήστη να δημιουργήσει συστήματα δημιουργίας εικόνων που μπορούν να παράγουν πολύ συγκεκριμένες εικόνες, όπως συγκεκριμένα ζώα, τύποι κτιρίων – και ακόμη και άτομα. Hiện, τα περισσότερα συστήματα GAN δημιουργίας εικόνων παράγουν ευρείες και αρκετά τυχαίες εξόδους, με περιορισμένες δυνατότητες να καθορίσουν συγκεκριμένα χαρακτηριστικά, όπως το είδος του ζώου, τα τύποι μαλλιών στα άτομα, τα στυλ αρχιτεκτονικής ή τα πραγματικά πρόσωπα.

Η προσέγγιση, που περιγράφεται στο έγγραφο Σκίτσο το Δικό Σου GAN, χρησιμοποιεί μια νέα διεπαφή σκίτσου ως αποτελεσματική ‘αναζήτηση’ για να βρει χαρακτηριστικά και κατηγορίες σε βάσεις δεδομένων εικόνων που μπορεί να περιέχουν χιλιάδες τύπους αντικειμένων, συμπεριλαμβανομένων πολλών υπο-κατηγοριών που δεν είναι σχετικές με την πρόθεση του χρήστη. Το GAN εκπαιδεύεται στη συνέχεια σε αυτό το φιλτραρισμένο υπο-σύνολο εικόνων.

Διαγράφοντας το συγκεκριμένο αντικείμενο με το οποίο ο χρήστης επιθυμεί να καλιμπράρει το GAN, οι γεννητικές ικανότητες του πλαισίου γίνονται εξειδικευμένες σε αυτήν την κατηγορία. Για παράδειγμα, αν ο χρήστης επιθυμεί να δημιουργήσει ένα πλάισιο που παράγει ένα συγκεκριμένο τύπο γάτας (αντί για οποιαδήποτε γάτα, όπως μπορεί να ληφθεί με το This Cat Does Not Exist), τα σκίτσα εισόδου του χρηστή λειτουργούν ως φίλτρο για να αποκλείσουν μη σχετικές κατηγορίες γάτας.

Πηγή: https://peterwang512.github.io/GANSketching/

Η έρευνα διεξάγεται από τον Sheng Yu-Wang του Carnegie Mellon University, μαζί με τον συνάδελφό του Jun-Yan Zhu, και τον David Bau του Εργαστηρίου Επιστήμης και Τεχνολογίας Υπολογιστών του MIT.

Η μέθοδος ονομάζεται ‘GAN σκίτσου’ και χρησιμοποιεί τα σκίτσα εισόδου για να αλλάξει trực tiếp τα βάρη ενός ‘πρότυπου’ μοντέλου GAN για να στοχεύσει συγκεκριμένα τον αναγνωρισμένο τομέα ή υπο-τομέα μέσω δια-τομεακού ανταγωνιστικού κόστους.

Διάφορες μεθόδους κανονικοποίησης εξερευνήθηκαν για να διασφαλιστεί ότι η έξοδος του μοντέλου είναι ποικίλη, ενώ διατηρείται υψηλή ποιότητα εικόνας. Οι ερευνητές δημιούργησαν δείγματα εφαρμογών που μπορούν να.interpolate τον latent χώρο και να thực hiện διαδικασίες επεξεργασίας εικόνας.

Αυτό το [$class] Δεν Υπάρχει

Τα συστήματα GAN δημιουργίας εικόνων έχουν γίνει μια μόδα, αν όχι ένα meme, τα τελευταία χρόνια, με μια πληθώρα έργων που μπορούν να παράγουν εικόνες μη υπαρχουσών πραγμάτων, συμπεριλαμβανομένων ανθρώπων, διαμερισμάτων, σνακ, ποδιών, αλόγων, πολιτικών και εντόμων, μεταξύ άλλων.

Τα συστήματα GAN σύνθεσης εικόνων δημιουργούνται με τη συλλογή ή την επιμέλεια εκτενών συνόλων δεδομένων που περιέχουν εικόνες από τον στόχο τομέα, όπως πρόσωπα ή άλογα· εκπαίδευση μοντέλων που γενικεύουν eine σειρά χαρακτηριστικών σε όλη τη βάση δεδομένων· και υλοποίηση μονάδων γεννήτριας που μπορούν να εξαγάγουν τυχαία παραδείγματα με βάση τα μαθημένα χαρακτηριστικά.

Έξοδος από σκίτσα στο DeepFacePencil, που επιτρέπει στους χρήστες να δημιουργήσουν φωτορεαλιστικές πρόσωπα από σκίτσα. Πολλά παρόμοια έργα σκίτσου-εικόνας υπάρχουν.

Χαρακτηριστικά υψηλής διάστασης είναι μεταξύ των πρώτων που συγκεκριμενοποιούνται κατά τη διαδικασία εκπαίδευσης, και είναι ισοδύναμα με τα πρώτα ευρείες πινελιές χρώματος σε ένα καμβά. Αυτά τα χαρακτηριστικά υψηλής διάστασης θα συσχετιστούν τελικά με πολύ πιο λεπτομερή χαρακτηριστικά (π.χ. το λάμψη του ματιού και τα οξεία γούστα της γάτας, αντί για ένα γενικό beige μπλοκ που αντιπροσωπεύει το κεφάλι).

Ξέρω Τι Εννοείς…

Χαρτογραφώντας τη σχέση μεταξύ αυτών των πρώτων σεμιναλικών σχημάτων και των τελικών λεπτομερών ερμηνειών που λαμβάνονται πολύ αργότερα στη διαδικασία εκπαίδευσης, είναι δυνατό να συναχθούν σχέσεις μεταξύ ‘ασαφών’ και ‘συγκεκριμένων’ εικόνων, επιτρέποντας στους χρήστες να δημιουργήσουν σύνθετες και φωτορεαλιστικές εικόνες από χονδρά σκίτσα.

Πρόσφατα, η NVIDIA κυκλοφόρησε μια εκδοχή επιφάνειας εργασίας της μακροχρόνιας έρευνάς της GauGAN για τη σύνθεση τοπίων με GAN, η οποία αποδεικνύει εύκολα αυτό το αρχή:

Περίπου πινελιές μετατρέπονται σε πλούσιες εικόνες τοπίων μέσω της GauGAN της NVIDIA και τώρα της εφαρμογής NVIDIA Canvas. Πηγή: https://rossdawson.com/futurist/implications-of-ai/future-of-ai-image-synthesis/

Ομοίως, πολλά συστήματα όπως το DeepFacePencil έχουν χρησιμοποιήσει το ίδιο αρχή για να δημιουργήσουν γεννήτριας εικόνων που ενεργοποιούνται από σκίτσα για διάφορους τομείς.

Η αρχιτεκτονική του DeepFacePencil.

Απλοποιώντας το Σκίτσο-Εικόνα

Η νέα προσέγγιση GAN Sketching επιδιώκει να αφαιρέσει το φόρτο της συλλογής και επιμέλειας δεδομένων που συνήθως εμπλέκεται στην ανάπτυξη πλαισίων εικόνων GAN, χρησιμοποιώντας την είσοδο του χρήστη για να ορίσει ποιο υπο-σύνολο εικόνων θα συνθέσει τα δεδομένα εκπαίδευσης.

Το σύστημα έχει σχεδιαστεί για να απαιτεί μόνο quelques σκίτσα εισόδου για να καλιμπράρει το πλάισιο. Το σύστημα ανταποκρίνεται στην λειτουργικότητα του PhotoSketch, μιας κοινής έρευνας από το 2019 από ερευνητές από το Carnegie Mellon, την Adobe, την Uber ATG και την Argo AI, η οποία ενσωματώνεται στη νέα εργασία. Το PhotoSketch σχεδιάστηκε για να δημιουργήσει καλλιτεχνικά σκίτσα από εικόνες, και ήδη περιέχει την αποτελεσματική χαρτογράφηση των σχέσεων δημιουργίας εικόνων vague>specific.

Για το μέρος της γεννήτριας της διαδικασίας, η νέα μέθοδος τροποποιεί μόνο τα βάρη του StyleGAN2.既然 τα δεδομένα εικόνας που χρησιμοποιούνται είναι μόνο ένα υπο-σύνολο των διαθέσιμων δεδομένων, η τροποποίηση μόνο του δικτύου χαρτογράφησης λαμβάνει επιθυμητά αποτελέσματα.

Η μέθοδος αξιολογήθηκε σε eine σειρά από δημοφιλείς υπο-τομείς, συμπεριλαμβανομένων ιππασίας, εκκλησιών και γάτων.

Η βάση δεδομένων LSUN του 2016 από το Πανεπιστήμιο του Princeton χρησιμοποιήθηκε ως το βασικό υλικό από το οποίο να εξαχθούν οι στόχοι υπο-τομείς. Για να καθορίσετε ένα σύστημα χαρτογράφησης σκίτσου που είναι ανθεκτικό στις εκκεντρικότητες της πραγματικής εισόδου του χρήστη, το σύστημα εκπαιδεύτηκε σε εικόνες από τη βάση δεδομένων QuickDraw που αναπτύχθηκε από τη Microsoft μεταξύ 2021-2016.

Αν και η χαρτογράφηση σκίτσου μεταξύ PhotoSketch και QuickDraw είναι αρκετά διαφορετική, οι ερευνητές βρήκαν ότι το πλάισιο τους επιτυγχάνει καλά στη διέλευση τους khá εύκολα σε σχετικά απλές στάσεις, αν και πιο περίπλοκες στάσεις (όπως γάτες πουлежουν) αποδεικνύονται πιο μια πρόκληση, ενώ πολύ αφηρημένες εισόδους του χρήστη (π.χ. υπερβολικά χονδρά σχέδια) επίσης εμποδίζουν την ποιότητα των αποτελεσμάτων.

Λατινικός Χώρος και Φυσική Επεξεργασία Εικόνας

Οι ερευνητές ανέπτυξαν δύο εφαρμογές με βάση την πυρήνα εργασία: επεξεργασία λατινικού χώρου και επεξεργασία εικόνας. Η επεξεργασία λατινικού χώρου προσφέρει ερμηνεύσιμες ελέγχους του χρήστη που διευκολύνονται κατά την εκπαίδευση, και επιτρέπουν ένα ευρύ βαθμό παραλλαγής ενώ παραμένουν πιστοί στον στόχο τομέα, και ευχάριστα συνεπείς σε όλη τη διάρκεια των παραλλαγών.

Ομαλή επεξεργασία λατινικού χώρου με τα προσαρμοσμένα μοντέλα του GAN Sketching.

Το компонентом επεξεργασίας λατινικού χώρου τροφοδοτήθηκε από το έργο GANSpace του 2020, μια κοινή πρωτοβουλία από το Πανεπιστήμιο Aalto, την Adobe και την NVIDIA.

Μια seule εικόνα μπορεί επίσης να τροφοδοτηθεί στο προσαρμοσμένο μοντέλο, διευκολύνοντας την φυσική επεξεργασία εικόνας. Σε αυτήν την εφαρμογή, μια seule εικόνα προβαλλόμενο στο προσαρμοσμένο GAN, όχι μόνο ενεργοποιώντας την άμεση επεξεργασία, αλλά και διατηρώντας την υψηλότερη επεξεργασία λατινικού χώρου, εάν αυτό έχει επίσης χρησιμοποιηθεί.

Εδώ, μια πραγματική εικόνα έχει χρησιμοποιηθεί ως είσοδος στο GAN (μοντέλο γάτας), η οποία επεξεργάζεται την είσοδο για να ταιριάζει με τα υποβεβλημένα σκίτσα. Αυτό επιτρέπει την επεξεργασία εικόνας μέσω σκίτσου.

Αν και ρυθμιζόμενη, το σύστημα δεν σχεδιάστηκε για να λειτουργήσει σε πραγματικό χρόνο, τουλάχιστον όσον αφορά την εκπαίδευση και την καλιμπράωση. Hiện, το GAN Sketching απαιτεί 30.000 επαναλήψεις εκπαίδευσης. Το σύστημα επίσης απαιτεί πρόσβαση στα αρχικά δεδομένα εκπαίδευσης για το αρχικό μοντέλο.

Σε περιπτώσεις όπου το σύνολο δεδομένων είναι ανοιχτό και έχει άδεια που επιτρέπει την τοπική αντιγραφή, αυτό θα μπορούσε να γίνει με την ενσωμάτωση των αρχικών δεδομένων σε ένα τοπικά εγκατεστημένο πακέτο, αν και αυτό θα κατέλαβε σημαντικό χώρο δίσκου· ή με πρόσβαση ή επεξεργασία δεδομένων απομακρυσμένα, μέσω μιας cloud-βασισμένης προσέγγισης, η οποία εισάγει network overheads και (στην περίπτωση που η επεξεργασία πραγματικά συμβαίνει στο cloud) πιθανές υπολογιστικές 考虑.

Μεταμορφώσεις από προσαρμοσμένα μοντέλα FFHQ εκπαιδευμένα μόνο σε ανθρώπινα-δημιουργημένα σκίτσα.