Επεξεργασία Αντικειμένων με τη Βοήθεια του AI με το Imagic της Google και το ‘Erase and Replace’ της Runway

Αυτή την εβδομάδα, δύο νέες, αλλά αντίθετες, αλγόριθμοι γραφικών που βασίζονται στο AI προσφέρουν νέους τρόπους για τους τελικούς χρήστες να κάνουν εξαιρετικά λεπτομερείς και αποτελεσματικές αλλαγές σε αντικείμενα σε φωτογραφίες.

Το πρώτο είναι το Imagic, από την Google Research, σε συνεργασία με το Ισραηλινό Ινστιτούτο Τεχνολογίας και το Ινστιτούτο Επιστημών του Γουέιτσμαν. Το Imagic προσφέρει επεξεργασία αντικειμένων με βάση κείμενο, μέσω της λεπτομερούς βελτίωσης των μοντέλων διάχυσης.

Αλλάξτε ότι σας αρέσει και αφήστε το υπόλοιπο – το Imagic υπόσχεται λεπτομερή επεξεργασία μόνο των μερών που θέλετε να αλλάξετε. Πηγή: https://arxiv.org/pdf/2210.09276.pdf

Όποιος έχει προσπαθήσει να αλλάξει μόνο ένα στοιχείο σε μια επαναδημιουργία της Stable Diffusion θα γνωρίζει πολύ καλά ότι για κάθε επιτυχημένη επεξεργασία, το σύστημα θα αλλάξει πέντε πράγματα που σας άρεσαν ακριβώς όπως ήταν. Αυτό είναι ένα ελάττωμα που έχει πολλούς από τους πιο ταλαντούχους ενθουσιώδεις της Stable Diffusion να μετακινούνται συνεχώς μεταξύ της Stable Diffusion και της Photoshop, για να διορθώσουν αυτό είδος “παρενθουσιαστικής ζημιάς”. Από αυτή την άποψη, οι επιτεύξεις του Imagic φαίνονται αξιοσημείωτες.

Στην время της γραφής, το Imagic ακόμη δεν έχει κανένα προωθητικό βίντεο, και δεδομένης της περιορισμένης στάσης της Google για την κυκλοφορία ακατοίκητων εργαλείων σύνθεσης εικόνας, είναι αβέβαιο σε ποιο βαθμό, αν υπάρχει, θα έχουμε την ευκαιρία να δοκιμάσουμε το σύστημα.

Η δεύτερη προσφορά είναι η λειτουργία Erase and Replace της Runway ML, một νέα λειτουργία στο τμήμα “AI Magic Tools” του αποκλειστικά διαδικτυακού συνόλου εργαλείων οπτικών εφέ που βασίζονται στο machine learning.

Η λειτουργία Erase and Replace της Runway ML, ήδη εμφανισμένη σε μια προεπισκόπηση για ένα σύστημα επεξεργασίας βίντεο κειμένου-προς-βίντεο. Πηγή: https://www.youtube.com/watch?v=41Qb58ZPO60

Ας δούμε πρώτα την προσφορά της Runway.

Erase and Replace

Όπως και το Imagic, η Erase and Replace ασχολείται αποκλειστικά με στατικές εικόνες, αν και η Runway ML έχει προεπισκοπήσει την ίδια λειτουργικότητα σε μια λύση επεξεργασίας βίντεο κειμένου-προς-βίντεο που δεν έχει κυκλοφορήσει ακόμη:

Αν και όποιος μπορεί να δοκιμάσει την νέα Erase and Replace στις εικόνες, η έκδοση βίντεο δεν είναι ακόμη διαθέσιμη στο κοινό. Πηγή: https://twitter.com/runwayml/status/1568220303808991232

Αν και η Runway ML δεν έχει κυκλοφορήσει λεπτομέρειες για τις τεχνολογίες πίσω από την Erase and Replace, η ταχύτητα με την οποία μπορείτε να αντικαταστήσετε ένα φυτό σπιτιού με μια αρκετά πειστική μορφή του Ρόναλντ Ρήγκαν υποδηλώνει ότι ένα μοντέλο διάχυσης, όπως η Stable Diffusion (ή, πολύ λιγότερο πιθανό, ένα αδειοδοτημένο DALL-E 2), είναι το κινητήριο μέσο που αναπλάθει το αντικείμενο της επιλογής σας στην Erase and Replace.

Η αντικατάσταση ενός φυτού σπιτιού με μια μορφή του Ρόναλντ Ρήγκαν δεν είναι τόσο γρήγορη, αλλά είναι αρκετά γρήγορη. Πηγή: https://app.runwayml.com/

Το σύστημα έχει κάποιες περιορισμοί τύπου DALL-E 2 – εικόνες ή κείμενο που σηματοδοτούν τους φίλτρες Erase and Replace θα ενεργοποιήσουν μια προειδοποίηση σχετικά με την πιθανή αναστολή του λογαριασμού σε περίπτωση περαιτέρω παραβάσεων – πρακτικά ένα αντίγραφο της πολιτικής της OpenAI για το DALL-E 2.

Πολλοί από τους αποτελέσματα δεν έχουν τις τυπικές άκρες της Stable Diffusion. Η Runway ML είναι επενδυτής και εταίρος ερευνών στη SD, και είναι πιθανό ότι έχουν εκπαιδεύσει ένα ιδιωτικό μοντέλο που είναι ανώτερο από τα ανοιχτά μοντέλα 1.4 που οι υπόλοιποι χρησιμοποιούμε τώρα (όπως και πολλές άλλες ομάδες ανάπτυξης, ερασιτέχνες και επαγγελματίες, που εκπαιδεύουν ή βελτιώνουν μοντέλα της Stable Diffusion).

Αντικατάσταση ενός οικιακού τραπεζιού με ένα ‘τραπέζι από πάγο’ στην Erase and Replace της Runway ML.

Όπως και το Imagic (βλέπε παρακάτω), η Erase and Replace είναι ‘αντικειμενο-στραφής’, όπως θα μπορούσε κανείς να πει – δεν μπορείτε να σβήσετε ένα ‘κενό’ μέρος της εικόνας και να το επανασχεδιάσετε με το αποτέλεσμα της κειμενικής σας πρότασης· σε αυτή την περίπτωση, το σύστημα θα απλώς ιχνηλατήσει το πλησιέστερο ορατό αντικείμενο κατά μήκος της γραμμής ορατότητας του μάσκα (όπως ένα τοίχωμα ή μια τηλεόραση) και θα εφαρμόσει τη μετατροπή εκεί.

Όπως υποδηλώνει το όνομα, δεν μπορείτε να εντάξετε αντικείμενα σε κενό χώρο στην Erase and Replace. Εδώ, μια προσπάθεια να κληθεί ο πιο διάσημος από τους Σιθ Λόρδους οδηγεί σε μια περίεργη τοιχογραφία του Βάντερ στην τηλεόραση, περίπου εκεί όπου είχε σχεδιαστεί η περιοχή ‘αντικατάστασης’.

Είναι δύσκολο να πει κανείς αν η Erase and Replace είναι επιφυλακτική σε σχέση με τη χρήση πνευματικών δικαιωμάτων (τα οποία εξακολουθούν να είναι σε μεγάλο βαθμό εμποδισμένα, αν και με ποικίλες επιτυχίες, στη DALL-E 2), ή αν το μοντέλο που χρησιμοποιείται στην μηχανή απόδοσης είναι απλώς δεν είναι βελτιστοποιημένο για αυτό το είδος πραγμάτων.

Η ελαφρώς NSFW ‘Τοίχογραφία της Νικόλ Κίντμαν’ υποδηλώνει ότι το (πραγματικά) μοντέλο διάχυσης που χρησιμοποιείται εδώ δεν έχει την προηγούμενη συστηματική απόρριψη της DALL-E 2 για την απόδοση πραγματικών προσώπων ή ερωτικών περιεχομένων, ενώ τα αποτελέσματα για τις προσπάθειες να κληθούν πνευματικά δικαιώματα κυμαίνονται από το αμφίβολο (‘ξενομόρφος’) στο αστείο (‘ο σίδηρος θρόνος’).

Θα ήταν ενδιαφέρον να μάθουμε ποια μέθοδα χρησιμοποιεί η Erase and Replace για να απομονώσει τα αντικείμενα που μπορεί να αντικαταστήσει. Πιθανότατα η εικόνα τρέχει μέσω κάποιας παραγώγου του CLIP, με τα διακριτά αντικείμενα να αναγνωρίζονται από αναγνώριση αντικειμένων και συνεπακόλουθη σεμαντική τομείς. Κανένας από αυτούς τους χειρισμούς δεν λειτουργεί σχεδόν τόσο καλά σε μια κοινή εγκατάσταση της Stable Diffusion.

Αλλά τίποτα δεν είναι τέλειο – μερικές φορές το σύστημα φαίνεται να σβήνει και να μην αντικαθιστά, ακόμη και όταν (όπως έχουμε δει στην εικόνα παραπάνω), η υποκείμενη μηχανή απόδοσης σίγουρα γνωρίζει τι σημαίνει μια κειμενική πρόταση. Σε αυτή την περίπτωση, αποδεικνύεται αδύνατο να μετατρέψουμε ένα καφετείο σε ένα ξενομόρφο – αντίθετα, το τραπέζι απλώς εξαφανίζεται.

Μια πιο τρομακτική εκδοχή του ‘Πού είναι ο Γουόλντο;’ καθώς η Erase and Replace αποτυγχάνει να παράγει ένα εξωγήινο.

Η Erase and Replace φαίνεται να είναι ένα αποτελεσματικό σύστημα αντικατάστασης αντικειμένων, με εξαιρετική επανασχεδίαση. Ωστόσο, δεν μπορεί να επεξεργαστεί υπάρχοντα αντικείμενα, αλλά μόνο να τα αντικαταστήσει. Για να αλλάξετε πραγματικά το περιεχόμενο μιας εικόνας χωρίς να επηρεάσετε το περιβάλλον υλικό είναι ουσιαστικά μια πολύ πιο δύσκολη εργασία, που συνδέεται με την μακροχρόνια προσπάθεια του τομέα της οπτικής αναγνώρισης προς την αποσύνδεση στους διάφορους 潛在 χώρους των δημοφιλών πλαισίων.

Imagic

Είναι μια εργασία που το Imagic αντιμετωπίζει. Η νέα εργασία προσφέρει πολλά παραδείγματα επεξεργασιών που επιτυχώς τροποποιούν μεμονωμένα στοιχεία μιας φωτογραφίας, αφήνοντας το υπόλοιπο της εικόνας ανέπαφο.

Στο Imagic, οι τροποποιημένες εικόνες δεν υποφέρουν από την τυπική εκτάταση, παραμόρφωση και ‘οικειοποίηση’ που χαρακτηρίζει την κούκλα deepfake, η οποία χρησιμοποιεί περιορισμένα προηγούμενα που προέρχονται από μια seule εικόνα.

Το σύστημα χρησιμοποιεί μια τριβάθμιση διαδικασία – βελτίωση εμβυθύνσεων κειμένου· βελτίωση του μοντέλου· και, τελικά, η δημιουργία της τροποποιημένης εικόνας.

<img class="wp-image-184361 size-full" src="https://www.unite.ai/wp-content/uploads/2022/10/imagic-architecture.jpg" alt="Το Imagic κωδικοποιεί την κειμενική πρόταση για να ανακτήσει την αρχική εμβύθυνση κειμένου, και στη συνέχεια βελτιώνει το αποτέλεσμα για να λάβει την είσοδο εικόνας. Μετά από αυτό, το γεννητικό μοντέλο βελτιώνεται για την εικόνα πηγή, προσθέτοντας μια σειρά από παραμέτρους, πριν υποβληθεί στην αιτούμενη διαδικασία.

Δεν είναι έκπληξη ότι το πλαίσιο βασίζεται στην архιτεκτονική Imagen της Google, αν και οι ερευνητές δηλώνουν ότι οι αρχές του συστήματος είναι ευρέως εφαρμόσιμες σε μοντέλα διάχυσης.

Η Imagen χρησιμοποιεί μια τριβάθμιση αρχιτεκτονική, αντί για την επτάβαθμιση σειρά που χρησιμοποιείται για την πιο πρόσφατη επεξεργασία κειμένου-προς-βίντεο του λογισμικού. Οι τρεις διακριτές μονάδες αποτελούνται από ένα γεννητικό μοντέλο διάχυσης που λειτουργεί σε ανάλυση 64x64px· ένα μοντέλο υψηλής ανάλυσης που ανεβάζει αυτή την έξοδο σε 256x256px· και ένα επιπλέον μοντέλο υψηλής ανάλυσης για να λάβει την έξοδο μέχρι την ανάλυση 1024×1024.

Το Imagic παρεμβαίνει στο πρώτο στάδιο αυτής της διαδικασίας, βελτιώνοντας την κειμενική εμβύθυνση στην ανάλυση 64px με έναν βελτιωτή Adam σε σταθερή ταχύτητα μάθησης 0,0001.

Μια διδασκαλία σε αποσύνδεση: αυτοί που έχουν προσπαθήσει να αλλάξουν κάτι τόσο απλό όσο το χρώμα ενός αντικειμένου σε ένα μοντέλο διάχυσης, GAN ή NeRF θα γνωρίζουν πόσο σημαντικό είναι ότι το Imagic μπορεί να κάνει τέτοιες μετατροπές χωρίς να ‘σπασίσει’ τη συνοχή του υπόλοιπου της εικόνας.

Η βελτίωση στη συνέχεια λαμβάνει χώρα στο βασικό μοντέλο της Imagen, για 1500 βήματα ανά είσοδο εικόνας, υπό την προϋπόθεση της αναθεωρημένης εμβύθυνσης. Ταυτόχρονα, το δευτερεύον στρώμα 64px>256px βελτιώνεται παράλληλα στηνусловιαμένη εικόνα. Οι ερευνητές σημειώνουν ότι μια παρόμοια βελτίωση για το τελικό στρώμα 256px>1024px έχει ‘λιγότερη ή καθόλου επίδραση’ στα τελικά αποτελέσματα, και因此 δεν έχουν εφαρμόσει αυτή.

Η εργασία αναφέρει ότι η διαδικασία βελτίωσης διαρκεί περίπου οκτώ λεπτά για κάθε εικόνα σε δίδυμα TPUV4 chips. Η τελική απόδοση λαμβάνει χώρα στην Imagen με το σχήμα δειγματοληψίας DDIM.

Σε σύγκριση με παρόμοιες διαδικασίες βελτίωσης για το DreamBooth της Google, οι αποκτηθέντες εμβυθύνσεις μπορούν επίσης να χρησιμοποιηθούν για στυλισμό, καθώς και για φωτορεαλιστικές επεξεργασίες που περιέχουν πληροφορίες που προέρχονται από την υποκείμενη βάση δεδομένων που τροφοδοτεί την Imagen (καθώς, όπως φαίνεται στην πρώτη στήλη παρακάτω, οι πηγαίες εικόνες δεν έχουν κανένα από το απαραίτητο περιεχόμενο για να επιτύχουν αυτές τις μετατροπές).

Εύκαμπτη φωτορεαλιστική κίνηση και επεξεργασίες μπορούν να εξαχθούν μέσω του Imagic, ενώ οι αποκτηθέντες και αποσυνδεμένοι κώδικες που λαμβάνονται κατά τη διαδικασία μπορούν επίσης να χρησιμοποιηθούν για στυλισμένες εξόδους.

Οι ερευνητές σύγκριναν το Imagic με προηγούμενες εργασίες SDEdit, μια προσέγγιση που βασίζεται στο GAN από το 2021, μια συνεργασία μεταξύ του Πανεπιστημίου του Στάνφορντ και του Πανεπιστημίου του Καρνεγκί; και Text2Live, μια συνεργασία, από τον Απρίλιο του 2022, μεταξύ του Ινστιτούτου Επιστημών του Γουέιτσμαν και της NVIDIA.

Μια οπτική σύγκριση μεταξύ Imagic, SDEdit και Text2Live.

Είναι σαφές ότι οι προηγούμενες προσεγγίσεις έχουν δυσκολίες, αλλά στη τελευταία σειρά, η οποία αφορά την εισαγωγή μιας μεγάλης αλλαγής στάσης, οι υφιστάμενες προσεγγίσεις αποτυγχάνουν完全 να ανασυνθέσουν το υλικό πηγή, σε σύγκριση με μια αξιοσημείωτη επιτυχία από το Imagic.

Οι απαιτήσεις πόρων και ο χρόνος εκπαίδευσης του Imagic, ενώ είναι σύντομοι με τα πρότυπα τέτοιων επιδιώξεων, το καθιστούν απίθανο να περιλαμβανθεί σε μια τοπική εφαρμογή επεξεργασίας εικόνων σε προσωπικούς υπολογιστές – και δεν είναι σαφές σε ποιο βαθμό η διαδικασία της βελτίωσης μπορεί να μειωθεί σε επίπεδο καταναλωτών.

Όπως είναι τώρα, το Imagic είναι μια εντυπωσιακή προσφορά που είναι πιο κατάλληλο για APIs – ένα περιβάλλον στο οποίο η Google Research, που είναι επιφυλακτική σε σχέση με την κριτική για τη διευκόλυνση της deepfaking, μπορεί να είναι πιο άνετη.

Πρώτη δημοσίευση 18ης Οκτωβρίου 2022.