Η γωνία του Anderson

Επεξεργασία αντικειμένων με τεχνητή νοημοσύνη: Imagic της Google και Erase and Replace της Runway

Martin Anderson
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο Imagic κάνει fine-tuning σε μοντέλα διάχυσης για λεπτομερείς επεξεργασίες…
Δείτε περισσότερα
  • Το Imagic κάνει fine-tuning σε μοντέλα διάχυσης για λεπτομερείς επεξεργασίες αντικειμένων, σε αντίθεση με το Erase and Replace του Runway που κάνει μόνο αντικατάσταση.
  • Το Erase and Replace του Runway αντικαθιστά αντικείμενα γρήγορα αλλά δεν μπορεί να επεξεργαστεί υπάρχον περιεχόμενο, μόνο να το αντικαταστήσει.
  • Η βελτιστοποίηση ανά εικόνα του Imagic απαιτεί οκτώ λεπτά σε διπλά τσιπ TPUV4, γεγονός που την περιορίζει σε χρήση μέσω API.

Αυτήν την εβδομάδα, δύο νέοι, αλλά αντιθετικοί αλγόριθμοι γραφικών με τεχνητή νοημοσύνη προσφέρουν καινοτόμους τρόπους για τους τελικούς χρήστες να πραγματοποιούν εξαιρετικά λεπτομερείς και αποτελεσματικές αλλαγές σε αντικείμενα σε φωτογραφίες.

Το πρώτο είναι Imagic, από το Google Research, σε συνεργασία με το Ισραηλινό Ινστιτούτο Τεχνολογίας και το Ινστιτούτο Επιστήμης Weizmann. Το Imagic προσφέρει επεξεργασία αντικειμένων με βάση το κείμενο, λεπτομερή, μέσω της βελτιστοποίησης των μοντέλων διάχυσης.

Αλλάξτε ό,τι θέλετε και αφήστε τα υπόλοιπα ανέπαφα: το Imagic υπόσχεται λεπτομερή επεξεργασία μόνο των τμημάτων που θέλετε να αλλάξετε.

Αλλάξτε ό,τι θέλετε και αφήστε τα υπόλοιπα ανέπαφα: το Imagic υπόσχεται λεπτομερή επεξεργασία μόνο των τμημάτων που θέλετε να αλλάξετε. Πηγή: https://arxiv.org/pdf/2210.09276.pdf

Όποιος έχει προσπαθήσει ποτέ να αλλάξει μόνο ένα στοιχείο σε μια επαναδημιουργία με Stable Diffusion γνωρίζει πολύ καλά ότι για κάθε επιτυχημένη επεξεργασία, το σύστημα αλλάζει πέντε πράγματα που σας άρεσαν ακριβώς όπως ήταν. Πρόκειται για ένα μειονέκτημα που αυτή τη στιγμή κάνει πολλούς από τους πιο ταλαντούχους ενθουσιώδεις του SD να εναλλάσσονται συνεχώς μεταξύ Stable Diffusion και Photoshop, για να διορθώσουν αυτό το είδος «παράπλευρης ζημιάς». Από αυτή τη σκοπιά μόνο, τα επιτεύγματα του Imagic φαίνονται αξιοσημείωτα.

Κατά τη στιγμή της σύνταξης, το Imagic δεν διαθέτει ακόμη ούτε καν ένα προωθητικό βίντεο, και, δεδομένης της συνετής στάσης της Google σχετικά με την κυκλοφορία ανεξέλεγκτων εργαλείων σύνθεσης εικόνας, είναι αβέβαιο σε ποιο βαθμό, αν υπάρχει, θα έχουμε την ευκαιρία να δοκιμάσουμε το σύστημα.

Η δεύτερη προσφορά είναι η πιο προσιτή δυνατότητα Erase and Replace της Runway ML, μια νέα λειτουργία στην ενότητα «AI Magic Tools» της αποκλειστικά διαδικτυακής σουίτας εργαλείων οπτικών εφέ βασισμένων στη μηχανική μάθηση.

Η λειτουργία Erase and Replace της Runway ML, που έχει ήδη παρουσιαστεί σε προεπισκόπηση συστήματος επεξεργασίας βίντεο μέσω κειμένου.

Η λειτουργία Erase and Replace της Runway ML, που έχει ήδη παρουσιαστεί σε προεπισκόπηση συστήματος επεξεργασίας βίντεο μέσω κειμένου.

Ας ρίξουμε πρώτα μια ματιά στην παρουσίαση της Runway.

Erase and Replace

Όπως το Imagic, το Erase and Replace ασχολείται αποκλειστικά με στατικές εικόνες, αν και η Runway έχει προβάλει την ίδια λειτουργία σε μια λύση επεξεργασίας κειμένου-σε-βίντεο που δεν έχει ακόμη κυκλοφορήσει:

Οποιοσδήποτε μπορεί να δοκιμάσει το νέο Erase and Replace σε εικόνες, αλλά η έκδοση για βίντεο δεν είναι ακόμη διαθέσιμη στο κοινό.

Οποιοσδήποτε μπορεί να δοκιμάσει το νέο Erase and Replace σε εικόνες, αλλά η έκδοση για βίντεο δεν είναι ακόμη διαθέσιμη στο κοινό. Πηγή: https://twitter.com/runwayml/status/1568220303808991232

Αν και η Runway ML δεν έχει δημοσιεύσει λεπτομέρειες για τις τεχνολογίες πίσω από το Erase and Replace, η ταχύτητα με την οποία μπορείτε να αντικαταστήσετε ένα εσωτερικό φυτό με μια αρκετά πειστική προτομή του Ronald Reagan υποδηλώνει ότι ένα μοντέλο διάχυσης όπως το Stable Diffusion (ή, πολύ λιγότερο πιθανό, ένα αδειοδοτημένο DALL‑E 2) είναι η μηχανή που επανεφευρίσκει το αντικείμενο της επιλογής σας στο Erase and Replace.

Η αντικατάσταση ενός φυτού εσωτερικού χώρου με προτομή του The Gipper δεν είναι τόσο γρήγορη όσο εδώ, αλλά παραμένει αρκετά γρήγορη.

Η αντικατάσταση ενός φυτού εσωτερικού χώρου με προτομή του The Gipper δεν είναι τόσο γρήγορη όσο εδώ, αλλά παραμένει αρκετά γρήγορη. Πηγή: https://app.runwayml.com/

Το σύστημα έχει ορισμένους περιορισμούς τύπου DALL‑E 2 – εικόνες ή κείμενα που ενεργοποιούν τα φίλτρα Erase and Replace θα προκαλέσουν μια προειδοποίηση σχετικά με πιθανή αναστολή λογαριασμού σε περίπτωση περαιτέρω παραβάσεων – ουσιαστικά ένα τυπικό αντίγραφο των συνεχιζόμενων πολιτικών της OpenAI για το DALL‑E 2.

Πολλά από τα αποτελέσματα στερούνται των τυπικών αδυναμιών του Stable Diffusion. Η Runway ML είναι επενδυτές και ερευνητικοί συνεργάτες στο SD, και είναι πιθανό να έχουν εκπαιδεύσει ένα ιδιόκτητο μοντέλο που είναι ανώτερο από τα ανοιχτού κώδικα βάρη ελέγχου 1.4 που οι υπόλοιποι μας αντιμετωπίζουμε αυτή τη στιγμή (καθώς πολλές άλλες ομάδες ανάπτυξης, ερασιτέχνες και επαγγελματίες, εκπαιδεύουν ή βελτιστοποιούν μοντέλα Stable Diffusion).

Αντικατάσταση ενός οικιακού τραπεζιού με τραπέζι από πάγο στο Erase and Replace της Runway ML.

Αντικατάσταση ενός οικιακού τραπεζιού με τραπέζι από πάγο στο Erase and Replace της Runway ML.

Όπως και με το Imagic (δείτε παρακάτω), το Erase and Replace είναι «προσανατολισμένο σε αντικείμενα», κατά κάποιο τρόπο – δεν μπορείτε απλώς να διαγράψετε ένα «κενό» τμήμα της εικόνας και να το γεμίσετε με το αποτέλεσμα της προτροπής κειμένου· σε αυτή την περίπτωση, το σύστημα θα εντοπίσει απλώς το πλησιέστερο εμφανές αντικείμενο κατά μήκος της γραμμής όρασης της μάσκας (όπως ένας τοίχος ή μια τηλεόραση) και θα εφαρμόσει τη μετατροπή εκεί.

Όπως υποδηλώνει το όνομα, το Erase and Replace δεν μπορεί να εισαγάγει αντικείμενα σε κενό χώρο. Εδώ η προσπάθεια εμφάνισης του πιο διάσημου άρχοντα Sith δημιουργεί μια παράξενη τοιχογραφία σχετική με τον Vader στην τηλεόραση, περίπου εκεί όπου σχεδιάστηκε η περιοχή αντικατάστασης.

Όπως υποδηλώνει το όνομα, το Erase and Replace δεν μπορεί να εισαγάγει αντικείμενα σε κενό χώρο. Εδώ η προσπάθεια εμφάνισης του πιο διάσημου άρχοντα Sith δημιουργεί μια παράξενη τοιχογραφία σχετική με τον Vader στην τηλεόραση, περίπου εκεί όπου σχεδιάστηκε η περιοχή αντικατάστασης.

Είναι δύσκολο να διακρίνουμε αν το Erase and Replace αποφεύγει τη χρήση προστατευμένων από πνευματικά δικαιώματα εικόνων (που παραμένουν σε μεγάλο βαθμό περιορισμένες, αν και με μεταβαλλόμενη επιτυχία, στο DALL‑E 2), ή αν το μοντέλο που χρησιμοποιείται στη μηχανή απόδοσης στο παρασκήνιο δεν είναι απλώς βελτιστοποιημένο για τέτοιο είδος.

Η ελαφρώς ακατάλληλη για εργασιακό περιβάλλον τοιχογραφία της Nicole Kidman δείχνει ότι το μοντέλο, που κατά πάσα πιθανότητα βασίζεται στη διάχυση, δεν έχει την παλιότερη συστηματική απόρριψη του DALL-E 2 για ρεαλιστικά πρόσωπα ή προκλητικό περιεχόμενο. Οι προσπάθειες απόδοσης έργων με πνευματικά δικαιώματα κυμαίνονται από αμφίσημες (xenomorph) έως παράλογες (ο σιδερένιος θρόνος). Κάτω δεξιά εμφανίζεται ένθετη η αρχική εικόνα.

Η ελαφρώς ακατάλληλη για εργασιακό περιβάλλον τοιχογραφία της Nicole Kidman δείχνει ότι το μοντέλο, που κατά πάσα πιθανότητα βασίζεται στη διάχυση, δεν έχει την παλιότερη συστηματική απόρριψη του DALL-E 2 για ρεαλιστικά πρόσωπα ή προκλητικό περιεχόμενο. Οι προσπάθειες απόδοσης έργων με πνευματικά δικαιώματα κυμαίνονται από αμφίσημες (xenomorph) έως παράλογες (ο σιδερένιος θρόνος). Κάτω δεξιά εμφανίζεται ένθετη η αρχική εικόνα.

Θα ήταν ενδιαφέρον να γνωρίζουμε ποιες μέθοδοι χρησιμοποιεί το Erase and Replace για την απομόνωση των αντικειμένων που μπορεί να αντικαταστήσει. Πιθανώς η εικόνα περνάει από κάποια παραλλαγή του CLIP, με τα διακριτά στοιχεία να εντοπίζονται μέσω αναγνώρισης αντικειμένων και επακόλουθης σημασιολογικής τμηματοποίησης. Καμία από αυτές τις λειτουργίες δεν λειτουργεί σχεδόν τόσο καλά σε μια τυπική εγκατάσταση του Stable Diffusion.

Αλλά τίποτα δεν είναι τέλειο – μερικές φορές το σύστημα φαίνεται να διαγράφει χωρίς να αντικαθιστά, ακόμη και όταν (όπως είδαμε στην παραπάνω εικόνα) ο υποκείμενος μηχανισμός απόδοσης γνωρίζει σαφώς τι σημαίνει η προτροπή κειμένου. Σε αυτή την περίπτωση, αποδεικνύεται αδύνατο να μετατρέψετε ένα τραπεζάκι καφέ σε ξενόμορφο – αντίθετα, το τραπέζι απλώς εξαφανίζεται.

Μια πιο τρομακτική εκδοχή του Where’s Waldo, καθώς το Erase and Replace αποτυγχάνει να δημιουργήσει εξωγήινο.

Μια πιο τρομακτική εκδοχή του Where’s Waldo, καθώς το Erase and Replace αποτυγχάνει να δημιουργήσει εξωγήινο.

Το Erase and Replace φαίνεται να είναι ένα αποτελεσματικό σύστημα αντικατάστασης αντικειμένων, με εξαιρετική συμπλήρωση εικόνας. Ωστόσο, δεν μπορεί να επεξεργαστεί υπάρχοντα αντιληπτά αντικείμενα, αλλά μόνο να τα αντικαταστήσει. Η πραγματική τροποποίηση του υπάρχοντος περιεχομένου της εικόνας χωρίς να επηρεαστεί το περιβάλλον υλικό είναι, κατά κάποιον τρόπο, μια πολύ πιο δύσκολη εργασία, συνδεδεμένη με τη μακρά μάχη του τομέα έρευνας υπολογιστικής όρασης για το διαχωρισμό στους διάφορους λανθάνοντες χώρους των δημοφιλών πλαισίων.

Imagic

Αυτή είναι μια εργασία που αντιμετωπίζει το Imagic. Η νέα εργασία προσφέρει πολυάριθμα παραδείγματα επεξεργασιών που διορθώνουν επιτυχώς μεμονωμένες πτυχές μιας φωτογραφίας, αφήνοντας το υπόλοιπο της εικόνας ανέπαφο.

Στο Imagic οι τροποποιημένες εικόνες δεν παρουσιάζουν το τέντωμα, την παραμόρφωση και τις εικασίες για τα κρυμμένα μέρη που χαρακτηρίζουν την καθοδηγούμενη κίνηση deepfake, η οποία αξιοποιεί περιορισμένη πρότερη πληροφορία από μία μόνο εικόνα.

Στο Imagic οι τροποποιημένες εικόνες δεν παρουσιάζουν το τέντωμα, την παραμόρφωση και τις εικασίες για τα κρυμμένα μέρη που χαρακτηρίζουν την καθοδηγούμενη κίνηση deepfake, η οποία αξιοποιεί περιορισμένη πρότερη πληροφορία από μία μόνο εικόνα.

Το σύστημα χρησιμοποιεί μια τριπλή διαδικασία – βελτιστοποίηση ενσωμάτωσης κειμένου· βελτιστοποίηση μοντέλου· και, τέλος, τη δημιουργία της τροποποιημένης εικόνας.

Το Imagic κωδικοποιεί την επιθυμητή προτροπή για να πάρει την αρχική ενσωμάτωση κειμένου και έπειτα βελτιστοποιεί το αποτέλεσμα ώστε να προκύψει η εικόνα εισόδου. Στη συνέχεια το παραγωγικό μοντέλο προσαρμόζεται λεπτομερώς στην αρχική εικόνα, προσθέτοντας παραμέτρους πριν από την επιθυμητή παρεμβολή.

Το Imagic κωδικοποιεί την επιθυμητή προτροπή για να πάρει την αρχική ενσωμάτωση κειμένου και έπειτα βελτιστοποιεί το αποτέλεσμα ώστε να προκύψει η εικόνα εισόδου. Στη συνέχεια το παραγωγικό μοντέλο προσαρμόζεται λεπτομερώς στην αρχική εικόνα, προσθέτοντας παραμέτρους πριν από την επιθυμητή παρεμβολή.

Δεν είναι έκπληξη που το πλαίσιο βασίζεται στην αρχιτεκτονική κειμένου-σε-βίντεο Imagen της Google, αν και οι ερευνητές δηλώνουν ότι οι αρχές του συστήματος είναι ευρέως εφαρμόσιμες σε μοντέλα λανθάνουσας διάχυσης.

Η Imagen χρησιμοποιεί μια τριεπίπεδη αρχιτεκτονική, αντί για την επταεπίπεδη διάταξη που χρησιμοποιείται στην πιο πρόσφατη εξέλιξη κειμένου-σε-βίντεο της εταιρείας. Τα τρία διαφορετικά τμήματα περιλαμβάνουν ένα παραγωγικό μοντέλο διάχυσης που λειτουργεί σε ανάλυση 64×64 εικονοστοιχείων· ένα μοντέλο υπερ-ανάλυσης που αυξάνει αυτή την έξοδο σε 256×256 εικονοστοιχεία· και ένα επιπλέον μοντέλο υπερ-ανάλυσης για να φτάσει η έξοδος μέχρι την ανάλυση 1024×1024 εικονοστοιχείων.

Το Imagic επεμβαίνει στο αρχικό στάδιο αυτής της διαδικασίας, βελτιστοποιώντας την ζητούμενη ενσωμάτωση κειμένου στο στάδιο των 64 εικονοστοιχείων με έναν βελτιστοποιητή Adam με σταθερό ρυθμό μάθησης 0,0001.

Μια υποδειγματική επίδειξη διαχωρισμού αναπαραστάσεων: όποιος έχει προσπαθήσει να αλλάξει ακόμη και το χρώμα ενός αντικειμένου σε μοντέλο διάχυσης, GAN ή NeRF γνωρίζει πόσο σημαντικό είναι ότι το Imagic μπορεί να το κάνει χωρίς να διασπάσει τη συνοχή της υπόλοιπης εικόνας.

Μια υποδειγματική επίδειξη διαχωρισμού αναπαραστάσεων: όποιος έχει προσπαθήσει να αλλάξει ακόμη και το χρώμα ενός αντικειμένου σε μοντέλο διάχυσης, GAN ή NeRF γνωρίζει πόσο σημαντικό είναι ότι το Imagic μπορεί να το κάνει χωρίς να διασπάσει τη συνοχή της υπόλοιπης εικόνας.

Η λεπτομερής προσαρμογή πραγματοποιείται στη βάση του μοντέλου Imagen, για 1500 βήματα ανά είσοδο εικόνας, υπό συνθήκες της αναθεωρημένης ενσωμάτωσης. Ταυτόχρονα, το δευτερεύον στρώμα 64px>256px βελτιστοποιείται παράλληλα στην υπό συνθήκες εικόνα. Οι ερευνητές σημειώνουν ότι μια παρόμοια βελτιστοποίηση για το τελικό στρώμα 256px>1024px έχει «ελάχιστη ή καθόλου επίδραση» στα τελικά αποτελέσματα, και γι’ αυτό δεν την υλοποίησαν.

Η εργασία αναφέρει ότι η διαδικασία βελτιστοποίησης διαρκεί περίπου οκτώ λεπτά για κάθε εικόνα σε δύο τσιπ TPUV4. Η τελική απόδοση πραγματοποιείται στον πυρήνα της Imagen υπό το σχήμα δειγματοληψίας DDIM.

Σε ομοιότητα με παρόμοιες διαδικασίες λεπτομερούς βελτιστοποίησης για το DreamBooth της Google, οι προκύπτουσες ενσωματώσεις μπορούν επίσης να χρησιμοποιηθούν για στυλιζάρισμα, καθώς και για φωτορεαλιστικές επεξεργασίες που περιέχουν πληροφορίες από τη μεγαλύτερη υποκείμενη βάση δεδομένων που τροφοδοτεί το Imagen (εφόσον, όπως δείχνει η πρώτη στήλη παρακάτω, οι εικόνες προέλευσης δεν διαθέτουν το απαραίτητο περιεχόμενο για αυτούς τους μετασχηματισμούς).

Το Imagic επιτρέπει ευέλικτες φωτορεαλιστικές κινήσεις και επεξεργασίες, ενώ οι κώδικες που προκύπτουν και διαχωρίζονται στη διαδικασία μπορούν εξίσου εύκολα να χρησιμοποιηθούν για στυλιζαρισμένα αποτελέσματα.

Το Imagic επιτρέπει ευέλικτες φωτορεαλιστικές κινήσεις και επεξεργασίες, ενώ οι κώδικες που προκύπτουν και διαχωρίζονται στη διαδικασία μπορούν εξίσου εύκολα να χρησιμοποιηθούν για στυλιζαρισμένα αποτελέσματα.

Οι ερευνητές συνέκριναν το Imagic με προηγούμενες εργασίες SDEdit, μια προσέγγιση βασισμένη σε GAN από το 2021, σε συνεργασία μεταξύ του Πανεπιστημίου Stanford και του Carnegie Mellon University· και Text2Live, μια συνεργασία, από τον Απρίλιο 2022, μεταξύ του Ινστιτούτου Επιστήμης Weizmann και της NVIDIA.

Οπτική σύγκριση των Imagic, SDEdit και Text2Live.

Οπτική σύγκριση των Imagic, SDEdit και Text2Live.

Είναι σαφές ότι οι προηγούμενες προσεγγίσεις αντιμετωπίζουν δυσκολίες, αλλά στη κάτω σειρά, που περιλαμβάνει μια τεράστια αλλαγή στάσης, οι ανταγωνιστές αποτυγχάνουν εντελώς να επανασχεδιάσουν το υλικό πηγής, σε αντίθεση με την αξιοσημείωτη επιτυχία του Imagic.

Οι απαιτήσεις πόρων και ο χρόνος εκπαίδευσης ανά εικόνα του Imagic, αν και σύντομοι σε σύγκριση με τα πρότυπα τέτοιων προσπαθειών, το καθιστούν απίθανο να ενσωματωθεί σε μια τοπική εφαρμογή επεξεργασίας εικόνας σε προσωπικούς υπολογιστές – και δεν είναι σαφές σε ποιο βαθμό η διαδικασία λεπτομερούς βελτιστοποίησης θα μπορούσε να κλιμακωθεί σε επίπεδο καταναλωτή.

Κατ’ αυτή τη στιγμή, το Imagic αποτελεί μια εντυπωσιακή προσφορά που ταιριάζει περισσότερο σε API – ένα περιβάλλον με το οποίο η Google Research, επιφυλακτική ως προς την κριτική για τη διευκόλυνση του deepfaking, μπορεί ενδεχομένως να αισθάνεται πιο άνετα.

 

Πρώτη δημοσίευση 18 Οκτωβρίου 2022.

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai