Τρεις Προκλήσεις για το Stable Diffusion

Η έκδοση του μοντέλου εικόνας synthesis του stability.ai’s Stable Diffusion latent diffusion πριν από quelques εβδομάδες μπορεί να είναι μια από τις πιο σημαντικές τεχνολογικές ανακοινώσεις από το DeCSS το 1999; είναι σίγουρα η μεγαλύτερη εκδήλωση σε AI-γεννημένες εικόνες από το κώδικα deepfakes το 2017, ο οποίος αντιγράφηκε στο GitHub και διακλαδίστηκε σε αυτό που θα γινόταν DeepFaceLab και FaceSwap, καθώς και το λογισμικό DeepFaceLive για πραγματικό χρόνο.

Με ένα χτύπημα, η απογοήτευση των χρηστών σχετικά με τις περιορισμοί περιεχομένου στην API σύνθεσης εικόνας DALL-E 2 απομακρύνθηκαν, καθώς αποδείχθηκε ότι ο φίλτρος NSFW του Stable Diffusion μπορούσε να απενεργοποιηθεί με την αλλαγή μιας μονής γραμμής κώδικα. Οι communities του Reddit που επικεντρώνονται στο Stable Diffusion με πορνογραφικό περιεχόμενο εμφανίστηκαν σχεδόν αμέσως και απομακρύνθηκαν γρήγορα, ενώ οι développeurs και οι χρήστες διαιρέθηκαν σε communities στο Discord σε επίσημες και NSFW communities, και το Twitter άρχισε να γεμίζει με φανταστικές δημιουργίες του Stable Diffusion.

Σε αυτό το σημείο, κάθε μέρα φαίνεται να φέρνει κάποια εντυπωσιακή καινοτομία από τους développeurs που έχουν υιοθετήσει το σύστημα, με πρόσθετα και τρίτους συνεργάτες που γράφονται γρήγορα για Krita, Photoshop, Cinema4D, Blender, και πολλές άλλες πλατφόρμες εφαρμογών.

Εν τω μεταξύ, promptcraft – η τώρα επαγγελματική τέχνη του ‘AI whispering’, η οποία μπορεί να γίνει η συντομότερη επιλογή καριέρας από το ‘Filofax binder’ –已经 αρχίζει να εμπορευματοποιείται, ενώ η πρώιμη εμπορευματοποίηση του Stable Diffusion λαμβάνει χώρα στο επίπεδο Patreon, με την βεβαιότητα ότι θα υπάρξουν πιο σύνθετες προσφορές στο μέλλον, για εκείνους που δεν θέλουν να διαπεράσουν Conda-based εγκαταστάσεις του κώδικα πηγής ή τους προscriptive φίλτρες NSFW των web-εφαρμογών.

Ο ρυθμός της ανάπτυξης και η ελεύθερη αίσθηση εξερεύνησης από τους χρήστες προχωρούν με τόσο ταχύ ρυθμό που είναι δύσκολο να δούμε πολύ μπροστά. Ουσιαστικά, δεν ξέρουμε ακριβώς με τι αντιμετωπίζουμε ακόμη, ή ποια είναι τα όρια ή οι δυνατότητες.

Ωστόσο, ας δούμε τρεις από τις πιο ενδιαφέρουσες και προκλητικές προκλήσεις για την ταχέως διαμορφωμένη και ταχέως αναπτυσσόμενη κοινότητα του Stable Diffusion να αντιμετωπίσουν και, ελπίζουμε, να υπερβούν.

1: Βελτιστοποίηση Tile-Based Pipelines

Παρουσιάζοντας περιορισμένα υλικά πόρους και σκληρά όρια στην ανάλυση των εικόνων εκπαίδευσης, φαίνεται πιθανό ότι οι développeurs θα βρουν λύσεις για να βελτιώσουν τόσο την ποιότητα όσο και την ανάλυση της εξόδου του Stable Diffusion. Πολλά από αυτά τα έργα είναι σχεδιασμένα να εκμεταλλευτούν τις περιορισμοί του συστήματος, όπως η εγγενής ανάλυση των 512×512 pixel.

Όπως είναι πάντα η περίπτωση με τις πρωτοβουλίες της υπολογιστικής όρασης και της σύνθεσης εικόνας, το Stable Diffusion εκπαιδεύτηκε σε εικόνες με τετραγωνική αναλογία, σε αυτήν την περίπτωση με δειγματοληψία 512×512, ώστε οι πηγαίες εικόνες να μπορούν να κανονικοποιηθούν και να ταιριάζουν στα όρια των GPU που εκπαίδευσαν το μοντέλο.

Επομένως, το Stable Diffusion ‘σκέφτεται’ (αν σκέφτεται καθόλου) σε όρους 512×512 και σίγουρα σε τετραγωνικούς όρους. Πολλοί χρήστες που ερευνάν τις περιορισμοί του συστήματος αναφέρουν ότι το Stable Diffusion παράγει τα πιο αξιόπιστα και λιγότερο προβληματικά αποτελέσματα σε αυτήν την σχετικά περιορισμένη αναλογία πλευρών (δείτε ‘διευθυνσιοδότηση των ακραίων’ παρακάτω).

Αν και διάφορες υλοποιήσεις διαθέτουν αναβάθμιση μέσω RealESRGAN (και μπορούν να διορθώσουν κακώς αποδοθείσες πρόσωπα μέσω GFPGAN) πολλοί χρήστες αναπτύσσουν μεθόδους για να χωρίσουν τις εικόνες σε τμήματα 512x512px και να τις συνθέσουν για να σχηματίσουν μεγαλύτερες σύνθετες εργασίες.

Αυτή η εικόνα 1024×576, μια ανάλυση που συνήθως είναι αδύνατη σε μια seule απόδοση του Stable Diffusion, δημιουργήθηκε με την αντιγραφή και επικόλληση του αρχείου attention.py από το fork του DoggettX του Stable Diffusion (μια έκδοση που υλοποιεί tile-based upscaling) σε ένα άλλο fork. Πηγή: https://old.reddit.com/r/StableDiffusion/comments/x6yeam/1024x576_with_6gb_nice/

Αν και κάποιες πρωτοβουλίες αυτού του είδους χρησιμοποιούν πρωτότυπο κώδικα ή άλλες βιβλιοθήκες, η txt2imghd port του GOBIG (μια λειτουργία στη VRAM-hungry ProgRockDiffusion) είναι σχεδιασμένη να παρέχει αυτή τη λειτουργικότητα στο κύριο κλάδο σύντομα. Ενώ η txt2imghd είναι μια αφοσιωμένη πύλη του GOBIG, άλλες προσπάθειες από τους développeurs της κοινότητας αφορούν διαφορετικές υλοποιήσεις του GOBIG.

Μια ευχάριστα αφηρημένη εικόνα στην αρχική απόδοση 512x512px (αριστερά και δεύτερη από αριστερά); αναβαθμισμένη από το ESGRAN, το οποίο είναι τώρα σχεδόν εγγενές σε όλες τις διανομές του Stable Diffusion; και δόθηκε ‘ειδική προσοχή’ μέσω μιας υλοποίησης του GOBIG, παράγοντας λεπτομέρειες που, τουλάχιστον μέσα στα όρια του τμήματος της εικόνας, φαίνονται καλύτερα αναβαθμισμένες. Πηγή: https://old.reddit.com/r/StableDiffusion/comments/x72460/stable_diffusion_gobig_txt2imghd_easy_mode_colab/

Ο τύπος αυτής της αφηρημένης εικόνας έχει πολλά ‘μικρά βασίλεια’ λεπτομερειών που ταιριάζουν σε αυτήν την εγωιστική προσέγγιση της αναβάθμισης, αλλά τα οποία μπορεί να απαιτούν πιο προκλητικές κωδικοποιημένες λύσεις για να παράγουν μη επαναλαμβανόμενη, συνοχή αναβάθμιση που δεν φαίνεται σαν να έχει συναρμολογηθεί από πολλά μέρη. Όχι τουλάχιστον, στην περίπτωση των ανθρώπινων προσώπων, όπου είμαστε ασυνήθιστα ευαίσθητοι στις αναταραχές ή ‘τζαρινγκ’ αρτεφάκτων. Επομένως, τα πρόσωπα μπορεί τελικά να χρειαστούν μια αφοσιωμένη λύση.

Το Stable Diffusion δεν έχει μηχανισμό για εστίαση της προσοχής στο πρόσωπο κατά τη διάρκεια μιας απόδοσης με τον ίδιο τρόπο που οι άνθρωποι προτεραιοποιούν τις πληροφορίες του προσώπου. Αν και κάποιοι développeurs στις κοινότητες του Discord σκέφτονται μεθόδους για να υλοποιήσουν αυτό το είδος ‘βελτιωμένης προσοχής’, είναι目前 πιο εύκολο να ενισχύσετε χειροκίνητα (και, τελικά, αυτόματα) το πρόσωπο μετά την αρχική απόδοση.

Ένα ανθρώπινο πρόσωπο έχει μια εσωτερική και πλήρη λογική που δεν θα βρεθεί σε ένα ‘τμήμα’ της κάτω γωνίας (για παράδειγμα) ενός κτιρίου, και επομένως είναι τώρα δυνατό να ‘ζουμ’ και να ξανα-αποδώσετε ένα ‘σχεδιαστικό’ πρόσωπο στην έξοδο του Stable Diffusion.

Αριστερά, η αρχική προσπάθεια του Stable Diffusion με το prompt ‘Πλήρης-μήκους έγχρωμη φωτογραφία της Christina Hendricks εισερχόμενη σε ένα πολυσύχναστο μέρος, φορώντας μια raincoat; Canon50, επαφή ματιών, υψηλή λεπτομέρεια, υψηλή λεπτομέρεια προσώπου’. Δεξιά, ένα βελτιωμένο πρόσωπο που λήφθηκε με το να τροφοδοτήσετε το θολούμενο και σχεδιαστικό πρόσωπο από την πρώτη απόδοση πίσω στην πλήρη προσοχή του Stable Diffusion χρησιμοποιώντας Img2Img (δείτε τις κινούμενες εικόνες παρακάτω).

Στην απουσία μιας αφοσιωμένης λύσης Textual Inversion (δείτε παρακάτω), αυτό θα λειτουργήσει μόνο για εικόνες διασημοτήτων όπου το πρόσωπο είναι ήδη καλά αντιπροσωπεύεται στα υποσύνολα δεδομένων LAION που εκπαίδευσαν το Stable Diffusion. Επομένως, θα λειτουργήσει για τα likes του Tom Cruise, Brad Pitt, Jennifer Lawrence, και ένα περιορισμένο εύρος γνήσιων διασημοτήτων που υπάρχουν σε μεγάλο αριθμό εικόνων στα δεδομένα πηγής.

Γεννήθηκε μια πιθανή φωτογραφία τύπου με το prompt ‘Πλήρης-μήκους έγχρωμη φωτογραφία της Christina Hendricks εισερχόμενη σε ένα πολυσύχναστο μέρος, φορώντας μια raincoat; Canon50, επαφή ματιών, υψηλή λεπτομέρεια, υψηλή λεπτομέρεια προσώπου’.

Για διασημότητες με μακρά και διαρκή καριέρα, το Stable Diffusion θα παράγει συνήθως μια εικόνα του προσώπου σε πρόσφατο (δηλ. μεγαλύτερο) ηλικία, και θα είναι απαραίτητο να προστεθούν prompt-παράγωγα όπως ‘νέος’ ή ‘στο έτος [ΕΤΟΣ]’ για να παράγουν νεότερες-εμφανιζόμενες εικόνες.

Με μια nổi bật, πολύ φωτογραφημένη και συνεπή καριέρα που διαρκεί σχεδόν 40 χρόνια, η ηθοποιός Jennifer Connelly είναι μια από τις λίγες διασημότητες στο LAION που επιτρέπουν στο Stable Diffusion να αντιπροσωπεύει ένα εύρος ηλικιών. Πηγή: prepack Stable Diffusion, local, v1.4 checkpoint; prompts σχετικά με ηλικία.

Αυτό οφείλεται σε μεγάλο βαθμό στην εξάπλωση της ψηφιακής (παρά της ακριβής, εμουλσιόν-βασισμένης) φωτογραφίας τύπου από τα μέσα της δεκαετίας του 2000 και μετά, και την αργότερα αύξηση του όγκου της εικόνας εξόδου λόγω της αύξησης των ταχυτήτων του broadband.

Η απόδοση της εικόνας περνάει στο Img2Img στο Stable Diffusion, όπου επιλέγεται ένα ‘περιοχή εστίασης’ και γίνεται μια νέα, μέγιστης μεγέθους απόδοση μόνο για εκείνη την περιοχή, επιτρέποντας στο Stable Diffusion να συγκεντρώσει όλα τα διαθέσιμα πόρους για την αναδημιουργία του προσώπου.

Συνθέτοντας το ‘υψηλή προσοχή’ πρόσωπο πίσω στην αρχική απόδοση. Εκτός από τα πρόσωπα, αυτή η διαδικασία θα λειτουργήσει μόνο με οντότητες που έχουν μια πιθανή γνωστή, συνοχή και ολοκληρωμένη εμφάνιση, όπως ένα τμήμα της αρχικής φωτογραφίας που έχει ένα διακριτό αντικείμενο, όπως ένα ρολόι ή ένα αυτοκίνητο.

Κάποιες διασημότητες στη βάση δεδομένων έρχονται ‘προ-παγωμένες’ στο χρόνο, είτε επειδή πέθανε νωρίς (όπως η Marilyn Monroe), είτε ανέβηκε μόνο σε προσωρινή mainstream δημοτικότητα, παράγοντας ένα υψηλό όγκο εικόνων σε einen περιορισμένο χρονικό διάστημα. Η Stable Diffusion μπορεί να παρέχει ένα είδος ‘τρεχούσης’ δημοτικότητας για σύγχρονες και παλαιότερες διασημότητες. Για κάποιες παλαιότερες και σύγχρονες διασημότητες, δεν υπάρχουν αρκετές εικόνες στη βάση δεδομένων για να ληφθεί μια πολύ καλή ομοιότητα, ενώ η διαρκή δημοτικότητα ορισμένων μακροχρόνιων και παλαιότερων διασημοτήτων εξασφαλίζει ότι μια λογική ομοιότητα μπορεί να ληφθεί από το σύστημα.

Οι απόδοσης του Stable Diffusion αποκαλύπτουν γρήγορα ποια διάσημα πρόσωπα είναι καλά αντιπροσωπεύονται στη βάση δεδομένων εκπαίδευσης. Παρά την τεράστια δημοτικότητά της ως νεότερη έφηβη την εποχή της γραφής, η Millie Bobby Brown ήταν νεότερη και λιγότερο γνωστή όταν τα υποσύνολα δεδομένων LAION αποσπάστηκαν από το web, καθιστώντας μια υψηλής ποιότητας ομοιότητα με το Stable Diffusion προβληματική για την ώρα.

Όπου υπάρχουν δεδομένα, οι λύσεις tile-based up-res στο Stable Diffusion θα μπορούσαν να πάνε παραπέρα από το να εστιάσουν στο πρόσωπο: θα μπορούσαν να επιτρέψουν ακόμη πιο ακριβείς και λεπτομερείς πρόσωπα,分解ώντας τις προσωπικές ιδιότητες και στρέφοντας όλη τη δύναμη των τοπικών πόρων GPU σε σαληντάρες ιδιότητες ξεχωριστά, πριν από την ανασύνθεση – μια διαδικασία που είναι τώρα χειροκίνητη.

Αυτό δεν είναι περιορισμένο στα πρόσωπα, αλλά είναι περιορισμένο σε μέρη αντικειμένων που είναι τουλάχιστον τόσο προβλέψιμα-τοποθετημένα στο ευρύτερο контέκστ του host αντικειμένου, και τα οποία συμμορφώνονται με υψηλού επιπέδου ενσωματώσεις που θα μπορούσαμε να περιμένουμε να βρούμε σε μια υπερκλίμακα βάσης δεδομένων.

Το πραγματικό όριο είναι η ποσότητα των διαθέσιμων αναφοράς δεδομένων στη βάση δεδομένων, επειδή, τελικά, βαθιά-επαναλαμβανόμενη λεπτομέρεια θα γίνει完全 ‘hallucinated’ (δηλ. πλασματική) και λιγότερο αυθεντική.

Τέτοιες υψηλού επιπέδου γραναλιστικές μεγεθύνσεις λειτουργούν στην περίπτωση της Jennifer Connelly, επειδή είναι καλά αντιπροσωπεύεται σε ένα εύρος ηλικιών στο LAION-aesthetics (το κύριο υποσύνολο του LAION 5B που χρησιμοποιεί το Stable Diffusion); και γενικά στο LAION; σε πολλές άλλες περιπτώσεις, η ακρίβεια θα υποστεί από έλλειψη δεδομένων, απαιτώντας είτε fine-tuning (πρόσθετη εκπαίδευση, δείτε ‘Προσαρμογή’ παρακάτω) είτε Textual Inversion (δείτε παρακάτω).

Τα τμήματα είναι ένας ισχυρός και σχετικά φθηνός τρόπος για το Stable Diffusion να παράγει υψηλής ανάλυσης εξόδου, αλλά αλγοριθμική τμηματική αναβάθμιση αυτού του είδους, αν δεν έχει κάποιο είδος ευρύτερης, υψηλότερου επιπέδου μηχανισμού προσοχής, μπορεί να μην φτάσει στα επιθυμητά πρότυπα σε eine σειρά από τύπους περιεχομένου.

2: Διευθυνσιοδότηση Προβλημάτων με Ανθρώπινες Άκρες

Το Stable Diffusion δεν ανταποκρίνεται στο όνομά του όταν απεικονίζει την πολυπλοκότητα των ανθρώπινων άκρων. Τα χέρια μπορούν να πολλαπλασιαστούν τυχαία, τα δάχτυλα να συνενωθούν, τρίτα πόδια να εμφανιστούν χωρίς προειδοποίηση, και υπάρχουσες άκρες να εξαφανιστούν χωρίς ίχνος. Σε υπεράσπιση του, το Stable Diffusion μοιράζεται το πρόβλημα με τα σταθερά του, και σίγουρα με το DALL-E 2.

Αμεταработημένα αποτελέσματα από το DALL-E 2 και το Stable Diffusion (1.4) στο τέλος του Αυγούστου 2022, και τα δύο δείχνουν προβλήματα με άκρες. Prompt είναι ‘Μια γυναίκα αγκαλιάζει ένα άντρα’

Οι φίλοι του Stable Diffusion που ελπίζουν ότι το επικείμενο checkpoint 1.5 (μια πιο εντατικά εκπαιδευμένη έκδοση του μοντέλου, με βελτιωμένα παράμετρα) θα λύσει το πρόβλημα των άκρων είναι πιθανό να απογοητευτούν. Το νέο μοντέλο, το οποίο θα κυκλοφορήσει σε etwa δύο εβδομάδες, είναι τώρα σε première στο εμπορικό portal stability.ai DreamStudio, το οποίο χρησιμοποιεί το 1.5 ως προεπιλογή, και όπου οι χρήστες μπορούν να συγκρίνουν την καινούργια έξοδο με απόδοση από τοπικά ή άλλα 1.4 συστήματα:

Πηγή: Local 1.4 prepack και https://beta.dreamstudio.ai/

Πηγή: Local 1.4 prepack και https://beta.dreamstudio.ai/

Πηγή: Local 1.4 prepack και https://beta.dreamstudio.ai/

Όπως είναι συχνά η περίπτωση, η ποιότητα των δεδομένων μπορεί να είναι ο основικός συντελεστής.

Οι ανοιχτές βάσεις δεδομένων που τροφοδοτούν συστήματα σύνθεσης εικόνας όπως το Stable Diffusion και το DALL-E 2 είναι σε θέση να παρέχουν πολλά labels για ανθρώπους και δράσεις. Αυτά τα labels εκπαιδεύονται συμβιωτικά με τις συνδεδεμένες εικόνες ή τμήματα εικόνων.

Οι χρήστες του Stable Diffusion μπορούν να εξερευνήσουν τις έννοιες που εκπαιδεύονται στο μοντέλο αναζητώντας το υποσύνολο LAION-aesthetics, ένα υποσύνολο της μεγαλύτερης βάσης δεδομένων LAION 5B, η οποία τροφοδοτεί το σύστημα. Πηγή: https://rom1504.github.io/clip-retrieval/

Μια καλή ιεραρχία ατομικών labels και τάξεων που συμβάλλουν στην απεικόνιση ενός ανθρώπινου βραχίονα θα ήταν κάτι σαν σώμα>βραχίονας>χέρι>δάχτυλα> [υπο-δάκτυλα + αντίχειρας]> [τμήματα δακτύλων]>Νύχια.

Γραναλιστική σεμαντική τμηματοποίηση των μερών του χεριού. Πηγή: https://athitsos.utasites.cloud/publications/rezaei_petra2021.pdf

Στην πραγματικότητα, οι πηγαίες εικόνες είναι απίθανο να είναι τόσο συνεπώς annoted σε όλη τη βάση δεδομένων, και ανοικτές αλγόριθμοι labeling θα σταματήσουν πιθανότατα στο υψηλότερο επίπεδο – για παράδειγμα – ‘χέρι’, και θα αφήσουν τα εσωτερικά pixels (τα οποία τεχνικά περιέχουν ‘δάκτυλο’ πληροφορίες) ως một unlabeled μάζα pixels από τα οποία θα παραχθούν χαρακτηριστικά, και τα οποία μπορεί να εκφραστούν σε μεταγενέστερες απόδοσης ως ένα jarring στοιχείο.

Πώς θα πρέπει να είναι (πάνω δεξιά, αν όχι πάνω-κοπή), και πώς τείνει να είναι (κάτω δεξιά), λόγω περιορισμένων πόρων για labeling, ή αρχιτεκτονικής εκμετάλλευσης των labels εάν υπάρχουν στη βάση δεδομένων.

Επομένως, αν ένα μοντέλο.latent diffusion φτάσει μέχρι το σημείο να αποδώσει einen βραχίονα, είναι σχεδόν βέβαιο ότι θα προσπαθήσει να αποδώσει ένα χέρι στο τέλος του βραχίονα, επειδή βραχίονας>χέρι είναι η ελάχιστη απαραίτητη ιεραρχία, khá ψηλά σε αυτό που η αρχιτεκτονική γνωρίζει για ‘ανθρώπινη ανατομία’.

Μετά από αυτό, ‘δάκτυλα’ μπορεί να είναι η μικρότερη ομαδοποίηση, ακόμη και αν υπάρχουν 14 περαιτέρω δακτυλικά/αντίχειρα υπο-τμήματα να ληφθούν υπόψη κατά την απεικόνιση ανθρώπινων χεριών.

Εάν αυτή η θεωρία ισχύει, δεν υπάρχει πραγματική λύση, λόγω του sector-ευρείας έλλειψης προϋπολογισμού για χειροκίνητη annotation, και της έλλειψης επαρκώς αποτελεσματικών αλγορίθμων που θα μπορούσαν να αυτοματοποιήσουν labeling ενώ παράγουν χαμηλά ποσοστά σφαλμάτων. Στην πραγματικότητα, το μοντέλο μπορεί να βασίζεται τώρα στην ανθρώπινη ανατομική συνέπεια για να καλύψει τις ελλείψεις της βάσης δεδομένων που εκπαιδεύτηκε.

Μια πιθανή αιτία για την οποία δεν μπορεί να βασιστεί σε αυτό, πρόσφατα πρότεινε στο Stable Diffusion Discord, είναι ότι το μοντέλο θα μπορούσε να μπερδευτεί σχετικά με τον σωστό αριθμό δακτύλων που θα πρέπει να έχει ένα (πραγματικό) ανθρώπινο χέρι, επειδή η βάση δεδομένων LAION που τροφοδοτεί το περιλαμβάνει καρτούν χαρακτήρες που μπορεί να έχουν λιγότερα δάκτυλα (ο οποίος είναι ο ίδιος μια εργονομική συντόμευση).

Δύο από τους πιθανούς ένοχους στο ‘λείπουν δάκτυλα’ σύνδρομο στο Stable Diffusion και παρόμοια μοντέλα. Πηγή: https://www.youtube.com/watch?v=0QZFQ3gbd6I

Εάν αυτό είναι αλήθεια, τότε η μόνη σαφής λύση είναι να επανα-εκπαιδεύσετε το μοντέλο, εξαιρώντας μη-ρεαλιστικά ανθρώπινα-βασισμένο περιεχόμενο, και να διασφαλίσετε ότι γνήσιες περιπτώσεις οmissions (δηλ. αμputees) είναι κατάλληλα annoted ως εξαιρέσεις. Από ένα σημείο προβολής της επιμέλειας δεδομένων, αυτό θα ήταν μια khá πρόκληση, ιδιαίτερα για community-πρόνοιες.

Η δεύτερη προσέγγιση θα ήταν να εφαρμόσετε φίλτρα που εξαιρούν τέτοιο περιεχόμενο (π.χ. ‘χέρι με τρία/πέντε δάκτυλα’) από την εμφάνιση κατά τη διάρκεια της απόδοσης, με τον ίδιο τρόπο που το OpenAI έχει, σε κάποιο βαθμό, φιλτράρει το GPT-3 και DALL-E 2, ώστε η έξοδος να μπορεί να ρυθμιστεί χωρίς να χρειάζεται να επανα-εκπαιδευτεί το μοντέλο.

Για το Stable Diffusion, η σεμαντική διάκριση μεταξύ δακτύλων και ακόμη και άκρων μπορεί να γίνει φριχτά ασαφής. Πηγή: https://old.reddit.com/r/StableDiffusion/comments/x6htf6/a_study_of_stable_diffusions_strange_relationship/

Ωστόσο, και πάλι, αυτό θα απαιτούσε labels που μπορεί να μην υπάρχουν σε όλες τις επηρεαζόμενες εικόνες, αφήνοντάς μας με την ίδια λογιστική και προϋπολογιστική πρόκληση.

Μπορεί να ειπωθεί ότι υπάρχουν δύο εναπομείναντες δρόμοι προς τα εμπρός: ρίχνοντας περισσότερα δεδομένα στο πρόβλημα, και εφαρμόζοντας τρίτους ερμηνευτικούς συστήματα που μπορούν να παρέμβουν όταν σωματικά λάθη του τύπου που περιγράφηκαν εδώ παρουσιάζονται στο τελικό χρήστη (τουλάχιστον, το τελευταίο θα έδινε στο OpenAI einen τρόπο να παρέχει επιστροφές χρημάτων για ‘body horror’ απόδοσης, αν η εταιρεία ήταν мотивιμένη να το κάνει).

3: Προσαρμογή

Μια από τις πιο ενδιαφέρουσες δυνατότητες για το μέλλον του Stable Diffusion είναι η προοπτική των χρηστών ή των οργανισμών να αναπτύξουν αναθεωρημένα συστήματα – τροποποιήσεις που επιτρέπουν περιεχόμενο έξω από τη προ-εκπαιδευμένη σφαίρα του LAION να ενσωματωθεί στο σύστημα – ιδανικά χωρίς την ungovernable έξοδα της εκπαίδευσης του ολόκληρου μοντέλου ξανά, ή τον κίνδυνο που εμπλέκεται όταν εκπαιδεύετε ένα μεγάλο όγκο νέων εικόνων σε ένα υπάρχον, ώριμο και ικανό μοντέλο.

Με αναλογία: αν δύο λιγότερο ταλαντούχοι μαθητές ενταχθούν σε eine προηγμένη τάξη τριάντα μαθητών, θα either assimilate και πιάσουν, ή αποτύχουν ως outliers; σε κάθε περίπτωση, η μέση απόδοση της τάξης θα πιθανότατα δεν θα επηρεαστεί. Αν 15 λιγότερο ταλαντούχοι μαθητές ενταχθούν, ωστόσο, η καμπύλη βαθμών για όλη την τάξη είναι πιθανό να υποστεί.

Ομοίως, η συναγωνιστική και αρκετά λεπτή δίκτυο σχέσεων που χτίζονται κατά τη διάρκεια της μακράς και ακριβής εκπαίδευσης του μοντέλου μπορεί να υποστεί, σε ορισμένες περιπτώσεις effectively καταστραφεί, από υπερβολικό νέο δεδομένα, μειώνοντας την ποιότητα εξόδου του μοντέλου στο σύνολό του.

Η περίπτωση για να το κάνετε αυτό είναι πρωτίστως όπου το ενδιαφέρον σας έγκειται στην πλήρη ανακατασκευή της концептуαλικής κατανόησης του μοντέλου και την απόκτησή του για την αποκλειστική παραγωγή περιεχομένου που είναι παρόμοιο με το πρόσθετο υλικό που προσθέτετε.

Έτσι, η εκπαίδευση 500,000 Simpsons кадρών σε ένα υπάρχον Stable Diffusion checkpoint είναι πιθανό να σας δώσει einen καλύτερο Simpsons simulator από το αρχικό κτίριο θα μπορούσε να προσφέρει, με την υπόθεση ότι αρκετές ευρείες σεμαντικές σχέσεις επιβιώσουν της διαδικασίας (π.χ. Homer Simpson τρώει ένα hotdog, το οποίο μπορεί να απαιτεί υλικό για hot-dogs που δεν ήταν στο πρόσθετο υλικό, αλλά υπήρχε ήδη στο checkpoint), και με την υπόθεση ότι δεν θέλετε να αλλάξετε ξαφνικά από Simpsons περιεχόμενο σε δημιουργία φανταστικών τοπίων από τον Greg Rutkowski – γιατί το post-εκπαιδευμένο μοντέλο σας έχει την προσοχή του enormemente diverted, και δεν θα είναι τόσο καλό στο να κάνει αυτό το είδος πράγματος όσο ήταν πριν.

Μια αξιοσημείωτη περίπτωση αυτού είναι waifu-diffusion, η οποία έχει επιτύχει post-εκπαίδευση 56,000 anime εικόνων σε ένα ολοκληρωμένο και εκπαιδευμένο Stable Diffusion checkpoint. Είναι μια δύσκολη προοπτική για einen hobbyist, ωστόσο, поскольку το μοντέλο απαιτεί einen ελάχιστο 30GB της VRAM, πολύ πέρα από ότι είναι πιθανό να είναι διαθέσιμο στο καταναλωτικό επίπεδο στην επερχόμενη 40XX σειρά της NVIDIA.

Η εκπαίδευση του προσαρμοσμένου περιεχομένου στο Stable Diffusion μέσω waifu-diffusion: το μοντέλο πήρε δύο εβδομάδες post-εκπαίδευσης για να παράγει αυτό το επίπεδο εικονογράφισης. Πηγή: https://gigazine.net/gsc_news/en/20220121-how-waifu-labs-create/

Πολύς κόπος θα μπορούσε να εξαχθεί σε τέτοιους ‘forks’ των Stable Diffusion checkpoints, μόνο για να απογοητευτεί από τεχνικό χρέος. Οι développeurs στο επίσημο Discord έχουν ήδη δείξει ότι μεταγενέστερα checkpoints δεν θα είναι απαραίτητα.backward-συμβατά, ακόμη και με prompt λογική που μπορεί να δούλεψε με eine προηγούμενη έκδοση, поскольку το πρωταρχικό τους ενδιαφέρον είναι να λάβουν το καλύτερο μοντέλο δυνατό, και όχι να υποστηρίξουν legacy εφαρμογές και διαδικασίες.

Επομένως, μια εταιρεία ή ένα άτομο που αποφασίζει να διακλαδώσει einen checkpoint σε ένα εμπορικό προϊόν έχει effectively keinen τρόπο πίσω; η έκδοση του μοντέλου είναι, σε εκείνο το σημείο, een ‘hard fork’, και δεν θα μπορεί να τραβήξει benefits από μεταγενέστερες εκδόσεις από το stability.ai – το οποίο είναι quite einen δεσμευμένος.

Η τρέχουσα, και μεγαλύτερη ελπίδα για προσαρμογή του Stable Diffusion είναι Textual Inversion, όπου ο χρήστης εκπαιδεύει σε eine μικρή χούφτα CLIP-συμβατών εικόνων.

Μια συνεργασία μεταξύ του Πανεπιστημίου του Tel Aviv και της NVIDIA, η textual inversion επιτρέπει την εκπαίδευση-σε διακριτών και νέων οντοτήτων. Πηγή: https://textual-inversion.github.io/

Η πρωταρχική φαινομενική περιορισμός της textual inversion είναι ότι ένας πολύ μικρός αριθμός εικόνων συνιστάται – τόσο λίγες όσο πέντε. Αυτό effectively παράγει eine περιορισμένη οντότητα που μπορεί να είναι πιο χρήσιμη για εργασίες style transfer παρά για την εισαγωγή φωτορεαλιστικών αντικειμένων.

Ωστόσο, πειράματα λαμβάνουν χώρα τώρα μέσα στις διάφορες Stable Diffusion Discords που χρησιμοποιούν πολύ μεγαλύτερο αριθμό εικόνων εκπαίδευσης, και παραμένει να δούμε πόσο παραγωγικό η μέθοδος μπορεί να αποδειχθεί. Πάλι, η τεχνική απαιτεί πολύ VRAM, χρόνο και υπομονή.

Λόγω αυτών των περιορισμών, μπορεί να πρέπει να περιμένουμε για λίγο για να δούμε κάποια από τα πιο σύνθετα πειράματα textual inversion από τους φίλους του Stable Diffusion – και αν αυτή η προσέγγιση μπορεί να ‘βάλει σας στην εικόνα’ με έναν τρόπο που φαίνεται καλύτερος από einen Photoshop cut-and-paste, ενώ διατηρεί την εκπληκτική λειτουργικότητα των επίσημων checkpoints.

Πρώτη δημοσίευση 6η Σεπτεμβρίου 2022.