Η γωνία του Anderson

Τρεις Προκλήσεις για το Stable Diffusion

Martin Anderson
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο Stable Diffusion δυσκολεύεται με τα ανθρώπινα άκρα λόγω ανεπαρκώς λεπτομερούς…
Δείτε περισσότερα
  • Το Stable Diffusion δυσκολεύεται με τα ανθρώπινα άκρα λόγω ανεπαρκώς λεπτομερούς σχολιασμού των δεδομένων εκπαίδευσης.
  • Οι μέθοδοι αναβαθμίσεως με πλακίδια κινδυνεύουν να παράγουν ασυνεχή εικόνες χωρίς ευρύτερη εννοιολογική επίγνωση.
  • Η εγγενής ανάλυση 512x512 του μοντέλου περιορίζει την ποιότητα εξόδου και απαιτεί πολύπλοκες λύσεις.

Η κυκλοφορία του μοντέλου σύνθεσης εικόνων Stable Diffusion της stability.ai, που βασίζεται στη λανθάνουσα διάχυση και παρουσιάστηκε πριν από λίγες εβδομάδες, ίσως αποτελεί μία από τις σημαντικότερες δημοσιοποιήσεις τεχνολογίας μετά το DeCSS το 1999· είναι σίγουρα το μεγαλύτερο γεγονός στις εικόνες που παράγονται με AI μετά το 2017, όταν ο κώδικας των deepfakes αντιγράφηκε στο GitHub και διακλαδώθηκε σε αυτό που θα γινόταν DeepFaceLab και FaceSwap, καθώς και στο λογισμικό ζωντανής μετάδοσης deepfake σε πραγματικό χρόνο DeepFaceLive.

Μεμιάς, η απογοήτευση των χρηστών για τους περιορισμούς περιεχομένου του API σύνθεσης εικόνων του DALL-E 2 παραμερίστηκε, καθώς διαπιστώθηκε ότι το φίλτρο NSFW του Stable Diffusion μπορούσε να απενεργοποιηθεί αλλάζοντας μία μόνο γραμμή κώδικα. Κοινότητες του Reddit για πορνογραφικές δημιουργίες με Stable Diffusion εμφανίστηκαν σχεδόν αμέσως και έκλεισαν εξίσου γρήγορα, ενώ προγραμματιστές και χρήστες χωρίστηκαν στο Discord σε επίσημες κοινότητες και κοινότητες NSFW. Το Twitter άρχισε να γεμίζει με φανταστικές δημιουργίες του Stable Diffusion.

Αυτή τη στιγμή κάθε μέρα φαίνεται να φέρνει κάποια εκπληκτική καινοτομία από προγραμματιστές που υιοθέτησαν το σύστημα, με πρόσθετα και συμπληρωματικά εργαλεία τρίτων να γράφονται βιαστικά για τα Krita, Photoshop, Cinema4D, Blenderκαι πολλές άλλες πλατφόρμες εφαρμογών.

Στο μεταξύ, η τέχνη διαμόρφωσης προτροπών —η πλέον επαγγελματική τέχνη του «ψιθυριστή της AI», η οποία ίσως αποδειχθεί η συντομότερη επιλογή καριέρας μετά τον «οργανωτή Filofax»— ήδη εμπορευματοποιείται, ενώ η αρχική αξιοποίηση του Stable Diffusion για έσοδα γίνεται στο επίπεδο του Patreon. Είναι βέβαιο ότι θα ακολουθήσουν πιο εξελιγμένες υπηρεσίες για όσους δεν θέλουν να αντιμετωπίσουν εγκαταστάσεις μέσω Conda του πηγαίου κώδικα ή τα περιοριστικά φίλτρα NSFW των διαδικτυακών υλοποιήσεων.

Ο ρυθμός ανάπτυξης και η ελεύθερη εξερεύνηση των χρηστών προχωρούν τόσο ιλιγγιωδώς ώστε είναι δύσκολο να δούμε πολύ μπροστά. Ουσιαστικά, δεν ξέρουμε ακόμη ακριβώς με τι έχουμε να κάνουμε ή ποιες μπορεί να είναι όλες οι δυνατότητες και οι περιορισμοί.

Ας δούμε, ωστόσο, τρία από τα πιθανώς πιο ενδιαφέροντα και απαιτητικά εμπόδια που καλείται να αντιμετωπίσει και, ελπίζουμε, να ξεπεράσει η κοινότητα του Stable Diffusion, η οποία συγκροτήθηκε και αναπτύσσεται ταχύτατα.

1: Βελτιστοποίηση ροών επεξεργασίας με πλακίδια εικόνας

Με περιορισμένους πόρους υλικού και αυστηρά όρια στην ανάλυση των εικόνων εκπαίδευσης, φαίνεται πιθανό οι προγραμματιστές να βρουν παρακάμψεις για να βελτιώσουν τόσο την ποιότητα όσο και την ανάλυση των αποτελεσμάτων του Stable Diffusion. Πολλά τέτοια έργα θα αξιοποιήσουν τους περιορισμούς του συστήματος, όπως την εγγενή ανάλυση μόλις 512×512 pixel.

Όπως συμβαίνει συνήθως στην υπολογιστική όραση και τη σύνθεση εικόνων, το Stable Diffusion εκπαιδεύτηκε σε τετραγωνικές εικόνες, εδώ επαναδειγματοληπτημένες σε 512×512, ώστε να τυποποιηθούν οι πηγαίες εικόνες και να χωρέσουν στους περιορισμούς των GPU της εκπαίδευσης.

Επομένως, το Stable Diffusion «σκέφτεται» —αν σκέφτεται— σε όρους 512×512 και σίγουρα τετραγώνου. Πολλοί χρήστες που διερευνούν τα όριά του αναφέρουν ότι δίνει τα πιο αξιόπιστα αποτελέσματα με τα λιγότερα σφάλματα σε αυτή την περιορισμένη αναλογία διαστάσεων (βλ. παρακάτω τα προβλήματα με τα άκρα).

Παρότι διάφορες υλοποιήσεις διαθέτουν αύξηση ανάλυσης μέσω RealESRGAN (και επιδιόρθωση κακοσχηματισμένων προσώπων μέσω GFPGAN) αρκετοί χρήστες αναπτύσσουν μεθόδους διαίρεσης των εικόνων σε τμήματα 512×512 pixel και συρραφής τους σε μεγαλύτερες συνθέσεις.

This 1024x576 render, a resolution customarily impossible in a single Stable Diffusion render, was created by copying and pasting the attention.py Python file from the DoggettX fork of Stable Diffusion (a version which implements tile-based upscaling) into another fork. Source: https://old.reddit.com/r/StableDiffusion/comments/x6yeam/1024x576_with_6gb_nice/

Αυτή η απόδοση 1024×576, ανάλυση συνήθως αδύνατη σε μία απόδοση Stable Diffusion, δημιουργήθηκε με αντιγραφή και επικόλληση του αρχείου Python attention.py από τη διακλάδωση DoggettX του Stable Diffusion, η οποία εφαρμόζει αύξηση ανάλυσης με πλακίδια, σε άλλη διακλάδωση. Πηγή: https://old.reddit.com/r/StableDiffusion/comments/x6yeam/1024x576_with_6gb_nice/

Παρότι ορισμένες τέτοιες πρωτοβουλίες χρησιμοποιούν πρωτότυπο κώδικα ή άλλες βιβλιοθήκες, η μεταφορά txt2imghd του GOBIG, μιας λειτουργίας του απαιτητικού σε VRAM ProgRockDiffusion, αναμένεται να φέρει σύντομα αυτή τη δυνατότητα στον κύριο κλάδο. Ενώ το txt2imghd είναι ειδική μεταφορά του GOBIG, άλλες προσπάθειες της κοινότητας χρησιμοποιούν διαφορετικές υλοποιήσεις του.

A conveniently abstract image in the original 512x512px render (left and second from left); upscaled by ESGRAN, which is now more or less native across all Stable Diffusion distributions; and given 'special attention' via an implementation of GOBIG, producing detail that, at least within the confines of the image section, seem better-upscaled. Source: https://old.reddit.com/r/StableDiffusion/comments/x72460/stable_diffusion_gobig_txt2imghd_easy_mode_colab/

Μια αφηρημένη εικόνα που εξυπηρετεί το παράδειγμα, στην αρχική απόδοση 512×512 pixel (αριστερά και δεύτερη από αριστερά), με αύξηση ανάλυσης μέσω ESGRAN, το οποίο πλέον είναι σχεδόν ενσωματωμένο σε όλες τις διανομές Stable Diffusion. Μια υλοποίηση GOBIG της έδωσε «ειδική προσοχή», παράγοντας λεπτομέρειες που φαίνονται καλύτερα μεγεθυμένες, τουλάχιστον εντός του συγκεκριμένου τμήματος. Πηγή: https://old.reddit.com/r/StableDiffusion/comments/x72460/stable_diffusion_gobig_txt2imghd_easy_mode_colab/

Το παραπάνω αφηρημένο παράδειγμα έχει πολλά «μικρά βασίλεια» λεπτομερειών που ταιριάζουν σε αυτή την αυτοαναφορική προσέγγιση μεγέθυνσης. Μπορεί όμως να χρειαστούν πιο απαιτητικές λύσεις μέσω κώδικα για μη επαναλαμβανόμενη, συνεκτική μεγέθυνση που δεν μοιάζει να έχει συναρμολογηθεί από πολλά κομμάτια. Ιδίως στα ανθρώπινα πρόσωπα, είμαστε ιδιαίτερα ευαίσθητοι σε παραμορφώσεις και ενοχλητικά τεχνουργήματα. Επομένως, τα πρόσωπα ίσως τελικά χρειάζονται ειδική λύση.

Το Stable Diffusion δεν διαθέτει ακόμη μηχανισμό εστίασης της προσοχής στο πρόσωπο κατά την απόδοση όπως οι άνθρωποι δίνουν προτεραιότητα στις πληροφορίες του προσώπου. Παρότι ορισμένοι προγραμματιστές στο Discord εξετάζουν μεθόδους τέτοιας «ενισχυμένης προσοχής», είναι πολύ ευκολότερο τώρα να βελτιώνεται το πρόσωπο χειροκίνητα, και αργότερα αυτόματα, μετά την αρχική απόδοση.

Το ανθρώπινο πρόσωπο έχει εσωτερική και ολοκληρωμένη σημασιολογική λογική που δεν υπάρχει σε ένα «πλακίδιο» της κάτω γωνίας ενός κτιρίου, για παράδειγμα. Έτσι είναι πλέον δυνατό να μεγεθυνθεί και να αποδοθεί ξανά αποτελεσματικά ένα πρόχειρα σχεδιασμένο πρόσωπο στο αποτέλεσμα του Stable Diffusion.

Left, Stable Diffusion's initial effort with the prompt 'Full-length color photo of Christina Hendricks entering a crowded place, wearing   a raincoat; Canon50, eye contact, high detail, high facial detail'. Right, an improved face obtained by feeding the blurred and sketchy face from the first render back into the full attention of Stable Diffusion using Img2Img (see animated images below).

Αριστερά: η αρχική προσπάθεια του Stable Diffusion με την προτροπή ‘Full-length color photo of Christina Hendricks entering a crowded place, wearing   a raincoat; Canon50, eye contact, high detail, high facial detail’. Δεξιά: βελτιωμένο πρόσωπο, δίνοντας μέσω Img2Img την πλήρη προσοχή του Stable Diffusion στο θολό και πρόχειρο πρόσωπο της πρώτης απόδοσης (βλ. κινούμενες εικόνες παρακάτω).

Χωρίς ειδική λύση Textual Inversion (βλ. παρακάτω), αυτό λειτουργεί μόνο για εικόνες διασημοτήτων με ήδη καλή εκπροσώπηση στα υποσύνολα LAION που εκπαίδευσαν το Stable Diffusion. Έτσι λειτουργεί για τους Tom Cruise, Brad Pitt, Jennifer Lawrence και περιορισμένο αριθμό πραγματικών διασημοτήτων των μέσων, των οποίων πολλές εικόνες υπάρχουν στα πηγαία δεδομένα.

Generating a plausible press picture with the prompt 'Full-length color photo of Christina Hendricks entering a crowded place, wearing   a raincoat; Canon50, eye contact, high detail, high facial detail'.

Παραγωγή πειστικής φωτογραφίας Τύπου με την προτροπή ‘Full-length color photo of Christina Hendricks entering a crowded place, wearing   a raincoat; Canon50, eye contact, high detail, high facial detail’.

Για διασημότητες με μακρόχρονη, διαρκή καριέρα, το Stable Diffusion συνήθως παράγει εικόνα τους σε πρόσφατη, δηλαδή μεγαλύτερη, ηλικία. Χρειάζονται προσθήκες στην προτροπή όπως ‘young’ ή ‘in the year [YEAR]’ για εικόνες νεότερης εμφάνισης.

With a prominent, much-photographed and consistent career spanning nearly 40 years, actress Jennifer Connelly is one of a handful of celebrities in LAION that allow Stable Diffusion to represent a range of ages. Source: prepack Stable Diffusion, local, v1.4 checkpoint; age-related prompts.

Με διακεκριμένη, πολυφωτογραφημένη και συνεπή καριέρα σχεδόν 40 ετών, η Jennifer Connelly είναι μία από τις λίγες διασημότητες του LAION που επιτρέπουν στο Stable Diffusion να αποδώσει πολλές ηλικίες. Πηγή: τοπικό, έτοιμο πακέτο Stable Diffusion, checkpoint v1.4· προτροπές σχετικές με ηλικία.

Αυτό οφείλεται σε μεγάλο βαθμό στην εξάπλωση της ψηφιακής φωτογραφίας Τύπου, αντί της ακριβής φωτογραφίας με φωτογραφικό γαλάκτωμα, από τα μέσα της δεκαετίας του 2000 και στην κατοπινή αύξηση του όγκου εικόνων λόγω μεγαλύτερων ευρυζωνικών ταχυτήτων.

The rendered image is passed through to Img2Img in Stable Diffusion, where a 'focus area' is selected, and a new, maximum-size render is made only of that area, allowing Stable Diffusion to concentrate all available resources on recreating the face.

Η παραγόμενη εικόνα περνά στο Img2Img του Stable Diffusion, όπου επιλέγεται μια «περιοχή εστίασης» και δημιουργείται νέα απόδοση μέγιστου μεγέθους μόνο γι’ αυτήν. Έτσι το Stable Diffusion διαθέτει όλους τους πόρους στην αναδημιουργία του προσώπου.

Compositing the 'high attention' face back into the original render. Besides faces, this process will only work with entities that have a potential known, cohesive and integral appearance, such as a portion of the original photo that has a distinct object, such as a watch or a car. Upscaling a section of, for instance, a wall is going to lead to a very strange-looking reassembled wall, because the tile renders had no wider context for this 'jigsaw piece' as they were rendering.

Σύνθεση του προσώπου που έλαβε «υψηλή προσοχή» πίσω στην αρχική απόδοση. Πέρα από πρόσωπα, η διαδικασία λειτουργεί μόνο για οντότητες με δυνητικά γνωστή, συνεκτική και ολοκληρωμένη εμφάνιση, όπως τμήμα της αρχικής φωτογραφίας που περιέχει διακριτό αντικείμενο, π.χ. ρολόι ή αυτοκίνητο. Η μεγέθυνση τμήματος ενός τοίχου θα οδηγήσει σε πολύ παράξενο ανασυντεθειμένο τοίχο, επειδή κατά την απόδοση των πλακιδίων έλειπε το ευρύτερο πλαίσιο για αυτό το «κομμάτι του παζλ».

Ορισμένες διασημότητες στη βάση δεδομένων είναι ήδη «παγωμένες» στον χρόνο, είτε επειδή πέθαναν νέες, όπως η Marilyn Monroe, είτε επειδή έγιναν ευρέως γνωστές μόνο για λίγο, παράγοντας πολλές εικόνες σε περιορισμένο διάστημα. Η διερεύνηση του Stable Diffusion μπορεί να θεωρηθεί ένα είδος «τρέχοντος» δείκτη δημοτικότητας σύγχρονων και παλαιότερων σταρ. Για ορισμένες παλαιότερες και σημερινές διασημότητες δεν υπάρχουν αρκετές πηγαίες εικόνες για πολύ καλή ομοιότητα, ενώ η διαρκής δημοτικότητα συγκεκριμένων σταρ που πέθαναν προ πολλού ή έπαψαν να προβάλλονται επιτρέπει στο σύστημα να αποδώσει εύλογη ομοιότητά τους.

Stable Diffusion renders quickly reveal which famous faces are well-represented in the training data. Despite her enormous popularity as an older teenager at the time of writing, Millie Bobby Brown was younger and less well-known when the LAION source datasets were scraped from the web, making a high-quality likeness with Stable Diffusion problematic at the moment.

Οι αποδόσεις του Stable Diffusion αποκαλύπτουν γρήγορα ποια διάσημα πρόσωπα εκπροσωπούνται καλά στα δεδομένα εκπαίδευσης. Παρά την τεράστια δημοτικότητά της ως μεγαλύτερης έφηβης την εποχή συγγραφής, η Millie Bobby Brown ήταν νεότερη και λιγότερο γνωστή όταν συλλέχθηκαν από το διαδίκτυο τα πηγαία δεδομένα LAION, κάτι που δυσκολεύει ακόμη την παραγωγή πολύ πιστής ομοιότητας.

Όταν υπάρχουν δεδομένα, οι λύσεις αύξησης ανάλυσης με πλακίδια στο Stable Diffusion θα μπορούσαν να προχωρήσουν πέρα από την εστίαση στο πρόσωπο. Διαχωρίζοντας τα χαρακτηριστικά του και αφιερώνοντας όλη την ισχύ των τοπικών GPU σε κάθε σημαντικό χαρακτηριστικό ξεχωριστά πριν από την ανασύνθεση, θα μπορούσαν να δώσουν ακόμη ακριβέστερα και λεπτομερέστερα πρόσωπα. Και αυτή η διαδικασία παραμένει χειροκίνητη.

Αυτό δεν περιορίζεται στα πρόσωπα, αλλά αφορά τμήματα αντικειμένων που βρίσκονται τουλάχιστον εξίσου προβλέψιμα μέσα στο ευρύτερο πλαίσιο του αντικειμένου και αντιστοιχούν σε αναπαραστάσεις υψηλού επιπέδου που εύλογα αναμένονται σε σύνολο δεδομένων τεράστιας κλίμακας.

Το πραγματικό όριο είναι η ποσότητα διαθέσιμων δεδομένων αναφοράς: τελικά, οι λεπτομέρειες μετά από πολλές επαναλήψεις θα γίνουν εντελώς «παραισθητικές», δηλαδή επινοημένες, και λιγότερο αυθεντικές.

Τέτοιες μεγεθύνσεις σε τόσο λεπτομερές επίπεδο λειτουργούν για την Jennifer Connelly επειδή εκπροσωπείται καλά σε πολλές ηλικίες στο LAION-aesthetics , το κύριο υποσύνολο του LAION 5B που χρησιμοποιεί το Stable Diffusion, και γενικότερα στο LAION. Σε πολλές άλλες περιπτώσεις, η ακρίβεια θα υποφέρει λόγω έλλειψης δεδομένων, απαιτώντας λεπτομερή προσαρμογή, δηλαδή πρόσθετη εκπαίδευση (βλ. «Προσαρμογή» παρακάτω), ή Textual Inversion (βλ. παρακάτω).

Τα πλακίδια είναι ισχυρός και σχετικά φθηνός τρόπος παραγωγής αποτελεσμάτων υψηλής ανάλυσης με Stable Diffusion. Ωστόσο, τέτοια αλγοριθμική μεγέθυνση, χωρίς ευρύτερο μηχανισμό προσοχής υψηλότερου επιπέδου, μπορεί να αποτύχει να καλύψει τα αναμενόμενα πρότυπα σε διάφορους τύπους περιεχομένου.

2: Αντιμετώπιση προβλημάτων με τα ανθρώπινα άκρα

Το Stable Diffusion δεν δικαιώνει το όνομά του όταν απεικονίζει την πολυπλοκότητα των ανθρώπινων άκρων. Χέρια πολλαπλασιάζονται τυχαία, δάχτυλα συγχωνεύονται, εμφανίζονται απρόσκλητα τρίτα πόδια και υπάρχοντα άκρα εξαφανίζονται χωρίς ίχνος. Προς υπεράσπισή του, μοιράζεται το πρόβλημα με άλλα παρόμοια μοντέλα και ασφαλώς με το DALL-E 2.

Non-edited results from DALL-E 2 and Stable Diffusion (1.4) at the end of Αύγουστος 2022, both showing issues with limbs. Prompt is 'A woman embracing a man'

Ανεπεξέργαστα αποτελέσματα από DALL-E 2 και Stable Diffusion (1.4) στα τέλη Αυγούστου 2022, και τα δύο με προβλήματα στα άκρα. Η προτροπή είναι ‘A woman embracing a man’.

Οι φίλοι του Stable Diffusion που ελπίζουν ότι το επερχόμενο checkpoint 1.5, μια εντατικότερα εκπαιδευμένη έκδοση με βελτιωμένες παραμέτρους, θα λύσει τη σύγχυση των άκρων μάλλον θα απογοητευτούν. Το νέο μοντέλο, που θα κυκλοφορήσει σε περίπου δύο εβδομάδες, παρουσιάζεται ήδη στη διαδικτυακή εμπορική πύλη της stability.ai DreamStudio, η οποία χρησιμοποιεί το 1.5 από προεπιλογή. Εκεί οι χρήστες μπορούν να συγκρίνουν τα νέα αποτελέσματα με αποδόσεις από τοπικά ή άλλα συστήματα 1.4:

Source: Local 1.4 prepack and https://beta.dreamstudio.ai/

Πηγή: τοπικό έτοιμο πακέτο 1.4 και https://beta.dreamstudio.ai/

Source: Local 1.4 prepack and https://beta.dreamstudio.ai/

Πηγή: τοπικό έτοιμο πακέτο 1.4 και https://beta.dreamstudio.ai/

Source: Local 1.4 prepack and https://beta.dreamstudio.ai/

Πηγή: τοπικό έτοιμο πακέτο 1.4 και https://beta.dreamstudio.ai/

Όπως συμβαίνει συχνά, η ποιότητα των δεδομένων μπορεί να είναι ο κύριος συντελεστής του προβλήματος.

Οι ανοικτές βάσεις δεδομένων που τροφοδοτούν συστήματα σύνθεσης εικόνων, όπως Stable Diffusion και DALL-E 2, μπορούν να δίνουν πολλές ετικέτες για μεμονωμένους ανθρώπους και αλληλεπιδράσεις μεταξύ τους. Αυτές εκπαιδεύονται συμβιωτικά με τις σχετικές εικόνες ή τμήματά τους.

Stable Diffusion users can explore the concepts trained into the model by querying the LAION-aesthetics dataset, a subset of the larger LAION 5B dataset, which powers the system. The images are ordered not by their alphabetical labels, but by their 'aesthetic score'. Source: https://rom1504.github.io/clip-retrieval/

Οι χρήστες του Stable Diffusion μπορούν να εξερευνήσουν τις έννοιες που έμαθε το μοντέλο αναζητώντας στο LAION-aesthetics, υποσύνολο του μεγαλύτερου LAION 5B που τροφοδοτεί το σύστημα. Οι εικόνες ταξινομούνται με βάση το «αισθητικό σκορ» και όχι αλφαβητικά βάσει ετικετών. Πηγή: https://rom1504.github.io/clip-retrieval/

Μια καλή ιεραρχία μεμονωμένων ετικετών και κλάσεων που συμβάλλουν στην απεικόνιση ενός ανθρώπινου βραχίονα θα ήταν κάπως έτσι: body>arm>hand>fingers>[sub digits + thumb]> [digit segments]>Fingernails.

Granular semantic segmentation of the parts of a hand. Even this unusually detailed deconstruction leaves each 'finger' as a sole entity, not accounting for the three sections of a finger and the two sections of a thumb Source: https://athitsos.utasites.cloud/publications/rezaei_petra2021.pdf

Λεπτομερής σημασιολογική τμηματοποίηση των μερών ενός χεριού. Ακόμη και αυτή η ασυνήθιστα αναλυτική αποδόμηση αφήνει κάθε «δάχτυλο» ως ενιαία οντότητα, χωρίς να συνυπολογίζει τα τρία τμήματα ενός δαχτύλου και τα δύο του αντίχειρα. Πηγή: https://athitsos.utasites.cloud/publications/rezaei_petra2021.pdf

Στην πραγματικότητα, οι πηγαίες εικόνες μάλλον δεν έχουν τόσο συνεπή επισημείωση σε ολόκληρο το σύνολο δεδομένων. Οι αλγόριθμοι μη επιβλεπόμενης επισήμανσης πιθανότατα σταματούν στο υψηλότερο επίπεδο, π.χ. «χέρι», αφήνοντας τα εσωτερικά pixel —που τεχνικά περιέχουν πληροφορίες για δάχτυλα— ως μάζα χωρίς ετικέτες. Από αυτήν εξάγονται αυθαίρετα χαρακτηριστικά που σε μεταγενέστερες αποδόσεις μπορεί να εμφανιστούν ως ενοχλητικά στοιχεία.

How it should be (upper right, if not upper-cut), and how it tends to be (lower right), due to limited resources for labeling, or architectural exploitation of such labels if they do exist in the dataset.

Όπως θα έπρεπε να είναι (πάνω δεξιά, αν δεν είναι άπερκατ) και όπως συνήθως είναι (κάτω δεξιά), λόγω περιορισμένων πόρων επισήμανσης ή της αρχιτεκτονικής αξιοποίησης τέτοιων ετικετών, εφόσον υπάρχουν στα δεδομένα.

Έτσι, αν ένα μοντέλο λανθάνουσας διάχυσης φτάσει να αποδώσει βραχίονα, σχεδόν σίγουρα θα επιχειρήσει να αποδώσει χέρι στην άκρη του, επειδή το arm>hand είναι η ελάχιστη απαραίτητη ιεραρχία, αρκετά ψηλά σε όσα γνωρίζει η αρχιτεκτονική για την «ανθρώπινη ανατομία».

Έπειτα, τα «δάχτυλα» μπορεί να είναι η μικρότερη ομάδα, παρότι υπάρχουν ακόμη 14 υποτμήματα δαχτύλων και αντίχειρα που πρέπει να ληφθούν υπόψη στην απεικόνιση χεριών.

Αν ισχύει αυτή η θεωρία, δεν υπάρχει πραγματική θεραπεία, λόγω της έλλειψης κονδυλίων για χειροκίνητη επισημείωση σε όλο τον κλάδο και επαρκώς αποτελεσματικών αλγορίθμων που να αυτοματοποιούν την επισήμανση με χαμηλά ποσοστά σφάλματος. Ίσως το μοντέλο βασίζεται τώρα στην ανατομική συνέπεια των ανθρώπων για να καλύπτει τις αδυναμίες του συνόλου εκπαίδευσης.

Ένας πιθανός λόγος που δεν μπορεί να βασιστεί σε αυτό, όπως πρόσφατα προτάθηκε στο Discord του Stable Diffusion, είναι η σύγχυση για τον σωστό αριθμό δαχτύλων ενός ρεαλιστικού ανθρώπινου χεριού: η βάση LAION που τροφοδοτεί το μοντέλο περιλαμβάνει χαρακτήρες κινουμένων σχεδίων με λιγότερα δάχτυλα (κάτι που από μόνο του αποτελεί συντόμευση για εξοικονόμηση εργασίας).

Two of the potential culprits in 'missing finger' syndrome in Stable Diffusion and similar models. Below, examples of cartoon hands from the LAION-aesthetics dataset powering Stable Diffusion. Source: https://www.youtube.com/watch?v=0QZFQ3gbd6I

Δύο πιθανοί υπαίτιοι για το σύνδρομο «χαμένων δαχτύλων» στο Stable Diffusion και παρόμοια μοντέλα. Κάτω: παραδείγματα χεριών κινουμένων σχεδίων από το LAION-aesthetics που τροφοδοτεί το Stable Diffusion. Πηγή: https://www.youtube.com/watch?v=0QZFQ3gbd6I

Αν αυτό ισχύει, η μόνη προφανής λύση είναι επανεκπαίδευση χωρίς μη ρεαλιστικό ανθρωπόμορφο περιεχόμενο, με κατάλληλη επισήμανση πραγματικών περιπτώσεων απουσίας άκρων, π.χ. ακρωτηριασμένων ανθρώπων, ως εξαιρέσεων. Ακόμη και μόνο ως επιμέλεια δεδομένων, αυτό θα ήταν μεγάλη πρόκληση, ιδίως για κοινοτικές προσπάθειες με λίγους πόρους.

Η δεύτερη προσέγγιση είναι φίλτρα που αποκλείουν τέτοιο περιεχόμενο, π.χ. «χέρι με τρία/πέντε δάχτυλα», κατά την απόδοση, όπως το OpenAI έχει σε κάποιο βαθμό φιλτράρει το GPT-3 και το DALL-E 2, ώστε να ρυθμίζει τα αποτελέσματα χωρίς επανεκπαίδευση των πηγαίων μοντέλων.

For Stable Diffusion, the semantic distinction between digits and even limbs can become horrifically blurred, bringing to mind the 1980s 'body horror' strand of horror movies from the likes of David Cronenberg. Source: https://old.reddit.com/r/StableDiffusion/comments/x6htf6/a_study_of_stable_diffusions_strange_relationship/

Στο Stable Diffusion η σημασιολογική διάκριση μεταξύ δαχτύλων και ακόμη και άκρων μπορεί να θολώσει φρικτά, θυμίζοντας το ρεύμα «body horror» στις ταινίες τρόμου της δεκαετίας του 1980 από δημιουργούς όπως ο David Cronenberg. Πηγή: https://old.reddit.com/r/StableDiffusion/comments/x6htf6/a_study_of_stable_diffusions_strange_relationship/

Ωστόσο, και πάλι, αυτό απαιτεί ετικέτες που μπορεί να μην υπάρχουν για όλες τις σχετικές εικόνες, αφήνοντας την ίδια οργανωτική και δημοσιονομική πρόκληση.

Θα μπορούσε να υποστηριχθεί ότι απομένουν δύο δρόμοι: περισσότερα δεδομένα για το πρόβλημα και ερμηνευτικά συστήματα τρίτων που παρεμβαίνουν όταν τέτοια σωματικά λάθη παρουσιάζονται στον τελικό χρήστη. Τουλάχιστον το δεύτερο θα έδινε στο OpenAI τρόπο επιστροφής χρημάτων για αποδόσεις «body horror», εφόσον η εταιρεία επιθυμούσε να το κάνει.

3: Προσαρμογή

Μία από τις πιο συναρπαστικές προοπτικές για το Stable Diffusion είναι η ανάπτυξη τροποποιημένων συστημάτων από χρήστες ή οργανισμούς. Αυτά θα ενσωματώνουν περιεχόμενο έξω από το προεκπαιδευμένο πεδίο του LAION, ιδανικά χωρίς το ανεξέλεγκτο κόστος επανεκπαίδευσης ολόκληρου του μοντέλου ή τον κίνδυνο εκπαίδευσης με πολλές νέες εικόνες ενός ήδη ώριμου και ικανού μοντέλου.

Κατ’ αναλογία, αν δύο λιγότερο ταλαντούχοι μαθητές μπουν σε προχωρημένη τάξη τριάντα μαθητών, είτε θα προσαρμοστούν και θα συμβαδίσουν είτε θα αποτύχουν ως εξαιρέσεις. Και στις δύο περιπτώσεις ο μέσος όρος της τάξης μάλλον δεν θα αλλάξει. Αν όμως μπουν 15 τέτοιοι μαθητές, η κατανομή των βαθμών όλης της τάξης πιθανότατα θα επηρεαστεί αρνητικά.

Αντίστοιχα, το συνεργατικό και λεπτό δίκτυο σχέσεων που δημιουργείται με διαρκή και δαπανηρή εκπαίδευση μπορεί να υπονομευθεί, ακόμη και να καταστραφεί ουσιαστικά σε ορισμένες περιπτώσεις, από υπερβολικά νέα δεδομένα, μειώνοντας συνολικά την ποιότητα των αποτελεσμάτων.

Το κύριο επιχείρημα υπέρ αυτής της προσέγγισης αφορά την περίπτωση που θέλετε να οικειοποιηθείτε πλήρως την εννοιολογική κατανόηση του μοντέλου για σχέσεις και πράγματα και να την αξιοποιήσετε αποκλειστικά για περιεχόμενο παρόμοιο με το πρόσθετο υλικό σας.

Έτσι, η εκπαίδευση με 500.000 καρέ από τους Simpsons σε υπάρχον checkpoint Stable Diffusion πιθανότατα θα δώσει τελικά καλύτερο προσομοιωτή Simpsons από την αρχική έκδοση, εφόσον επιβιώσουν αρκετές ευρείες σημασιολογικές σχέσεις (π.χ. Homer Simpson eating a hotdog, που μπορεί να απαιτεί δεδομένα για χοτ ντογκ τα οποία δεν υπήρχαν στο πρόσθετο υλικό αλλά υπήρχαν στο αρχικό checkpoint). Επίσης, με την προϋπόθεση ότι δεν θα θέλετε ξαφνικά να μεταβείτε από περιεχόμενο Simpsons στη δημιουργία fabulous landscape by Greg Rutkowski —επειδή η προσοχή του επιπλέον εκπαιδευμένου μοντέλου έχει εκτραπεί μαζικά και δεν θα κάνει πια τέτοια πράγματα τόσο καλά όσο πριν.

Ένα αξιοσημείωτο παράδειγμα είναι το waifu-diffusion, το οποίο πραγματοποίησε επιτυχώς πρόσθετη εκπαίδευση με 56.000 εικόνες anime σε ολοκληρωμένο και εκπαιδευμένο checkpoint Stable Diffusion. Για έναν ερασιτέχνη, όμως, είναι δύσκολο: απαιτούνται τουλάχιστον 30GB VRAM, πολύ περισσότερα από όσα πιθανώς θα προσφέρει η καταναλωτική κατηγορία της επερχόμενης σειράς NVIDIA 40XX.

The training of custom content into Stable Diffusion: the model took two weeks of post-training in order to output this level of illustration. The six images on the left show the progress of the model in making subject-coherent output based on the new training data. Source: https://gigazine.net/gsc_news/en/20220121-how-waifu-labs-create/

Εκπαίδευση με προσαρμοσμένο περιεχόμενο στο Stable Diffusion μέσω waifu-diffusion: το μοντέλο χρειάστηκε δύο εβδομάδες πρόσθετης εκπαίδευσης για αυτό το επίπεδο εικονογράφησης. Οι έξι εικόνες αριστερά δείχνουν την πρόοδο κατά την εκπαίδευση στην παραγωγή αποτελεσμάτων με συνεκτικό θέμα βάσει των νέων δεδομένων. Πηγή: https://gigazine.net/gsc_news/en/20220121-how-waifu-labs-create/

Πολύς κόπος μπορεί να αναλωθεί σε τέτοιες διακλαδώσεις των checkpoint του Stable Diffusion, μόνο για να προσκρούσει στο τεχνικό χρέος. Οι προγραμματιστές στο επίσημο Discord έχουν ήδη αναφέρει ότι τα μεταγενέστερα checkpoint δεν θα είναι κατ’ ανάγκη συμβατά με τα παλαιότερα, ακόμη και ως προς τη λογική προτροπών που δούλευε πριν. Πρωταρχικός στόχος είναι το καλύτερο δυνατό μοντέλο, όχι η υποστήριξη παλιών εφαρμογών και διαδικασιών.

Επομένως, εταιρεία ή άτομο που διακλαδώνει ένα checkpoint σε εμπορικό προϊόν ουσιαστικά δεν έχει επιστροφή: το μοντέλο είναι πια «hard fork» και δεν θα μπορεί να αξιοποιεί βελτιώσεις από επόμενες εκδόσεις της stability.ai. Πρόκειται για σημαντική δέσμευση.

Η τρέχουσα και μεγαλύτερη ελπίδα για προσαρμογή του Stable Diffusion είναι το Textual Inversion, όπου ο χρήστης εκπαιδεύει με λίγες εικόνες ευθυγραμμισμένες με το CLIP.

A collaboration between Tel Aviv University and NVIDIA, textual inversion allows for the training-in of discrete and novel entities, without destroying the capabilities of the source model. Source: https://textual-inversion.github.io/

Το Textual Inversion, συνεργασία του Πανεπιστημίου του Τελ Αβίβ με τη NVIDIA, επιτρέπει εκπαίδευση νέων, διακριτών οντοτήτων χωρίς να καταστρέφονται οι δυνατότητες του πηγαίου μοντέλου. Πηγή: https://textual-inversion.github.io/

Ο κύριος εμφανής περιορισμός του Textual Inversion είναι η σύσταση για πολύ λίγες εικόνες, ακόμη και μόνο πέντε. Έτσι δημιουργείται μια περιορισμένη οντότητα που ίσως είναι πιο χρήσιμη για μεταφορά ύφους παρά για εισαγωγή φωτορεαλιστικών αντικειμένων.

Ωστόσο, στα διάφορα Discord του Stable Diffusion διεξάγονται πειράματα με πολύ περισσότερες εικόνες εκπαίδευσης, και μένει να φανεί πόσο παραγωγική θα αποδειχθεί η μέθοδος. Και πάλι, απαιτούνται πολλή VRAM, χρόνος και υπομονή.

Λόγω αυτών των περιορισμών, ίσως περιμένουμε λίγο για πιο εξελιγμένα πειράματα Textual Inversion από τους φίλους του Stable Diffusion, και για να δούμε αν η προσέγγιση μπορεί να «σας βάλει στην εικόνα» καλύτερα από αποκοπή και επικόλληση στο Photoshop, διατηρώντας την εκπληκτική λειτουργικότητα των επίσημων checkpoint.

 

Πρώτη δημοσίευση: 6 Σεπτεμβρίου 2022.

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai