Τα μοντέλα διασποράς από θόρυβο είναι γενετικά πλαίσια AI που συνθέτουν εικόνες από θόρυβο μέσω μιας επαναληπτικής διαδικασίας αποθόρυβωσης. Είναι γνωστά για τις εξαιρετικές ικανότητες σύνθεσης εικόνων και την ποικιλία τους, που οφείλεται σε μεγάλο βαθμό στις μεθόδους οδηγίας που βασίζονται σε κείμενο ή τάξη, συμπεριλαμβανομένης της οδηγίας ταξινόμησης και της οδηγίας χωρίς ταξινόμηση. Αυτά τα μοντέλα έχουν αποδείξει ότι είναι ιδιαίτερα επιτυχημένα στη δημιουργία ποικίλων, υψηλής ποιότητας εικόνων. Πρόσφατες μελέτες έχουν δείξει ότι τεχνικές οδηγίας όπως οι λεζάντες και οι ετικέτες τάξης παίζουν σημαντικό ρόλο στην ενίσχυση της ποιότητας των εικόνων που παράγουν αυτά τα μοντέλα.

Ωστόσο, τα μοντέλα διασποράς και οι μέθοδοι οδηγίας αντιμετωπίζουν περιορισμούς υπό ορισμένες εξωτερικές συνθήκες. Η μέθοδος Οδηγία Χωρίς Ταξινόμηση (CFG), η οποία χρησιμοποιεί απόρριψη ετικετών, προσθέτει πολυπλοκότητα στη διαδικασία εκπαίδευσης, ενώ η μέθοδος Οδηγία Ταξινόμησης (CG) απαιτεί πρόσθετη εκπαίδευση ταξινόμησης. Και οι δύο μέθοδοι είναι κάπως περιορισμένες από την εξάρτησή τους από σκληρά κερδισμένες εξωτερικές συνθήκες, που περιορίζουν το δυναμικό τους και τις περιορίζουν σε συνθήκες που απαιτούν πρόσθετες συνθήκες.

Για να αντιμετωπιστούν αυτοί οι περιορισμοί, οι développers έχουν διαμορφώσει μια πιο γενική προσέγγιση για την οδηγία διασποράς, γνωστή ως Αυτοπροσοχή Οδηγία (SAG). Αυτή η μέθοδος αξιοποιεί πληροφορίες από ενδιάμεσες δειγματολήψεις των μοντέλων διασποράς για τη σύνθεση εικόνων. Θα εξετάσουμε την SAG σε αυτό το άρθρο, συζητώντας την λειτουργία της, τη μεθοδολογία και τα αποτελέσματά της σε σύγκριση με τα τρέχοντα state-of-the-art πλαίσια και αγωγούς.

Αυτοπροσοχή Οδηγία: Βελτίωση της Ποιότητας των Δειγμάτων των Μοντέλων Διασποράς

Τα μοντέλα διασποράς από θόρυβο (DDMs) έχουν κερδίσει δημοτικότητα για την ικανότητά τους να δημιουργούν εικόνες από θόρυβο μέσω μιας επαναληπτικής διαδικασίας αποθόρυβωσης. Η σύνθεση εικόνων αυτών των μοντέλων οφείλεται σε μεγάλο βαθμό στις μεθόδους οδηγίας που χρησιμοποιούνται.尽管 έχουν ισχυρές ικανότητες, τα μοντέλα διασποράς και οι μέθοδοι οδηγίας αντιμετωπίζουν προκλήσεις όπως η αύξηση της πολυπλοκότητας και των υπολογιστικών κοστών.

Για να υπερβούν αυτούς τους περιορισμούς, οι développers έχουν εισαγάγει τη μέθοδο Αυτοπροσοχή Οδηγία, μια πιο γενική διατύπωση της οδηγίας διασποράς που δεν βασίζεται σε εξωτερικές πληροφορίες από την οδηγία διασποράς, διευκολύνοντας μια προϋπόθεση-ελεύθερη και ευέλικτη προσέγγιση για την οδηγία των μοντέλων διασποράς. Η προσέγγιση που επιλέχθηκε από την Αυτοπροσοχή Οδηγία στο τέλος βοηθά στην ενίσχυση της εφαρμοσιμότητας των παραδοσιακών μεθόδων οδηγίας διασποράς σε περιπτώσεις με ή χωρίς εξωτερικές απαιτήσεις.

Η Αυτοπροσοχή Οδηγία βασίζεται σε μια απλή αρχή γενικευμένης διατύπωσης και την υπόθεση ότι εσωτερικές πληροφορίες που περιέχονται σε ενδιάμεσες δειγματολήψεις μπορούν να χρησιμεύσουν ως οδηγία επίσης. Με βάση αυτήν την αρχή, η μέθοδος SAG εισάγει πρώτα την Οδηγία Μόλυνσης, μια απλή και ευθύγραμμη λύση για τη βελτίωση της ποιότητας των δειγμάτων. Η οδηγία μόλυνσης στοχεύει να εκμεταλλευτεί τις ευνοϊκές ιδιότητες του Γκαουσιανού μόλυνσης για την αφαίρεση λεπτομερειών κλίμακας φυσικά, οδηγώντας τις ενδιάμεσες δειγματολήψεις χρησιμοποιώντας τις αποκλεισμένες πληροφορίες ως αποτέλεσμα του Γκαουσιανού μόλυνσης.

Η μέθοδος SAG χρησιμοποιεί χάρτες αυτοπροσοχής των μοντέλων διασποράς για να οδηγήσει τις προβλέψεις με τις απαραίτητες υπολοιπικές πληροφορίες και να βελτιώσει την ποιότητα των εικόνων. Η μέθοδος αυτή δεν απαιτεί πρόσθετη εκπαίδευση ή εξωτερικές πληροφορίες, καθιστώντας την μια προϋπόθεση-ελεύθερη και ευέλικτη προσέγγιση για την οδηγία των μοντέλων διασποράς.

Αυτοπροσοχή Οδηγία: Πειράματα και Αποτελέσματα

Για να αξιολογήσει την απόδοσή της, η Αυτοπροσοχή Οδηγία χρησιμοποιείται σε 8 Nvidia GeForce RTX 3090 GPUs και βασίζεται σε προ-εκπαιδευμένα μοντέλα IDDPM, ADM και Stable Diffusion.

Απρόσκλητη Γενετική με Αυτοπροσοχή Οδηγία

Για να μετρήσει την αποτελεσματικότητα της SAG σε απρόσκλητα μοντέλα και να δείξει την ιδιότητα προϋπόθεση-ελεύθερης που δεν κατέχει η Οδηγία Ταξινόμησης και η Οδηγία Χωρίς Ταξινόμηση, η SAG τρέχει σε 50.000 δείγματα.

Συνθήκη Γενετική με SAG

Η ενσωμάτωση της SAG σε υπάρχοντα πλαίσια παράγει εξαιρετικά αποτελέσματα στην απρόσκλητη γενετική και η SAG είναι ικανή να είναι αδιάκριτη που της επιτρέπει να εφαρμοστεί για συνθήκη γενετική επίσης.

Σταθερή Διασπορά με Αυτοπροσοχή Οδηγία

Ακόμη και αν το αρχικό πλαίσιο Stable Diffusion παράγει υψηλής ποιότητας εικόνες, η ενσωμάτωση του με την Αυτοπροσοχή Οδηγία μπορεί να ενισχύσει τα αποτελέσματα δραματικά.

Τρέχοντα Περιορισμοί

Αν και η εφαρμογή της Αυτοπροσοχή Οδηγίας μπορεί να βελτιώσει σημαντικά την ποιότητα των παραγόμενων εικόνων, έχει κάποια περιορισμοί.

Τελικές Σκέψεις

Σε αυτό το άρθρο, συζητήσαμε την Αυτοπροσοχή Οδηγία, μια νέα και γενική διατύπωση της μεθόδου οδηγίας που χρησιμοποιεί εσωτερικές πληροφορίες που υπάρχουν μέσα στα μοντέλα διασποράς για τη σύνθεση υψηλής ποιότητας εικόνων. Η Αυτοπροσοχή Οδηγία βασίζεται σε μια απλή αρχή γενικευμένης διατύπωσης και την υπόθεση ότι εσωτερικές πληροφορίες που περιέχονται σε ενδιάμεσες δειγματολήψεις μπορούν να χρησιμεύσουν ως οδηγία επίσης. Η Αυτοπροσοχή Οδηγία είναι μια προϋπόθεση-ελεύθερη και εκπαιδευμένη-ελεύθερη προσέγγιση που μπορεί να εφαρμοστεί σε διάφορα μοντέλα διασποράς και χρησιμοποιεί αυτο-συνθήκη για να μειώσει τα артеφάκτ και να ενισχύσει την συνολική ποιότητα.