Μοντέλα και πλατφόρμες AI
InstantID: Μηδενική Ταυτοποίηση-Διατήρηση Γεννήσεων Εικόνων σε Δευτερόλεπτα
Βασικά σημείαΤο InstantID χρησιμοποιεί μία μόνο εικόνα προσώπου για τη δημιουργία εξατομικευμένων…
Δείτε περισσότερα
- Το InstantID χρησιμοποιεί μία μόνο εικόνα προσώπου για τη δημιουργία εξατομικευμένων πορτρέτων με υψηλή πιστότητα ταυτότητας.
- Το πλαίσιο χρησιμοποιεί έναν προσαρμογέα plug-and-play που λειτουργεί με υπάρχοντα μοντέλα διάχυσης χωρίς την ανάγκη τελειοποίησης.
- Συνδυάζει έναν κωδικοποιητή προσώπου για σημασιολογικές λεπτομέρειες με το ControlNet για χωρική καθοδήγηση.
Η τεχνολογία γεννήσεων εικόνων με τη βοήθεια του AI έχει καταγράψει αξιοσημείωτη ανάπτυξη τα τελευταία χρόνια, από τότε που τα μεγάλα μοντέλα διάχυσης κειμένου-εικόνας όπως τα DALL-E, GLIDE, Stable Diffusion, Imagen και άλλα εμφανίστηκαν στη σκηνή.Παρόλο που τα μοντέλα γεννήσεων εικόνων AI έχουν μοναδική αρχιτεκτονική και μεθόδους εκπαίδευσης, όλα μοιράζονται ένα κοινό σημείο εστίασης: εξατομικευμένη και προσωποποιημένη γεννήσεις εικόνων που στοχεύουν στη δημιουργία εικόνων με συνεπή χαρακτήρα ID, θέμα και στυλ με βάση τις αναφορικές εικόνες. Λόγω των αξιοσημείωτων γεννητικών ικανοτήτων τους, τα σύγχρονα πλαίσια γεννήσεων εικόνων AI έχουν βρει εφαρμογές σε πεδία που περιλαμβάνουν την animation εικόνων, εικονική πραγματικότητα, Ε-Commerce, πορτρέτα AI και πολλά άλλα. Ωστόσο, παρά τις αξιοσημείωτες γεννητικές ικανότητές τους, αυτά τα πλαίσια μοιράζονται ένα κοινό εμπόδιο, η πλειονότητα τους δεν είναι σε θέση να γεννήσει εξατομικευμένες εικόνες ενώ διατηρούν τις λεπτές λεπτομέρειες των ανθρώπινων αντικειμένων.
Η γεννήσεις εξατομικευμένων εικόνων ενώ διατηρούν τις λεπτές λεπτομέρειες είναι κρίσιμης σημασίας, ιδιαίτερα στις εργασίες ταυτοποίησης ανθρώπινου προσώπου που απαιτούν υψηλό πρότυπο πιστότητας και λεπτομέρειας, καθώς και λεπτές σημασιολογικές όταν συγκρίνονται με γενικές εργασίες γεννήσεων εικόνων αντικειμένων που επικεντρώνονται κυρίως σε χονδρές υφές και χρώματα. Επιπλέον, τα προσωποποιημένα πλαίσια συνθέσεων εικόνων τα τελευταία χρόνια, όπως τα LoRA, DreamBooth, Textual Inversion και άλλα, έχουν προοδεύσει σημαντικά. Ωστόσο, τα προσωποποιημένα μοντέλα γεννήσεων εικόνων AI δεν είναι ακόμη ιδανικά για ανάπτυξη σε πραγματικές συνθήκες, καθώς έχουν υψηλή απαίτηση αποθήκευσης, απαιτούν πολλαπλά αναφορικά εικόνες και συχνά έχουν μια μακρά διαδικασία εξειδικεύσεων. Από την άλλη πλευρά,Παρόλο που οι υπάρχουσες μεθόδους που βασίζονται σε ID-embedding απαιτούν μόνο μια μεμονωμένη αναφορά, είτε λείπουν συμβατότητας με δημόσια διαθέσιμα προ-εκπαιδευμένα μοντέλα, είτε απαιτούν μια υπερβολική διαδικασία εξειδικεύσεων σε πολλά παραμέτρους, είτε αποτυγχάνουν να διατηρήσουν υψηλή πιστότητα προσώπου.
Για να αντιμετωπίσουν αυτές τις προκλήσεις και να ενισχύσουν τις ικανότητες γεννήσεων εικόνων, σε αυτό το άρθρο, θα μιλήσουμε για το InstantID, μια λύση βασισμένη σε μοντέλο διάχυσης για γεννήσεις εικόνων. Το InstantID είναι ένα μονόχρονο και εύχρηστο μοντέλο που χειρίζεται τη γεννήσεις εικόνων και την προσωποποίηση με ευκολία σε διάφορα στυλ με μόνο μια αναφορική εικόνα και διατηρεί υψηλή πιστότητα. Ο πρωταρχικός στόχος αυτού του άρθρου είναι να παρέχει στους αναγνώστες μας μια λεπτομερή κατανόηση των τεχνικών υποστρωμάτων και των συστατικών του πλαισίου InstantID, καθώς θα εξετάσουμε λεπτομερώς την αρχιτεκτονική του μοντέλου, τη διαδικασία εκπαίδευσης και τις εφαρμογές.
InstantID: Μηδενική Ταυτοποίηση-Διατήρηση Γεννήσεων Εικόνων
Η εμφάνιση των μοντέλων διάχυσης κειμένου-εικόνας έχει συνεισφέρει σημαντικά στην ανάπτυξη της τεχνολογίας γεννήσεων εικόνων. Ο πρωταρχικός στόχος αυτών των μοντέλων είναι η εξατομικευμένη και προσωποποιημένη γεννήσεις εικόνων, και η δημιουργία εικόνων με συνεπή θέμα, στυλ και χαρακτήρα ID με βάση μια ή περισσότερες αναφορικές εικόνες. Η ικανότητα αυτών των πλαισίων να δημιουργούν συνεπείς εικόνες έχει δημιουργήσει πιθανές εφαρμογές σε διάφορα πεδία, συμπεριλαμβανομένων της animation εικόνων, της AI πορτρέτων, του Ε-Commerce, της εικονικής και επαυξημένης πραγματικότητας, και πολλά άλλα.
Ωστόσο, παρά τις αξιοσημείωτες ικανότητές τους, αυτά τα πλαίσια αντιμετωπίζουν μια θεμελιώδη πρόκληση: συχνά δυσκολεύονται να γεννήσουν εξατομικευμένες εικόνες που διατηρούν τις λεπτές λεπτομέρειες των ανθρώπινων αντικειμένων ακριβώς. Αξίζει να σημειωθεί ότι η γεννήσεις εξατομικευμένων εικόνων με εσωτερικές λεπτομέρειες είναι μια απαιτητική εργασία, καθώς η ταυτοποίηση ανθρώπινου προσώπου απαιτεί υψηλότερο επίπεδο πιστότητας και λεπτομέρειας, καθώς και πιο προηγμένες σημασιολογικές όταν συγκρίνονται με γενικές εργασίες γεννήσεων εικόνων αντικειμένων που επικεντρώνονται κυρίως σε χονδρές υφές και χρώματα. Τα υπάρχοντα μοντέλα κειμένου-εικόνας εξαρτώνται από λεπτομερείς περιγραφικές περιγραφές και δυσκολεύονται να επιτύχουν ισχυρή σημασιολογική συσχέτιση για εξατομικευμένη γεννήσεις εικόνων. Επιπλέον, κάποια μεγάλα προ-εκπαιδευμένα μοντέλα κειμένου-εικόνας προσθέτουν ελέγχους χωρικής κατάστασης για να βελτιώσουν τον έλεγχο, διευκολύνοντας την λεπτομερή δομική έλεγχο με στοιχεία όπως σώματα, χάρτες βάθους, χειρόγραφες σκίτσα, χάρτες σημασιολογικής κατάτμησης και άλλα. Ωστόσο, παρά αυτές τις προσθήκες και βελτιώσεις, αυτά τα πλαίσια είναι σε θέση να επιτύχουν μόνο μερική πιστότητα της γεννηθείσας εικόνας στην αναφορική εικόνα.
Για να υπερβούν αυτές τις προκλήσεις, το πλαίσιο InstantID επικεντρώνεται στη μηδενική ταυτοποίηση-διατήρηση γεννήσεων εικόνων, και προσπαθεί να γεφυρώσει το χάσμα μεταξύ αποδοτικότητας και υψηλής πιστότητας με την εισαγωγή ενός απλού και εύχρηστου μοντέλου που επιτρέπει στο πλαίσιο να χειρίζεται την προσωποποίηση εικόνων χρησιμοποιώντας μόνο μια αναφορική εικόνα ενώ διατηρεί υψηλή πιστότητα. Επιπλέον, για να διατηρήσει την ταυτοποίηση προσώπου από την αναφορική εικόνα, το πλαίσιο InstantID εφαρμόζει έναν καινούριο κωδικοποιητή προσώπου που διατηρεί τις λεπτές λεπτομέρειες της εικόνας με την προσθήκη αδύναμων χωρικών και ισχυρών σημασιολογικών συνθηκών που οδηγούν τη διαδικασία γεννήσεων εικόνων με την ενσωμάτωση κειμενικών προτύπων, εικόνων ορόσημων και εικόνων προσώπου.
Υπάρχουν τρεις διακεκριμένες ιδιότητες που διακρίνουν το πλαίσιο InstantID από τα υπάρχοντα μοντέλα κειμένου-εικόνας.
- Συμβατότητα και Εύκολη Εγκατάσταση: Αντί να εκπαιδεύει τα πλήρη παραμέτρους του πλαισίου UNet, το πλαίσιο InstantID επικεντρώνεται στην εκπαίδευση ενός ελαφριού προσαρμοστή. Ως αποτέλεσμα, το πλαίσιο InstantID είναι συμβατό και εύχρηστο με υπάρχοντα προ-εκπαιδευμένα μοντέλα.
- Χωρίς Ρύθμιση: Η μεθοδολογία του πλαισίου InstantID εξαφανίζει την απαίτηση για ρύθμιση, καθώς χρειάζεται μόνο μια μεμονωμένη προώθηση για inference, καθιστώντας το μοντέλο υψηλά πρακτικό και οικονομικό για ρύθμιση.
- Υψηλή Απόδοση: Το πλαίσιο InstantID επιδεικνύει υψηλή ευελιξία και πιστότητα, καθώς είναι σε θέση να παραδώσει state-of-the-art απόδοση χρησιμοποιώντας μόνο μια αναφορική εικόνα, συγκρίσιμη με μεθόδους που βασίζονται στην εκπαίδευση που εξαρτώνται από πολλαπλές αναφορικές εικόνες.
Συνολικά, οι συνεισφορές του πλαισίου InstantID μπορούν να κατηγοριοποιηθούν στα ακόλουθα σημεία.
- Το πλαίσιο InstantID είναι μια καινοτόμος, ταυτοποίηση-διατήρηση μέθοδος για προ-εκπαιδευμένα μοντέλα διάχυσης κειμένου-εικόνας με στόχο να γεφυρώσει το χάσμα μεταξύ αποδοτικότητας και πιστότητας.
- Το πλαίσιο InstantID είναι συμβατό και εύχρηστο με εξατομικευμένα μοντέλα που έχουν ρυθμιστεί με την ίδια διάχυση μοντέλου στην αρχιτεκτονική του, επιτρέποντας την ταυτοποίηση-διατήρηση σε προ-εκπαιδευμένα μοντέλα χωρίς επιπλέον κόστος.
InstantID: Μεθοδολογία και Αρχιτεκτονική
Όπως αναφέρθηκε νωρίτερα, το πλαίσιο InstantID είναι ένα αποδοτικό και ελαφρύ προσαρμοστή που παρέχει προ-εκπαιδευμένα μοντέλα κειμένου-εικόνας με ικανότητες ταυτοποίησης-διατήρησης χωρίς κόπο.
Μιλάμε για την αρχιτεκτονική, το πλαίσιο InstantID είναι χτισμένο πάνω στο μοντέλο Stable Diffusion, που είναι γνωστό για την ικανότητά του να εκτελεί τη διαδικασία διάχυσης με υψηλή αποδοτικότητα σε ένα χαμηλό-διαστάσεων.latent χώρο αντί για pixel χώρο με έναν auto-encoder. Για μια εισαγωγική εικόνα, ο κωδικοποιητής χαρτογραφεί την εικόνα σε μια λανθάνουσα αναπαράσταση με downsampling παράγοντα και λανθάνουσες διαστάσεις. Επιπλέον, για να απομακρύνει έναν κανονικά κατανεμημένο θόρυβο με θορυβώδη λανθάνουσα, συνθήκη και τρέχον βήμα, η διαδικασία διάχυσης υιοθετεί μια συνιστώσα UNet αποθορυβοποίησης. Η συνθήκη είναι μια ενσωμάτωση κειμενικών προτύπων που παράγονται χρησιμοποιώντας έναν προ-εκπαιδευμένο CLIP κειμένου κωδικοποιητή.
Επιπλέον, το πλαίσιο InstantID χρησιμοποιεί επίσης μια συνιστώσα ControlNet που είναι ικανός να προσθέσει χωρικό έλεγχο σε ένα προ-εκπαιδευμένο μοντέλο διάχυσης ως συνθήκη, επεκτείνοντας πέρα από τις παραδοσιακές ικανότητες των κειμενικών προτύπων. Η ControlNet συνιστώσα επίσης ενσωματώνει την αρχιτεκτονική UNet από το πλαίσιο Stable Diffusion χρησιμοποιώντας ένα εκπαιδευμένο αντίγραφο της UNet συνιστώσας. Το αντίγραφο της UNet συνιστώσας διαθέτει μηδέν convolution στρώματα μέσα στα μεσαία μπλοκ και τα encoder μπλοκ. Παρά τις ομοιότητές τους, η ControlNet συνιστώσα διακρίνεται από το μοντέλο Stable Diffusion, καθώς διαφέρουν στο τελευταίο υπολειμματικό στοιχείο. Η ControlNet συνιστώσα κωδικοποιεί χωρικές συνθήκες πληροφορίες όπως σώματα, χάρτες βάθους, σκετσές και άλλα, προσθέτοντας τα υπολειμματικά στοιχεία στο UNet Block, και στη συνέχεια ενσωματώνει αυτά τα υπολειμματικά στοιχεία στην αρχική δικτύωση.
Το πλαίσιο InstantID επίσης εμπνέεται από το IP-Adapter ή Image Prompt Adapter που εισάγει μια καινούρια προσέγγιση για να επιτύχει κειμενικές προτύπων που τρέχουν παράλληλα με κειμενικά προτύπων χωρίς να απαιτεί να τροποποιήσει το αρχικό κείμενο-εικόνας μοντέλο. Η IP-Adapter συνιστώσα επίσης χρησιμοποιεί μια μοναδική αποσυνδεμένη cross-attention στρατηγική που χρησιμοποιεί πρόσθετες cross-attention στρώματα για να ενσωματώσει τις ιδιότητες εικόνας, αφήνοντας τα άλλα παραμέτρους αμετάβλητα.
Μεθοδολογία
Για να σας δώσω μια σύντομη επισκόπηση, το πλαίσιο InstantID στοχεύει να γεννήσει εξατομικευμένες εικόνες με διαφορετικά στυλ ή στάσεις χρησιμοποιώντας μόνο μια αναφορική εικόνα ID με υψηλή πιστότητα. Η ακόλουθη εικόνα παρέχει μια σύντομη επισκόπηση του πλαισίου InstantID.

Όπως μπορείτε να δείτε, το πλαίσιο InstantID έχει τρεις βασικές συνιστώσες:
- Μια συνιστώσα ID-embedding που καπνίζει robust σημασιολογικές πληροφορίες των χαρακτηριστικών του προσώπου στην εικόνα.
- Μια ελαφριά προσαρμοσμένη συνιστώσα με μια αποσυνδεμένη cross-attention συνιστώσα για να διευκολύνει τη χρήση μιας εικόνας ως οπτικού προτύπου.
- Μια συνιστώσα IdentityNet που κωδικοποιεί τις λεπτομέρειες των χαρακτηριστικών από την αναφορική εικόνα χρησιμοποιώντας πρόσθετο χωρικό έλεγχο.
ID-Embedding
Σε αντίθεση με τις υπάρχουσες μεθόδους όπως το FaceStudio, το PhotoMaker, το IP-Adapter και άλλα που βασίζονται σε έναν προ-εκπαιδευμένο CLIP εικόνας κωδικοποιητή για να εξαγάγουν κειμενικά προτύπων, το πλαίσιο InstantID επικεντρώνεται στην ενίσχυση της πιστότητας και της σημασιολογικής λεπτότητας στην εργασία ταυτοποίησης-διατήρησης. Αξίζει να σημειωθεί ότι οι εσωτερικές περιορισμοί του CLIP συνιστώσας έγκεινται κυρίως στη διαδικασία εκπαίδευσης σε αδύναμα συγχρονισμένα δεδομένα, που σημαίνει ότι οι κωδικοποιημένες ιδιότητες του CLIP κωδικοποιητή κυρίως καπνίζουν ευρείες και αμφίβολες σημασιολογικές πληροφορίες όπως χρώματα, στυλ και σύνθεση. Αν και αυτές οι ιδιότητες μπορούν να ενισχύσουν τα κειμενικά προτύπων, δεν είναι κατάλληλες για ακριβείς εργασίες ταυτοποίησης-διατήρησης που απαιτούν ισχυρές σημασιολογικές και υψηλή πιστότητα. Επιπλέον, πρόσφατες έρευνες σε μοντέλα αναπαράστασης προσώπου, ιδιαίτερα γύρω από την αναγνώριση προσώπου, έχουν δείξει την αποτελεσματικότητα της αναπαράστασης προσώπου σε σύνθετες εργασίες που περιλαμβάνουν την ανακατασκευή και την αναγνώριση προσώπου. Βασισμένα σε αυτά, το πλαίσιο InstantID στοχεύει να εκμεταλλευτεί ένα προ-εκπαιδευμένο μοντέλο προσώπου για να ανιχνεύσει και να εξαγάγει ταυτοποίηση-διατήρηση από την αναφορική εικόνα, οδηγώντας το μοντέλο για γεννήσεις εικόνων.
Εικόνα-Προσαρμογέας
Η ικανότητα των προ-εκπαιδευμένων μοντέλων κειμένου-εικόνας στις εργασίες οπτικών προτύπων ενισχύει τα κειμενικά προτύπων σημαντικά, ιδιαίτερα για σενάρια που δεν μπορούν να περιγραφούν επαρκώς από τα κειμενικά προτύπων. Το πλαίσιο InstantID υιοθετεί μια στρατηγική που μοιάζει με αυτήν του μοντέλου IP-Adapter για οπτικά προτύπων, που εισάγει έναν ελαφρύ προσαρμοσμένο μονόχρονο για να υποστηρίξει εικόνες ως εισαγωγικά προτύπων. Ωστόσο, σε αντίθεση με τις χονδρές συγχρονισμένες CLIP ενσωματώσεις, το πλαίσιο InstantID διαφοροποιείται χρησιμοποιώντας ταυτοποίηση-διατήρηση ως οπτικά προτύπων για να επιτύχει μια σημασιολογικά πλούσια και πιο εκλεπτυσμένη ενσωμάτωση προτύπων.
IdentityNet
Αν και οι υπάρχουσες μεθόδους είναι ικανές να ενσωματώσουν τα οπτικά προτύπων με κειμενικά προτύπων, το πλαίσιο InstantID υποστηρίζει ότι αυτές οι μεθόδους μόνο ενισχύουν τις χονδρές ιδιότητες με ένα επίπεδο ενσωμάτωσης που είναι ανεπαρκές για εργασίες ταυτοποίησης-διατήρησης. Επιπλέον, η προσθήκη των οπτικών και κειμενικών προτύπων σε cross-attention στρώματα απευθείας έχει την τάση να αποδυναμώνει τον έλεγχο των κειμενικών προτύπων, και μια προσπάθεια να ενισχύσει την δύναμη των οπτικών προτύπων μπορεί να οδηγήσει σε βλάβη στις ικανότητες των κειμενικών προτύπων στις εργασίες επεξεργασίας. Για να αντιμετωπίσουν αυτές τις προκλήσεις, το πλαίσιο InstantID επιλέγει το ControlNet, μια εναλλακτική μέθοδο ενσωμάτωσης χαρακτηριστικών που χρησιμοποιεί χωρικές πληροφορίες ως εισαγωγή για το μονόχρονο, επιτρέποντας να διατηρήσει τη συνέπεια με τις ρυθμίσεις UNet στα μοντέλα διάχυσης.
Το πλαίσιο InstantID κάνει δύο αλλαγές στην παραδοσιακή αρχιτεκτονική ControlNet: για τις συνθήκες εισαγωγής, το πλαίσιο InstantID επιλέγει 5 κλειδιά σημεία προσώπου αντί για λεπτομερή OpenPose κλειδιά σημεία προσώπου. Δεύτερον, το πλαίσιο InstantID χρησιμοποιεί ταυτοποίηση-διατήρηση αντί για κειμενικά προτύπων ως συνθήκες για τα cross-attention στρώματα στην αρχιτεκτονική ControlNet.
Εκπαίδευση και Σύνδεση
Κατά τη διάρκεια της φάσης εκπαίδευσης, το πλαίσιο InstantID βελτιστοποιεί τους παραμέτρους του IdentityNet και του Image Adapter ενώ παγώνει τους παραμέτρους του προ-εκπαιδευμένου μοντέλου διάχυσης. Ολόκληρη η διαδικασία InstantID εκπαιδεύεται σε ζευγάρια εικόνας-κειμένου που περιλαμβάνουν ανθρώπινους υποκειμένους και χρησιμοποιεί έναν στόχο εκπαίδευσης παρόμοιο με αυτόν που χρησιμοποιείται στο πλαίσιο σταθερής διάχυσης με ειδικές συνθήκες εικόνας. Το highlight της μεθόδου εκπαίδευσης InstantID είναι η διάκριση μεταξύ των οπτικών και κειμενικών cross-attention στρωμάτων μέσα στον προσαρμοσμένο οπτικό προσαρμογέα, μια επιλογή που επιτρέπει στο πλαίσιο InstantID να προσαρμόζει τα βάρη των οπτικών συνθηκών ευέλικτα και ανεξάρτητα, διασφαλίζοντας μια πιο στοχευμένη και ελεγχόμενη διαδικασία σύνδεσης και εκπαίδευσης.
InstantID: Πειράματα και Αποτελέσματα
Το πλαίσιο InstantID εφαρμόζει το Stable Diffusion και το εκπαιδεύει στο LAION-Face, ένα μεγάλο ανοιχτό dataset που αποτελείται από πάνω από 50 εκατομμύρια ζευγάρια εικόνας-κειμένου. Επιπλέον, το πλαίσιο InstantID συλλέγει πάνω από 10 εκατομμύρια ανθρώπινες εικόνες με αυτοματοποιημένες εικόνες που παράγονται αυτόματα από το μοντέλο BLIP2 για να ενισχύσει την ποιότητα των γεννημένων εικόνων. Το πλαίσιο InstantID επικεντρώνεται κυρίως σε εικόνες με ένα άτομο, και χρησιμοποιεί ένα προ-εκπαιδευμένο μοντέλο προσώπου για να ανιχνεύσει και να εξαγάγει ταυτοποίηση-διατήρηση από ανθρώπινες εικόνες, και αντί να εκπαιδεύει τα περικομμένα datasets προσώπου, εκπαιδεύει τις αρχικές ανθρώπινες εικόνες. Επιπλέον, κατά τη διάρκεια της εκπαίδευσης, το πλαίσιο InstantID παγώνει το προ-εκπαιδευμένο μοντέλο κειμένου-εικόνας και ενημερώνει μόνο τους παραμέτρους του IdentityNet και του Image Adapter.
Γεννήσεις Εικόνων Μόνο
Το μοντέλο InstantID χρησιμοποιεί ένα κενό πρότυπο για να οδηγήσει τη διαδικασία γεννήσεων εικόνων χρησιμοποιώντας μόνο την αναφορική εικόνα, και τα αποτελέσματα χωρίς τα προτύπων παρουσιάζονται στην ακόλουθη εικόνα.

Η γεννήσεις εικόνων με κενό πρότυπο, όπως φαίνεται στην πάνω εικόνα, δείχνει την ικανότητα του πλαισίου InstantID να διατηρήσει πλούσιες σημασιολογικές χαρακτηριστικά προσώπου όπως ταυτοποίηση, ηλικία και έκφραση ρομπικά. Ωστόσο, αξίζει να σημειωθεί ότι η χρήση κενών προτύπων μπορεί να μην είναι σε θέση να αναπαράγει τα αποτελέσματα σε άλλες σημασιολογικές όπως το φύλο ακριβώς. Επιπλέον, στην πάνω εικόνα, οι στήλες 2 έως 4 χρησιμοποιούν μια εικόνα και ένα πρότυπο, και όπως μπορείτε να δείτε, η γεννηθείσα εικόνα δεν δείχνει καμία υποβάθμιση στις ικανότητες ελέγχου κειμένου, και επίσης διατηρεί την ταυτοποίηση-διατήρηση. Τέλος, οι στήλες 5 έως 9 χρησιμοποιούν μια εικόνα, ένα πρότυπο και χωρικό έλεγχο, δείχνοντας τη συμβατότητα του μοντέλου με προ-εκπαιδευμένα μοντέλα χωρικού ελέγχου, επιτρέποντας στο μοντέλο InstantID να εισαγάγει χωρικούς ελέγχους χρησιμοποιώντας μια προ-εκπαιδευμένο ControlNet συνιστώσα.

Αξίζει επίσης να σημειωθεί ότι ο αριθμός των αναφορικών εικόνων έχει σημαντική επίδραση στην γεννηθείσα εικόνα, όπως φαίνεται στην πάνω εικόνα. Αν και το πλαίσιο InstantID είναι σε θέση να παράγει καλά αποτελέσματα χρησιμοποιώντας μια αναφορική εικόνα, πολλαπλές αναφορικές εικόνες παράγουν μια καλύτερη ποιότητας εικόνα, καθώς το πλαίσιο InstantID λαμβάνει το μέσο όρο των ταυτοποιήσεων-διατήρησης ως οπτικό πρότυπο. Συνεχίζοντας, είναι απαραίτητο να συγκρίνουμε το πλαίσιο InstantID με τις υπάρχουσες μεθόδους που γεννήσουν προσωποποιημένες εικόνες χρησιμοποιώντας μια αναφορική εικόνα. Η ακόλουθη εικόνα συγκρίνει τα αποτελέσματα που παράγονται από το πλαίσιο InstantID και τα υπάρχοντα μοντέλα για γεννήσεις εικόνων με μια αναφορική εικόνα.

Όπως μπορείτε να δείτε, το πλαίσιο InstantID είναι σε θέση να διατηρήσει τα χαρακτηριστικά προσώπου χάρη στην ταυτοποίηση-διατήρηση που φέρει πλούσιες σημασιολογικές πληροφορίες, όπως ταυτοποίηση, ηλικία και φύλο. Θα ήταν ασφαλές να πούμε ότι το πλαίσιο InstantID υπερβαίνει τα υπάρχοντα μοντέλα σε γεννήσεις εικόνων, καθώς είναι σε θέση να διατηρήσει την ανθρώπινη ταυτοποίηση ενώ διατηρεί τον έλεγχο και την ευελιξία του στυλ.

Τελικές Σκέψεις
Σε αυτό το άρθρο, μιλήσαμε για το InstantID, μια λύση βασισμένη σε μοντέλο διάχυσης για γεννήσεις εικόνων. Το InstantID είναι ένα μονόχρονο και εύχρηστο μοντέλο που χειρίζεται τη γεννήσεις εικόνων και την προσωποποίηση με ευκολία σε διάφορα στυλ με μόνο μια αναφορική εικόνα και διατηρεί υψηλή πιστότητα. Το πλαίσιο InstantID επικεντρώνεται στη μηδενική ταυτοποίηση-διατήρηση γεννήσεων εικόνων, και προσπαθεί να γεφυρώσει το χάσμα μεταξύ αποδοτικότητας και υψηλής πιστότητας με την εισαγωγή ενός απλού και εύχρηστου μοντέλου που επιτρέπει στο πλαίσιο να χειρίζεται την προσωποποίηση εικόνων χρησιμοποιώντας μόνο μια αναφορική εικόνα ενώ διατηρεί υψηλή πιστότητα.












