Stable Diffusion Web User Interface, ή SD-WebUI, είναι ένα ολοκληρωμένο έργο για τα μοντέλα Stable Diffusion που χρησιμοποιεί τη βιβλιοθήκη Gradio για να παρέχει μια διεπαφή περιήγησης. Σήμερα, θα μιλήσουμε για το EasyPhoto, ένα καινοτόμο plugin WebUI που επιτρέπει στους τελικούς χρήστες να δημιουργούν πορτρέτα και εικόνες AI. Το plugin WebUI EasyPhoto δημιουργεί πορτρέτα AI χρησιμοποιώντας διάφορες πρότυπα, υποστηρίζοντας διαφορετικά φωτογραφικά στυλ και πολλαπλές τροποποιήσεις. Επιπλέον, για να ενισχύσει τις ικανότητες του EasyPhoto, οι χρήστες μπορούν να δημιουργούν εικόνες χρησιμοποιώντας το μοντέλο SDXL για πιο ικανοποιητικά, ακριβή και ποικίλα αποτελέσματα. Ας ξεκινήσουμε.

Εισαγωγή στο EasyPhoto και Stable Diffusion

Το πλαίσιο Stable Diffusion είναι ένα δημοφιλές και ισχυρό πλαίσιο παραγωγής βασισμένο στη διάχυση που χρησιμοποιείται από τους προγραμματιστές για τη δημιουργία πραγματικών εικόνων με βάση περιγραφές κειμένου εισόδου. Χάρη στις ικανότητές του, το πλαίσιο Stable Diffusion διαθέτει μια ευρεία γκάμα εφαρμογών, συμπεριλαμβανομένης της επέκτασης εικόνας, της συμπλήρωσης εικόνας και της μετάφρασης εικόνας-σε-εικόνα. Η διεπαφή περιήγησης Stable Diffusion, ή SD-WebUI, ξεχωρίζει ως μια από τις πιο δημοφιλείς και γνωστές εφαρμογές του πλαισίου αυτού. Διαθέτει μια διεπαφή περιήγησης που βασίζεται στη βιβλιοθήκη Gradio, παρέχοντας μια διαδραστική και φιλική προς τον χρήστη διεπαφή για τα μοντέλα Stable Diffusion. Για να ενισχύσει τον έλεγχο και τη χρηστικότητα στη παραγωγή εικόνας, η SD-WebUI ενσωματώνει πολλές εφαρμογές Stable Diffusion.

Λόγω της ευκολίας που προσφέρει το πλαίσιο SD-WebUI, οι προγραμματιστές του πλαισίου EasyPhoto αποφάσισαν να το δημιουργήσουν ως plugin web αντί για μια πλήρη εφαρμογή. Σε αντίθεση με τις υπάρχουσες μεθόδους που συχνά πάσχουν από απώλεια ταυτότητας ή εισαγωγή μη πραγματικών χαρακτηριστικών στις εικόνες, το πλαίσιο EasyPhoto αξιοποιεί τις ικανότητες εικόνας-σε-εικόνα των μοντέλων Stable Diffusion για τη δημιουργία ακριβών και πραγματικών εικόνων. Οι χρήστες μπορούν εύκολα να εγκαταστήσουν το πλαίσιο EasyPhoto ως επέκταση μέσα στη WebUI, ενισχύοντας την ευκολία χρήσης και την προσβασιμότητα σε ένα ευρύτερο φάσμα χρηστών. Το πλαίσιο EasyPhoto επιτρέπει στους χρήστες να δημιουργούν πορτρέτα AI που οδηγούνται από την ταυτότητα, υψηλής ποιότητας και πραγματικά πορτρέτα AI που μοιάζουν πολύ με την είσοδο ταυτότητας.

Πρώτα, το πλαίσιο EasyPhoto ζητά από τους χρήστες να δημιουργήσουν το ψηφιακό δίδυμο τους μεταφορτώνοντας μερικές εικόνες για να εκπαιδεύσουν ένα μοντέλο LoRA ή Low-Rank Adaptation online. Το πλαίσιο LoRA ρυθμίζει με ακρίβεια και ταχύτητα τα μοντέλα διάχυσης χρησιμοποιώντας τεχνολογία προσαρμογής χαμηλού βαθμού. Αυτή η διαδικασία επιτρέπει στο βασικό μοντέλο να κατανοήσει τις πληροφορίες ταυτότητας συγκεκριμένων χρηστών. Τα εκπαιδευμένα μοντέλα συνδυάζονται και ενσωματώνονται στο βασικό μοντέλο Stable Diffusion για συμπερασμό. Επιπλέον, κατά τη διαδικασία συμπερασμού, το μοντέλο χρησιμοποιεί σταθερά μοντέλα διάχυσης σε μια προσπάθεια να ξαναζωγραφίσει τις περιοχές του προσώπου στο πρότυπο συμπερασμού, και η ομοιότητα μεταξύ της εισόδου και της εξόδου εικόνων επαληθεύεται χρησιμοποιώντας τις διάφορες μονάδες ControlNet. 

Το πλαίσιο EasyPhoto επίσης εφαρμόζει μια διπλή διαδικασία διάχυσης για να αντιμετωπίσει πιθανά προβλήματα όπως τα οριακά τεχνουργήματα και η απώλεια ταυτότητας, διασφαλίζοντας ότι οι παραγόμενες εικόνες ελαχιστοποιούν τις οπτικές ασυνέπειες ενώ διατηρούν την ταυτότητα του χρήστη. Επιπλέον, η διαδικασία συμπερασμού στο πλαίσιο EasyPhoto δεν περιορίζεται μόνο στη δημιουργία πορτρέτων, αλλά μπορεί επίσης να χρησιμοποιηθεί για τη δημιουργία οτιδήποτε σχετίζεται με την ταυτότητα του χρήστη. Αυτό σημαίνει ότι μια φορά που εκπαιδεύσετε το μοντέλο LoRA για μια συγκεκριμένη ταυτότητα, μπορείτε να δημιουργήσετε μια ευρεία γκάμα εικόνων AI, και έτσι μπορεί να έχει ευρεία εφαρμογή, συμπεριλαμβανομένων των εικονικών δοκιμών ένδυσης. 

Για να συνοψίσουμε, το πλαίσιο EasyPhoto

1. Προτείνει μια νέα προσέγγιση για την εκπαίδευση του μοντέλου LoRA, ενσωματώνοντας πολλά μοντέλα LoRA για τη διατήρηση της πιστότητας του προσώπου στις παραγόμενες εικόνες. 
2. Χρησιμοποιεί διάφορες μεθόδους ενισχυτικής μάθησης για την βελτίωση των μοντέλων LoRA για την ταυτότητα του προσώπου, που βοηθά στην ενίσχυση της ομοιότητας των ταυτοτήτων μεταξύ των εικόνων εκπαίδευσης και των αποτελεσμάτων. 
3. Προτείνει μια διπλή διαδικασία διάχυσης με συμπλήρωση περιοχών εικόνας, η οποία στοχεύει στη δημιουργία εικόνων AI με υψηλή αισθητική και ομοιότητα. 

EasyPhoto : Αρχιτεκτονική & Εκπαίδευση

Η ακόλουθη εικόνα δείχνει τη διαδικασία εκπαίδευσης του πλαισίου EasyPhoto AI. 

Όπως φαίνεται, το πλαίσιο ζητά πρώτα από τους χρήστες να εισαγάγουν τις εικόνες εκπαίδευσης και στη συνέχεια να πραγματοποιήσει ανίχνευση προσώπου για να ανιχνεύσει τις θέσεις του προσώπου. Μόλις το πλαίσιο ανιχνεύσει το πρόσωπο, περικόπτει την εισαγόμενη εικόνα με μια προκαθορισμένη αναλογία που επικεντρώνεται αποκλειστικά στην περιοχή του προσώπου. Το πλαίσιο στη συνέχεια εφαρμόζει ένα μοντέλο ομορφιάς δέρματος και ένα μοντέλο εντοπισμού οπτικά εξέχοντων περιοχών για να λάβει μια καθαρή και σαφή εικόνα εκπαίδευσης προσώπου. Αυτά τα δύο μοντέλα παίζουν έναν κρίσιμο ρόλο στην ενίσχυση της οπτικής ποιότητας του προσώπου και επίσης διασφαλίζουν ότι η πληροφορία του φόντου έχει αφαιρεθεί και η εικόνα εκπαίδευσης περιέχει κυρίως το πρόσωπο. Τέλος, το πλαίσιο χρησιμοποιεί αυτές τις επεξεργασμένες εικόνες και τις εισαγώμενες προτροπές για να εκπαιδεύσει το μοντέλο LoRA, και έτσι να του δώσει την ικανότητα να κατανοήσει τις χαρακτηριστικές ιδιότητες του χρήστη πιο αποτελεσματικά και ακριβώς. 

Επιπλέον, κατά τη φάση εκπαίδευσης, το πλαίσιο περιλαμβάνει ένα κρίσιμο βήμα επαλήθευσης, στο οποίο το πλαίσιο υπολογίζει το χάσμα ταυτότητας προσώπου μεταξύ της εικόνας εισόδου του χρήστη και της εικόνας επαλήθευσης που παράχθηκε από το εκπαιδευμένο μοντέλο LoRA. Το βήμα επαλήθευσης είναι μια θεμελιώδης διαδικασία που παίζει έναν κρίσιμο ρόλο στην επίτευξη της σύντηξης των μοντέλων LoRA, διασφαλίζοντας ότι το εκπαιδευμένο μοντέλο LoRA μετατρέπεται σε ένα δίδυμο, ή μια ακριβή ψηφιακή αναπαράσταση του χρήστη. Επιπλέον, η εικόνα επαλήθευσης που έχει το βέλτιστο σκορ ταυτότητας προσώπου θα επιλεγεί ως η εικόνα ταυτότητας προσώπου, και αυτή η εικόνα ταυτότητας προσώπου θα χρησιμοποιηθεί στη συνέχεια για να ενισχύσει την ομοιότητα ταυτότητας της παραγωγής συμπερασμού. 

Συνεχίζοντας, με βάση τη διαδικασία συνδυασμού, το πλαίσιο εκπαιδεύει τα μοντέλα LoRA με την εκτίμηση πιθανοτήτων ως κύριο στόχο, ενώ η διατήρηση της ομοιότητας ταυτότητας προσώπου είναι ο στόχος της επόμενης εφαρμογής. Για να αντιμετωπίσουμε αυτό το πρόβλημα, το πλαίσιο EasyPhoto χρησιμοποιεί τεχνικές ενισχυτικής μάθησης για να βελτιώσει τον στόχο της επόμενης εφαρμογής απευθείας. Ως αποτέλεσμα, τα χαρακτηριστικά προσώπου που μαθαίνει το μοντέλο LoRA δείχνουν βελτίωση που οδηγεί σε μια ενισχυμένη ομοιότητα μεταξύ των αποτελεσμάτων που γεννήθηκαν από το πρότυπο, και επίσης δείχνει την γενίκευση μεταξύ προτύπων. 

Διαδικασία Συμπερασμού

Η ακόλουθη εικόνα δείχνει τη διαδικασία συμπερασμού για ένα μεμονωμένο ID χρήστη στο πλαίσιο EasyPhoto, και χωρίζεται σε τρία μέρη

• Προεπεξεργασία Προσώπου για την απόκτηση της αναφοράς ControlNet και της προεπεξεργασμένης εισαγώμενης εικόνας. 

• Πρώτη Διάχυση που βοηθά στην παραγωγή αποτελεσμάτων που μοιάζουν με την είσοδο του χρήστη. 

• Δεύτερη Διάχυση που διορθώνει τα τεχνουργήματα ορίων, καθιστώντας τις εικόνες πιο ακριβείς και πιο πραγματικές. 

Για την είσοδο, το πλαίσιο λαμβάνει μια εικόνα ταυτότητας προσώπου (παραγόμενη κατά τη διάρκεια της επαλήθευσης εκπαίδευσης με το βέλτιστο σκορ ταυτότητας) και ένα πρότυπο συμπερασμού. Η έξοδος είναι ένα λεπτομερές, ακριβές και ρεαλιστικό πορτρέτο του χρήστη, και μοιάζει πολύ με την ταυτότητα και την μοναδική εμφάνιση του χρήστη με βάση το πρότυπο. Ας δούμε μια λεπτομερή ματιά σε αυτές τις διαδικασίες.

Προεπεξεργασία Προσώπου

Ένας τρόπος για να δημιουργηθεί ένα πορτρέτο AI με βάση ένα πρότυπο συμπερασμού χωρίς συνειδητή σκέψη είναι να χρησιμοποιηθεί το μοντέλο SD για τη συμπλήρωση της περιοχής του προσώπου στο πρότυπο συμπερασμού. Επιπλέον, η προσθήκη του πλαισίου ControlNet στη διαδικασία δεν μόνο ενισχύει τη διατήρηση της ταυτότητας του χρήστη, αλλά επίσης ενισχύει την ομοιότητα μεταξύ των γεννημένων εικόνων. Ωστόσο, η χρήση του ControlNet απευθείας για την τοπική συμπλήρωση εικόνας μπορεί να εισαγάγει πιθανά προβλήματα που μπορεί να περιλαμβάνουν

• Ασυμφωνία μεταξύ της Εισόδου και της Γεννημένης Εικόνας : Είναι εμφανές ότι τα κρίσιμα σημεία στην εικόνα πρότυπου δεν είναι συμβατά με τα κρίσιμα σημεία στην εικόνα ταυτότητας προσώπου, και αυτό είναι το λόγο για τον οποίο η χρήση του ControlNet με την εικόνα ταυτότητας προσώπου ως αναφορά μπορεί να οδηγήσει σε κάποιες ασυνέπειες στην έξοδο. 

• Ελαττώματα στην Περιοχή Συμπλήρωσης Εικόνας : Η κάλυψη μιας περιοχής με μάσκα και η συμπλήρωσή της με νέο πρόσωπο μπορεί να οδηγήσει σε εμφανή ελαττώματα, ιδιαίτερα κατά μήκος του ορίου επαναζωγραφισμένης περιοχής, που δεν μόνο θα επηρεάσουν την αυθεντικότητα της παραγόμενης εικόνας, αλλά επίσης θα επηρεάσουν την πραγματικότητα της εικόνας. 
• Απώλεια Ταυτότητας από το Control Net : Καθώς η διαδικασία εκπαίδευσης δεν χρησιμοποιεί το πλαισίο ControlNet, η χρήση του ControlNet κατά τη διάρκεια της διαδικασίας συμπερασμού μπορεί να επηρεάσει την ικανότητα των εκπαιδευμένων μοντέλων LoRA να διατηρήσουν την ταυτότητα του χρήστη. 

Για να αντιμετωπίσουμε τα προβλήματα που αναφέρθηκαν παραπάνω, το πλαίσιο EasyPhoto προτείνει τρεις διαδικασίες. 

• Ευθυγράμμιση και Επικόλληση : Χρησιμοποιώντας έναν αλγόριθμο επικόλλησης προσώπου, το πλαίσιο EasyPhoto στοχεύει να αντιμετωπίσει το πρόβλημα της ασυμφωνίας μεταξύ των σημείων ορόσημων μεταξύ της εικόνας ταυτότητας προσώπου και του προτύπου. Πρώτα, το μοντέλο υπολογίζει τα σημεία ορόσημων του προσώπου της εικόνας ταυτότητας και του προτύπου, και στη συνέχεια το μοντέλο καθορίζει τον πίνακα αφινικού μετασχηματισμού που θα χρησιμοποιηθεί για την ευθυγράμμιση των σημείων ορόσημων του προτύπου με την εικόνα ταυτότητας προσώπου. Η προκύπτουσα εικόνα διατηρεί τα ίδια σημεία ορόσημων της εικόνας ταυτότητας προσώπου και επίσης συμφωνεί με το πρότυπο. 

• Σύντηξη Προσώπου : Η Σύντηξη Προσώπου είναι μια νέα προσέγγιση που χρησιμοποιείται για την διόρθωση των αρτεφάκτων ορίων που είναι αποτέλεσμα της επαναζωγραφισμένης μάσκας, και περιλαμβάνει την διόρθωση των αρτεφάκτων χρησιμοποιώντας το πλαισίο ControlNet. Η μέθοδος επιτρέπει στο πλαίσιο EasyPhoto να διασφαλίσει την διατήρηση των αρμονικών ορίων και να οδηγήσει τη διαδικασία παραγωγής εικόνας. Ο αλγόριθμος σύντηξης προσώπου συνδυάζει επίσης την εικόνα roop (πραγματική εικόνα χρήστη) και το πρότυπο, επιτρέποντας στην προκύπτουσα εικόνα να εμφανίσει καλύτερη σταθεροποίηση των ορίων, που οδηγεί σε μια ενισχυμένη έξοδο κατά τη διάρκεια του πρώτου σταδίου διάχυσης. 
• Επιβεβαίωση με Οδηγία ControlNet : Καθώς τα μοντέλα LoRA δεν εκπαιδεύτηκαν χρησιμοποιώντας το πλαισίο ControlNet, η χρήση του κατά τη διάρκεια της διαδικασίας συμπερασμού μπορεί να επηρεάσει την ικανότητα των μοντέλων LoRA να διατηρήσουν την ταυτότητα. Για να ενισχύσει τις ικανότητες γενίκευσης του EasyPhoto, το πλαίσιο λαμβάνει υπόψη την επίδραση του πλαισίου ControlNet και ενσωματώνει μοντέλα LoRA από διαφορετικά στάδια. 

Πρώτη Διάχυση

Το πρώτο στάδιο διάχυσης χρησιμοποιεί την εικόνα πρότυπου για να παραγάγει μια εικόνα με μια μοναδική ταυτότητα που μοιάζει με την είσοδο του χρήστη. Η είσοδος εικόνας είναι μια σύντηξη της εικόνας εισόδου του χρήστη και του προτύπου, ενώ η καλιμπραρισμένη μάσκα προσώπου είναι η είσοδος μάσκας. Για να αυξήσει τον έλεγχο στη παραγωγή εικόνας, το πλαίσιο EasyPhoto ενσωματώνει τρεις μονάδες ControlNet, όπου η πρώτη μονάδα ControlNet εστιάζει στον έλεγχο των συνδυασμένων εικόνων, η δεύτερη μονάδα ControlNet ελέγχει τα χρώματα της συνδυασμένης εικόνας, και η τρίτη μονάδα ControlNet είναι το OpenPose (έλεγχος στάσεων πολλών ανθρώπων σε πραγματικό χρόνο) της εικόνας που έχει αντικατασταθεί που περιέχει όχι μόνο τη δομή προσώπου του προτύπου, αλλά και την ταυτότητα του χρήστη.

Δεύτερη Διάχυση

Στο δεύτερο στάδιο διάχυσης, τα αρτεφάκτα κοντά στα όρια του προσώπου διορθώνονται και λειαίνονται, μαζί με την παροχή στους χρήστες της ευελιξίας να μασκάρουν μια συγκεκριμένη περιοχή στην εικόνα σε μια προσπάθεια να αυξήσουν την αποτελεσματικότητα της παραγωγής εντός αυτής της περιοχής. Σε αυτό το στάδιο, το πλαίσιο συνδυάζει την εικόνα έξοδος από το πρώτο στάδιο διάχυσης με την εικόνα roop ή το αποτέλεσμα της εικόνας του χρήστη, γεννώντας την είσοδο εικόνας για το δεύτερο στάδιο διάχυσης. Συνολικά, το δεύτερο στάδιο διάχυσης παίζει έναν κρίσιμο ρόλο στην ενίσχυση της συνολικής ποιότητας και των λεπτομερειών της παραγόμενης εικόνας. 

Πολυπλών Ταυτότητων Χρηστών

Ένα από τα πιο σημαντικά χαρακτηριστικά του EasyPhoto είναι η υποστήριξη για τη παραγωγή πολλαπλών ταυτοτήτων χρηστών, και η ακόλουθη εικόνα δείχνει τη διαδικασία συμπερασμού για πολλαπλές ταυτότητες χρηστών στο πλαίσιο EasyPhoto. 

Για να παρέχει υποστήριξη για τη παραγωγή πολλαπλών ταυτοτήτων χρηστών, το πλαίσιο EasyPhoto πρώτα πραγματοποιεί ανίχνευση προσώπου στο πρότυπο συμπερασμού. Αυτά τα πρότυπα συμπερασμού χωρίζονται σε πολλές μάσκες, όπου κάθε μάσκα περιέχει μόνο ένα πρόσωπο, και το υπόλοιπο της εικόνας είναι μασκαρμένο σε λευκό, έτσι ώστε η παραγωγή πολλαπλών ταυτοτήτων χρηστών να γίνει μια απλή εργασία παραγωγής μεμονωμένων ταυτοτήτων χρηστών. Μόλις το πλαίσιο παραγάγει τις εικόνες ταυτότητας χρηστών, αυτές οι εικόνες συνδυάζονται στο πρότυπο συμπερασμού, επιτρέποντας μια αβίαστη ενσωμάτωση των προτύπων εικόνας με τις παραγόμενες εικόνες, που οδηγεί σε μια υψηλής ποιότητας εικόνα. 

Πειράματα και Αποτελέσματα

Τώρα που έχουμε μια κατανόηση του πλαισίου EasyPhoto, είναι ώρα να εξερευνήσουμε την απόδοση του πλαισίου EasyPhoto. 

Η ακόλουθη εικόνα παράχθηκε από το plugin EasyPhoto, και χρησιμοποιεί ένα μοντέλο Style-based SD για τη παραγωγή εικόνας. Όπως φαίνεται, οι παραγόμενες εικόνες μοιάζουν πραγματικές και είναι αρκετά ακριβείς. 

Η εικόνα που προστέθηκε παραπάνω παράχθηκε από το πλαίσιο EasyPhoto χρησιμοποιώντας ένα μοντέλο Comic Style-based SD. Όπως φαίνεται, οι εικόνες κόμικς και οι πραγματικές εικόνες μοιάζουν αρκετά πραγματικές και μοιάζουν με την είσοδο εικόνας με βάση τις προτροπές ή τις απαιτήσεις του χρήστη. 

Η εικόνα που προστέθηκε παρακάτω παράχθηκε από το πλαίσιο EasyPhoto χρησιμοποιώντας ένα πρότυπο πολλαπλών προσώπων. Όπως φαίνεται, οι παραγόμενες εικόνες είναι καθαρές, ακριβείς και μοιάζουν με την αρχική εικόνα. 

Με τη βοήθεια του EasyPhoto, οι χρήστες μπορούν τώρα να δημιουργήσουν μια ευρεία γκάμα πορτρέτων AI, ή να δημιουργήσουν πολλαπλές ταυτότητες χρηστών χρησιμοποιώντας διατηρημένα πρότυπα, ή να χρησιμοποιήσουν το μοντέλο SD για να δημιουργήσουν πρότυπα συμπερασμού. Οι εικόνες που προστέθηκαν παραπάνω δείχνουν την ικανότητα του πλαισίου EasyPhoto να παράγει ποικίλες και υψηλής ποιότητας εικόνες AI.

Συμπέρασμα

Σε αυτό το άρθρο, έχουμε μιλήσει για το EasyPhoto, ένα καινοτόμο plugin WebUI που επιτρέπει στους τελικούς χρήστες να δημιουργούν πορτρέτα και εικόνες AI. Το plugin WebUI EasyPhoto δημιουργεί πορτρέτα AI χρησιμοποιώντας τυχαίες πρότυπα, και οι τρέχουσες δυνατότητες του plugin WebUI EasyPhoto υποστηρίζουν διαφορετικά φωτογραφικά στυλ και πολλαπλές τροποποιήσεις. Επιπλέον, για να ενισχύσει τις ικανότητες του EasyPhoto, οι χρήστες έχουν την ευελιξία να δημιουργήσουν εικόνες χρησιμοποιώντας το μοντέλο SDXL για πιο ικανοποιητικά, ακριβή και ποικίλα αποτελέσματα. Το πλαίσιο EasyPhoto χρησιμοποιεί ένα σταθερό μοντέλο διάχυσης με ένα προεκπαιδευμένο μοντέλο LoRA που παράγει υψηλής ποιότητας εικόνες εξόδου.

Ενδιαφέρεστε για γεννήτριες εικόνων; Παρέχουμε επίσης μια λίστα με τις Καλύτερες Γεννήτριες Πορτρέτων AI και τις Καλύτερες Γεννήτριες Εικόνων AI που είναι εύκολες στην χρήση και δεν απαιτούν τεχνική εμπειρία.