Stable Diffusion Web User Interface, ή SD-WebUI, είναι ένα ολοκληρωμένο έργο για τα μοντέλα Stable Diffusion που χρησιμοποιεί τη βιβλιοθήκη Gradio για να παρέχει μια διεπαφή περιήγησης. Σήμερα, θα μιλήσουμε για το EasyPhoto, ένα καινοτόμο plugin WebUI που επιτρέπει στους τελικούς χρήστες να δημιουργούν πορτρέτα και εικόνες AI. Το plugin WebUI EasyPhoto δημιουργεί πορτρέτα AI χρησιμοποιώντας διάφορες προτυποποιήσεις, υποστηρίζοντας διαφορετικές φωτογραφικές στυλ και πολλαπλές τροποποιήσεις. Επιπλέον, για να ενισχύσει τις ικανότητες του EasyPhoto, οι χρήστες μπορούν να δημιουργούν εικόνες χρησιμοποιώντας το μοντέλο SDXL για πιο ικανοποιητικά, ακριβή και ποικίλα αποτελέσματα. Ας ξεκινήσουμε.

Εισαγωγή στο EasyPhoto και Stable Diffusion

Το πλαίσιο Stable Diffusion είναι ένα δημοφιλές και ισχυρό πλαίσιο γεννήτριας βασισμένο στη διάχυση που χρησιμοποιείται από τους développers για τη δημιουργία πραγματικών εικόνων με βάση περιγραφές κειμένου εισόδου. Díky στις ικανότητές του, το πλαίσιο Stable Diffusion διαθέτει eine ευρεία γκάμα εφαρμογών, συμπεριλαμβανομένης της επέκτασης εικόνας, της συμπλήρωσης εικόνας και της μετάφρασης εικόνας-σε-εικόνα. Η διεπαφή περιήγησης Stable Diffusion, ή SD-WebUI, ξεχωρίζει ως μια από τις πιο δημοφιλείς και γνωστές εφαρμογές του πλαισίου αυτού. Διαθέτει μια διεπαφή περιήγησης που βασίζεται στη βιβλιοθήκη Gradio, παρέχοντας μια διαδραστική και φιλική προς τον χρήστη διεπαφή για τα μοντέλα Stable Diffusion. Για να ενισχύσει τον έλεγχο και τη χρηστικότητα στη γεννήτρια εικόνας, η SD-WebUI ενσωματώνει πολλές εφαρμογές Stable Diffusion.

Λόγω της ευκολίας που προσφέρει το πλαίσιο SD-WebUI, οι développers του πλαισίου EasyPhoto αποφάσισαν να το δημιουργήσουν ως plugin web αντί για μια πλήρη εφαρμογή. Σε αντίθεση με τις υπάρχουσες μεθόδους που συχνά πάσχουν από απώλεια ταυτότητας ή εισαγωγή μη πραγματικών χαρακτηριστικών στις εικόνες, το πλαίσιο EasyPhoto αξιοποιεί τις ικανότητες εικόνας-σε-εικόνα των μοντέλων Stable Diffusion για τη δημιουργία ακριβών και πραγματικών εικόνων. Οι χρήστες μπορούν εύκολα να εγκαταστήσουν το πλαίσιο EasyPhoto ως επέκταση μέσα στη WebUI, ενισχύοντας την ευκολία χρήσης και την προσβασιμότητα σε ένα ευρύτερο φάσμα χρηστών. Το πλαίσιο EasyPhoto επιτρέπει στους χρήστες να δημιουργούν πορτρέτα AI που οδηγούνται από την ταυτότητα, υψηλής ποιότητας και πραγματικά πορτρέτα AI που μοιάζουν πολύ με την είσοδο ταυτότητας.

Πρώτα, το πλαίσιο EasyPhoto ζητά από τους χρήστες να δημιουργήσουν το ψηφιακό δίδυμο τους μεταφορτώνοντας μερικές εικόνες για να εκπαιδεύσουν ένα μοντέλο LoRA ή Low-Rank Adaptation online. Το πλαίσιο LoRA ταχύτατα επιμετατρέχει τα μοντέλα διάχυσης χρησιμοποιώντας τεχνολογία προσαρμογής χαμηλού βαθμού. Αυτή η διαδικασία επιτρέπει στο βασικό μοντέλο να κατανοήσει τις πληροφορίες ταυτότητας συγκεκριμένων χρηστών. Τα εκπαιδευμένα μοντέλα συνδυάζονται και ενσωματώνονται στο βασικό μοντέλο Stable Diffusion για παρέμβαση. Επιπλέον, κατά τη διαδικασία παρέμβασης, το μοντέλο χρησιμοποιεί σταθερά μοντέλα διάχυσης σε μια προσπάθεια να ξαναζωγραφίσει τις περιοχές του προσώπου στο πρότυπο παρέμβασης, και η ομοιότητα μεταξύ της εισόδου και της εξόδου εικόνων επαληθεύεται χρησιμοποιώντας τις διάφορες μονάδες ControlNet. 

Το πλαίσιο EasyPhoto επίσης εφαρμόζει μια διπλή διαδικασία διάχυσης για να αντιμετωπίσει πιθανά προβλήματα όπως τα οριακά артеφάκτα και η απώλεια ταυτότητας, διασφαλίζοντας ότι οι γεννημένες εικόνες ελαχιστοποιούν τις οπτικές ασυνέπειες ενώ διατηρούν την ταυτότητα του χρήστη. Επιπλέον, η διαδικασία παρέμβασης στο πλαίσιο EasyPhoto δεν περιορίζεται μόνο στη δημιουργία πορτρέτων, αλλά μπορεί επίσης να χρησιμοποιηθεί για τη δημιουργία οτιδήποτε σχετίζεται με την ταυτότητα του χρήστη. Αυτό σημαίνει ότι μια φορά που εκπαιδεύσετε το μοντέλο LoRA για μια συγκεκριμένη ταυτότητα, μπορείτε να δημιουργήσετε eine ευρεία γκάμα εικόνων AI, και έτσι μπορεί να έχει ευρεία εφαρμογή, συμπεριλαμβανομένων των εικονικών δοκιμών. 

Για να συνοψίσουμε, το πλαίσιο EasyPhoto

1. Προτείνει μια νέα προσέγγιση για την εκπαίδευση του μοντέλου LoRA, ενσωματώνοντας πολλά μοντέλα LoRA για τη διατήρηση της πιστότητας του προσώπου στις γεννημένες εικόνες. 
2. Χρησιμοποιεί διάφορες μεθόδους ενίσχυσης για την βελτίωση των μοντέλων LoRA για την ταυτότητα του προσώπου, που βοηθά στην ενίσχυση της ομοιότητας των ταυτοτήτων μεταξύ των εικόνων εκπαίδευσης και των αποτελεσμάτων. 
3. Προτείνει μια διπλή διαδικασία διάχυσης που στοχεύει στη δημιουργία εικόνων AI με υψηλή αισθητική και ομοιότητα. 

EasyPhoto : Αρχιτεκτονική & Εκπαίδευση

Η ακόλουθη εικόνα δείχνει τη διαδικασία εκπαίδευσης του πλαισίου EasyPhoto AI. 

Όπως φαίνεται, το πλαίσιο ζητά πρώτα από τους χρήστες να εισαγάγουν τις εικόνες εκπαίδευσης και στη συνέχεια να thựcείσει ανίχνευση προσώπου για να ανιχνεύσει τις θέσεις του προσώπου. Μόλις το πλαίσιο ανιχνεύσει το πρόσωπο, το裁 το εισαγόμενο με một προκαθορισμένο συγκεκριμένο λόγο που επικεντρώνεται αποκλειστικά στην περιοχή του προσώπου. Το πλαίσιο στη συνέχεια εφαρμόζει ένα μοντέλο ομορφιάς δέρματος και ένα μοντέλο ανίχνευσης σαφήνειας για να λάβει μια καθαρή και σαφή εικόνα εκπαίδευσης προσώπου. Αυτά τα δύο μοντέλα παίζουν einen κρίσιμο ρόλο στην ενίσχυση της οπτικής ποιότητας του προσώπου και επίσης διασφαλίζουν ότι η πληροφορία του φόντου έχει αφαιρεθεί και η εικόνα εκπαίδευσης περιέχει κυρίως το πρόσωπο. Τέλος, το πλαίσιο χρησιμοποιεί αυτές τις επεξεργασμένες εικόνες και τις εισαγώμενες προτροπές για να εκπαιδεύσει το μοντέλο LoRA, και έτσι να του δώσει την ικανότητα να κατανοήσει τις χαρακτηριστικές ιδιότητες του χρήστη πιο αποτελεσματικά και ακριβώς. 

Επιπλέον, κατά τη φάση εκπαίδευσης, το πλαίσιο περιλαμβάνει ένα κρίσιμο βήμα επαλήθευσης, στο οποίο το πλαίσιο υπολογίζει το χάσμα ταυτότητας προσώπου μεταξύ της εικόνας εισόδου του χρήστη και της εικόνας επαλήθευσης που γεννήθηκε από το εκπαιδευμένο μοντέλο LoRA. Το βήμα επαλήθευσης είναι μια θεμελιώδης διαδικασία που παίζει einen κρίσιμο ρόλο στην επίτευξη της σύντηξης των μοντέλων LoRA, διασφαλίζοντας ότι το εκπαιδευμένο μοντέλο LoRA μετατρέπεται σε ένα δίδυμο, ή μια ακριβή ψηφιακή αναπαράσταση του χρήστη. Επιπλέον, η εικόνα επαλήθευσης που έχει το βέλτιστο σκορ ταυτότητας προσώπου θα επιλεγεί ως η εικόνα ταυτότητας προσώπου, και αυτή η εικόνα ταυτότητας προσώπου θα χρησιμοποιηθεί στη συνέχεια για να ενισχύσει την ομοιότητα ταυτότητας της γεννήτριας παρέμβασης. 

Συνεχίζοντας, με βάση τη διαδικασία συνδυασμού, το πλαίσιο εκπαιδεύει τα μοντέλα LoRA με την εκτίμηση πιθανοτήτων ως κύριο στόχο, ενώ η διατήρηση της ομοιότητας ταυτότητας προσώπου είναι ο στόχος κατάβασης. Για να αντιμετωπίσουμε αυτό το πρόβλημα, το πλαίσιο EasyPhoto χρησιμοποιεί τεχνικές ενίσχυσης για να βελτιώσει τον στόχο κατάβασης trực tiếp. Ως αποτέλεσμα, τα χαρακτηριστικά προσώπου που μαθαίνει το μοντέλο LoRA δείχνουν βελτίωση που οδηγεί σε μια ενισχυμένη ομοιότητα μεταξύ των αποτελεσμάτων που γεννήθηκαν από το πρότυπο, και επίσης δείχνει την γενίκευση μεταξύ προτύπων. 

Διαδικασία Παρέμβασης

Η ακόλουθη εικόνα δείχνει τη διαδικασία παρέμβασης για ένα μεμονωμένο ID χρήστη στο πλαίσιο EasyPhoto, και χωρίζεται σε τρία μέρη

• Προεπεξεργασία Προσώπου για την απόκτηση της αναφοράς ControlNet και της προεπεξεργασμένης εισαγώμενης εικόνας. 

• Πρώτη Διάχυση που βοηθά στην γεννήτρια αποτελεσμάτων που μοιάζουν με την είσοδο του χρήστη. 

• Δεύτερη Διάχυση που διορθώνει τα артеφάκτα ορίων, καθιστώντας τις εικόνες πιο ακριβείς και πιο πραγματικές. 

Για την είσοδο, το πλαίσιο λαμβάνει μια εικόνα ταυτότητας προσώπου (γεννημένη κατά τη διάρκεια της επαλήθευσης εκπαίδευσης με το βέλτιστο σκορ ταυτότητας) και ένα πρότυπο παρέμβασης. Η έξοδος είναι μια υψηλής ποιότητας, ακριβής και πραγματική πορτρέτο του χρήστη, και μοιάζει πολύ με την ταυτότητα και την μοναδική εμφάνιση του χρήστη με βάση το πρότυπο. Ας δούμε μια λεπτομερή ματιά σε αυτές τις διαδικασίες.

Προεπεξεργασία Προσώπου

Ένας τρόπος για να δημιουργηθεί ένα πορτρέτο AI με βάση ένα πρότυπο παρέμβασης χωρίς συνειδητή σκέψη είναι να χρησιμοποιηθεί το μοντέλο SD για την επαναζωγραφισμένη περιοχή του προσώπου στο πρότυπο παρέμβασης. Επιπλέον, η προσθήκη του πλαισίου ControlNet στη διαδικασία δεν μόνο ενισχύει τη διατήρηση της ταυτότητας του χρήστη, αλλά επίσης ενισχύει την ομοιότητα μεταξύ των γεννημένων εικόνων. Ωστόσο, η χρήση του ControlNet απευθείας για την τοπική επαναζωγραφισμένη περιοχή μπορεί να εισαγάγει πιθανά προβλήματα που μπορεί να περιλαμβάνουν

• Ασυμφωνία μεταξύ της Εισόδου και της Γεννημένης Εικόνας : Είναι εμφανές ότι τα κρίσιμα σημεία στην εικόνα πρότυπου δεν είναι συμβατά με τα κρίσιμα σημεία στην εικόνα ταυτότητας προσώπου, και αυτό είναι το λόγο για τον οποίο η χρήση του ControlNet με την εικόνα ταυτότητας προσώπου ως αναφορά μπορεί να οδηγήσει σε κάποιες ασυνέπειες στην έξοδο. 

• Ελαττώματα στην Περιοχή Επαναζωγραφισμένης : Η μάσκα einer περιοχής και η επαναζωγραφισμένη περιοχή με ένα νέο πρόσωπο μπορεί να οδηγήσει σε εμφανή ελαττώματα, ιδιαίτερα κατά μήκος του ορίου επαναζωγραφισμένης περιοχής, που δεν μόνο θα επηρεάσουν την αυθεντικότητα της γεννημένης εικόνας, αλλά cũng θα επηρεάσουν την πραγματικότητα της εικόνας. 
• Απώλεια Ταυτότητας από το Control Net : Καθώς η διαδικασία εκπαίδευσης δεν χρησιμοποιεί το πλαισίο ControlNet, η χρήση του ControlNet κατά τη διάρκεια της διαδικασίας παρέμβασης μπορεί να επηρεάσει την ικανότητα των εκπαιδευμένων μοντέλων LoRA να διατηρήσουν την ταυτότητα του χρήστη. 

Για να αντιμετωπίσουμε τα προβλήματα που αναφέρθηκαν παραπάνω, το πλαίσιο EasyPhoto προτείνει τρεις διαδικασίες. 

• Σύγκλιση και Επικόλληση : Χρησιμοποιώντας einen αλγόριθμο επικόλλησης προσώπου, το πλαίσιο EasyPhoto στοχεύει να αντιμετωπίσει το πρόβλημα της ασυμφωνίας μεταξύ των σημείων ορόσημων μεταξύ της εικόνας ταυτότητας προσώπου και του προτύπου. Πρώτα, το μοντέλο υπολογίζει τα σημεία ορόσημων του προσώπου της εικόνας ταυτότητας και του προτύπου, και στη συνέχεια το μοντέλο καθορίζει την πίνακα μετασχηματισμού που θα χρησιμοποιηθεί για την σύγκλιση των σημείων ορόσημων του προτύπου με την εικόνα ταυτότητας προσώπου. Η αποτελεσματική εικόνα διατηρεί τα ίδια σημεία ορόσημων της εικόνας ταυτότητας προσώπου και επίσης συμφωνεί με το πρότυπο. 

• Σύγκλιση Προσώπου : Η Σύγκλιση Προσώπου είναι μια νέα προσέγγιση που χρησιμοποιείται για την διόρθωση των αρτεφάκτων ορίων που είναι αποτέλεσμα της επαναζωγραφισμένης μάσκας, και περιλαμβάνει την διόρθωση των αρτεφάκτων χρησιμοποιώντας το πλαισίο ControlNet. Η μέθοδος επιτρέπει στο πλαίσιο EasyPhoto να διασφαλίσει την διατήρηση των αρμονικών ορίων και να οδηγήσει τη διαδικασία γεννήτριας εικόνας. Ο αλγόριθμος σύγκλισης προσώπου συνδυάζει επίσης την εικόνα roop (πραγματική εικόνα χρήστη) και το πρότυπο, επιτρέποντας στην αποτελεσματική εικόνα να εμφανίσει καλύτερη σταθεροποίηση των ορίων, που οδηγεί σε μια ενισχυμένη έξοδο κατά τη διάρκεια του πρώτου σταδίου διάχυσης. 
• Επιβεβαίωση με Οδηγία ControlNet : Καθώς τα μοντέλα LoRA δεν εκπαιδεύτηκαν χρησιμοποιώντας το πλαισίο ControlNet, η χρήση του κατά τη διάρκεια της διαδικασίας παρέμβασης μπορεί να επηρεάσει την ικανότητα των μοντέλων LoRA να διατηρήσουν την ταυτότητα. Για να ενισχύσει τις ικανότητες γενίκευσης του EasyPhoto, το πλαίσιο λαμβάνει υπόψη την επίδραση του πλαισίου ControlNet και ενσωματώνει μοντέλα LoRA από διαφορετικά στάδια. 

Πρώτη Διάχυση

Το πρώτο στάδιο διάχυσης χρησιμοποιεί την εικόνα πρότυπου για να γεννήσει μια εικόνα με μια μοναδική ταυτότητα που μοιάζει με την είσοδο του χρήστη. Η είσοδος εικόνας είναι μια σύγκλιση της εικόνας εισόδου του χρήστη και του προτύπου, ενώ η καλιμπραρισμένη μάσκα προσώπου είναι η είσοδος μάσκας. Για να αυξήσει τον έλεγχο στη γεννήτρια εικόνας, το πλαίσιο EasyPhoto ενσωματώνει τρεις μονάδες ControlNet, όπου η πρώτη μονάδα ControlNet εστιάζει στον έλεγχο των συνδυασμένων εικόνων, η δεύτερη μονάδα ControlNet ελέγχει τα χρώματα της συνδυασμένης εικόνας, και η τρίτη μονάδα ControlNet είναι η openpose (έλεγχος στάσης ανθρώπινου σώματος σε πραγματικό χρόνο) της αντικαταστάθηκε εικόνας που περιέχει όχι μόνο τη δομή προσώπου του προτύπου, αλλά και την ταυτότητα του χρήστη.

Δεύτερη Διάχυση

Στο δεύτερο στάδιο διάχυσης, τα αρτεφάκτα κοντά στα όρια του προσώπου διορθώνονται και λειαίνονται, μαζί με την παροχή στους χρήστες της ευελιξίας να μασκάρουν μια συγκεκριμένη περιοχή στην εικόνα σε μια προσπάθεια να αυξήσουν την αποτελεσματικότητα της γεννήτριας εντός αυτής της περιοχής. Σε αυτό το στάδιο, το πλαίσιο συνδυάζει την εικόνα έξοδος από το πρώτο στάδιο διάχυσης με την εικόνα roop ή το αποτέλεσμα της εικόνας του χρήστη, γεννώντας την είσοδο εικόνας για το δεύτερο στάδιο διάχυσης. Συνολικά, το δεύτερο στάδιο διάχυσης παίζει einen κρίσιμο ρόλο στην ενίσχυση της συνολικής ποιότητας και των λεπτομερειών της γεννημένης εικόνας. 

Πολυπλών Ταυτότητων Χρηστών

Ένα από τα πιο σημαντικά χαρακτηριστικά του EasyPhoto είναι η υποστήριξη για τη γεννήτρια πολλαπλών ταυτοτήτων χρηστών, και η ακόλουθη εικόνα δείχνει τη διαδικασία παρέμβασης για πολλαπλές ταυτότητες χρηστών στο πλαίσιο EasyPhoto. 

Για να παρέχει υποστήριξη για τη γεννήτρια πολλαπλών ταυτοτήτων χρηστών, το πλαίσιο EasyPhoto πρώτα thựcείνει ανίχνευση προσώπου στο πρότυπο παρέμβασης. Αυτά τα πρότυπα παρέμβασης χωρίζονται σε πολλά μάσκες, όπου κάθε μάσκα περιέχει μόνο ένα πρόσωπο, και το υπόλοιπο της εικόνας είναι μασκαρμένο σε λευκό, έτσι ώστε η γεννήτρια πολλαπλών ταυτοτήτων χρηστών να γίνει μια απλή εργασία γεννήτριας μεμονωμένων ταυτοτήτων χρηστών. Μόλις το πλαίσιο γεννήσει τις εικόνες ταυτότητας χρηστών, αυτές οι εικόνες συνδυάζονται στο πρότυπο παρέμβασης, επιτρέποντας μια αβίαστη ενσωμάτωση των προτύπων εικόνας με τις γεννημένες εικόνες, που οδηγεί σε μια υψηλής ποιότητας εικόνα. 

Πειράματα και Αποτελέσματα

Τώρα που έχουμε μια κατανόηση του πλαισίου EasyPhoto, είναι ώρα να εξερευνήσουμε την απόδοση του πλαισίου EasyPhoto. 

Η ακόλουθη εικόνα γεννήθηκε από το plugin EasyPhoto, και χρησιμοποιεί ένα μοντέλο Style-based SD για τη γεννήτρια εικόνας. Όπως φαίνεται, οι γεννημένες εικόνες μοιάζουν πραγματικές και είναι khá ακριβείς. 

Η εικόνα που προστέθηκε παραπάνω γεννήθηκε από το πλαίσιο EasyPhoto χρησιμοποιώντας ένα μοντέλο Comic Style-based SD. Όπως φαίνεται, οι εικόνες κόμικς και οι πραγματικές εικόνες μοιάζουν khá πραγματικές και μοιάζουν με την είσοδο εικόνας με βάση τις προτροπές ή τις απαιτήσεις του χρήστη. 

Η εικόνα που προστέθηκε παρακάτω γεννήθηκε από το πλαίσιο EasyPhoto χρησιμοποιώντας ένα πρότυπο πολλαπλών προσώπων. Όπως φαίνεται, οι γεννημένες εικόνες είναι καθαρές, ακριβείς και μοιάζουν με την αρχική εικόνα. 

Με τη βοήθεια του EasyPhoto, οι χρήστες μπορούν τώρα να γεννήσουν eine ευρεία γκάμα πορτρέτων AI, ή να γεννήσουν πολλαπλές ταυτότητες χρηστών χρησιμοποιώντας διατηρημένα πρότυπα, ή να χρησιμοποιήσουν το μοντέλο SD για να γεννήσουν πρότυπα παρέμβασης. Οι εικόνες που προστέθηκαν παραπάνω δείχνουν την ικανότητα του πλαισίου EasyPhoto να παράγει ποικίλες και υψηλής ποιότητας εικόνες AI.

Συμπέρασμα

Σε αυτό το άρθρο, έχουμε μιλήσει για το EasyPhoto, ένα καινοτόμο plugin WebUI που επιτρέπει στους τελικούς χρήστες να δημιουργούν πορτρέτα και εικόνες AI. Το plugin WebUI EasyPhoto γεννήτρια πορτρέτα AI χρησιμοποιώντας τυχαίες προτυποποιήσεις, και οι τρέχουσες επιπτώσεις του plugin WebUI EasyPhoto υποστηρίζουν διαφορετικές φωτογραφικές στυλ και πολλαπλές τροποποιήσεις. Επιπλέον, για να ενισχύσει τις ικανότητες του EasyPhoto, οι χρήστες έχουν την ευελιξία να γεννήσουν εικόνες χρησιμοποιώντας το μοντέλο SDXL για πιο ικανοποιητικά, ακριβή και ποικίλα αποτελέσματα. Το πλαίσιο EasyPhoto χρησιμοποιεί ένα σταθερό μοντέλο διάχυσης με ένα προεκπαιδευμένο μοντέλο LoRA που παράγει υψηλής ποιότητας εικόνες εξόδου.

Ενδιαφέρεστε για γεννήτριες εικόνων; Παρέχουμε επίσης μια λίστα με τις Καλύτερες Γεννήτριες Πορτρέτων AI και τις Καλύτερες Γεννήτριες Εικόνων AI που είναι εύκολες στην χρήση και δεν απαιτούν τεχνική εμπειρία.