Η γωνία του Anderson

Βελτιώνοντας τη Γεννήτρια Οθόνης Χρωμάτων για Σταθερή Διασπορά

mm
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Diverse Stable Diffusion green screen-based prompts, https://stablediffusionweb.com/

Παρά την ενθουσιασμό της κοινότητας και των επενδυτών γύρω από την οπτική γεννητική τεχνητή νοημοσύνη, η έξοδος από τέτοιους συστήματα δεν είναι πάντα έτοιμη για πραγματική χρήση· ένα παράδειγμα είναι ότι τα συστήματα γεν AI έχουν την τάση να εξοδεύουν ολόκληρες εικόνες (ή μια σειρά εικόνων, στην περίπτωση βίντεο), αντί για ατομικά, απομονωμένα στοιχεία που είναι τυπικά απαραίτητα για διάφορες εφαρμογές σε πολυμέσα και για επαγγελματίες οπτικών εφέ.

Ένα απλό παράδειγμα είναι το clip-art που σχεδιάζεται για να “πλέει” πάνω από όποιο στόχο φόντο έχει επιλέξει ο χρήστης:

Το γκρι-ασπρό φόντο, ίσως πιο οικείο στους χρήστες του Photoshop, έχει έρθει να αντιπροσωπεύει το κανάλι αλφα, ή κανάλι διαφάνειας, ακόμη και σε απλές καταναλωτικές εικόνες.

Το γκρι-ασπρό φόντο, ίσως πιο οικείο στους χρήστες του Photoshop, έχει έρθει να αντιπροσωπεύει το κανάλι αλφα, ή κανάλι διαφάνειας, ακόμη και σε απλές καταναλωτικές εικόνες.

Η διαφάνεια αυτού του είδους έχει διατεθεί για πάνω από τριάντα χρόνια· από τη ψηφιακή επανάσταση της αρχής της δεκαετίας του 1990, οι χρήστες ήταν σε θέση να εξάγουν στοιχεία από βίντεο και εικόνες μέσω μιας ολοένα και πιο εξελιγμένης σειράς εργαλείων και τεχνικών.

Για παράδειγμα, η πρόκληση της “απαλλαγής” των φόντων μπλε οθόνης και πράσινης οθόνης σε βίντεο, που κάποτε ήταν το πεδίο των ακριβών χημικών διαδικασιών και οπτικών εκτυπωτών (όπως και χειροποίητα ματ), θα γινόταν το έργο των λεπτών σε συστήματα όπως τα Adobe’s After Effects και Photoshop εφαρμογές (μεταξύ πολλών άλλων δωρεάν και ιδιόκτητων προγραμμάτων και συστημάτων).

Μόλις ένα στοιχείο έχει απομονωθεί, ένα κανάλι αλφα (που λειτουργεί ως μάσκα που σκεπάζει οποιοδήποτε μη σχετικό περιεχόμενο) επιτρέπει σε οποιοδήποτε στοιχείο στο βίντεο να τοποθετηθεί άνετα πάνω από νέα φόντα, ή να συνθέτει μαζί με άλλα απομονωμένα στοιχεία.

Παραδείγματα καναλιών αλφα, με τις επιδράσεις τους που απεικονίζονται στη χαμηλότερη σειρά. Πηγή: https://helpx.adobe.com/photoshop/using/saving-selections-alpha-channel-masks.html

Παραδείγματα καναλιών αλφα, με τις επιδράσεις τους που απεικονίζονται στη χαμηλότερη σειρά. Source: https://helpx.adobe.com/photoshop/using/saving-selections-alpha-channel-masks.html

Απαλλαγή

Στην υπολογιστική όραση, η δημιουργία καναλιών αλφα εμπίπτει στην αιγίδα της σεμαντικής τομής, με ανοικτά προγράμματα όπως το Segment Anything της Meta να παρέχουν μια μεθόδους που μπορεί να ενεργοποιηθεί με κείμενο, για την απομόνωση/εξαγωγή στόχων αντικειμένων, μέσω σεματικά-βελτιωμένης αναγνώρισης αντικειμένων.

Το πλαίσιο Segment Anything έχει χρησιμοποιηθεί σε eine ευρεία γκάμα εργοστασιακών ροών και εξαγωγής οπτικών εφέ, όπως το Alpha-CLIP project.

Παραδείγματα εξαγωγών χρησιμοποιώντας Segment Anything, στο πλαίσιο Alpha-CLIP: Πηγή: https://arxiv.org/pdf/2312.03818

Παραδείγματα εξαγωγών χρησιμοποιώντας Segment Anything, στο πλαίσιο Alpha-CLIP: Source: https://arxiv.org/pdf/2312.03818

Υπάρχουν πολλές εναλλακτικές μεθόδους σεμαντικής τομής που μπορούν να προσαρμοστούν στην εργασία της ανάθεσης καναλιών αλφα.

Ωστόσο, η σεμαντική τομή βασίζεται σε εκπαιδευμένα δεδομένα που μπορεί να μην περιέχουν όλες τις κατηγορίες αντικειμένων που απαιτούνται να εξαχθούν. Αν και μοντέλα που εκπαιδεύονται σε πολύ υψηλά όγκους δεδομένων μπορούν να ενεργοποιήσουν ένα ευρύτερο φάσμα αντικειμένων να αναγνωριστούν (πρακτικά γίνονται μοντέλα θεμελίωσης, ή μοντέλα κόσμου), είναι ωστόσο περιορισμένα από τις κατηγορίες που εκπαιδεύονται να αναγνωρίζουν πιο αποτελεσματικά.

Συστήματα σεμαντικής τομής όπως το Segment Anything μπορούν να δυσκολευτούν να αναγνωρίσουν certains αντικείμενα, ή μέρη αντικειμένων, όπως φαίνεται εδώ στην έξοδο από αμφίβολες προτροπές. Πηγή: https://maucher.pages.mi.hdm-stuttgart.de/orbook/deeplearning/SAM.html

Συστήματα σεμαντικής τομής όπως το Segment Anything μπορούν να δυσκολευτούν να αναγνωρίσουν certains αντικείμενα, ή μέρη αντικειμένων, όπως φαίνεται εδώ στην έξοδο από αμφίβολες προτροπές. Source: https://maucher.pages.mi.hdm-stuttgart.de/orbook/deeplearning/SAM.html

Σε κάθε περίπτωση, η σεμαντική τομή είναι τόσο μια μετά διαδικασία όσο και μια διαδικασία πράσινης οθόνης, και πρέπει να απομονώσει στοιχεία χωρίς το πλεονέκτημα ενός單ικού φόντου χρώματος που μπορεί να αναγνωριστεί αποτελεσματικά και να αφαιρεθεί.

Για αυτόν τον λόγο, έχει συμβεί περιστασιακά στην κοινότητα χρηστών ότι εικόνες και βίντεο θα μπορούσαν να γεννηθούν που να περιέχουν φόντα πράσινης οθόνης που θα μπορούσαν να αφαιρεθούν άμεσα με συμβατικές μεθόδους.

Δυστυχώς, δημοφιλείς μοντέλα διάχυσης όπως το Stable Diffusion συχνά έχουν κάποια δυσκολία στο να αποδώσουν μια πραγματικά ζωηρή πράσινη οθόνη. Αυτό οφείλεται στο ότι τα μοντέλα δεν έχουν εκπαιδευτεί σε πολλά παραδείγματα αυτής της rather εξειδικευμένης περίπτωσης. Ακόμη και όταν το σύστημα πετυχαίνει, η ιδέα του ‘πράσινου’ έχει την τάση να εξαπλώνεται σε μη επιθυμητό τρόπο στο αντικείμενο του προσώπου, λόγω εμπλεξίας:

Πάνω, βλέπουμε ότι το Stable Diffusion έχει προτεραιότητα στην αυθεντικότητα της εικόνας έναντι της ανάγκης να δημιουργήσει μια単ια ένταση πράσινου, αποτελεσματικά αναπαράγοντας προβλήματα του πραγματικού κόσμου που συμβαίνουν σε παραδοσιακές σκηνές πράσινης οθόνης. Κάτω, βλέπουμε ότι η 'πράσινη' έννοια έχει μολύνει την εικόνα του προσώπου. Όσο περισσότερο η προτροπή εστιάζει στην 'πράσινη' έννοια, τόσο χειρότερο αυτό το πρόβλημα είναι πιθανό να γίνει. Πηγή: https://stablediffusionweb.com/

Πάνω, βλέπουμε ότι το Stable Diffusion έχει προτεραιότητα στην αυθεντικότητα της εικόνας έναντι της ανάγκης να δημιουργήσει μια単ια ένταση πράσινου, αποτελεσματικά αναπαράγοντας προβλήματα του πραγματικού κόσμου που συμβαίνουν σε παραδοσιακές σκηνές πράσινης οθόνης. Κάτω, βλέπουμε ότι η ‘πράσινη’ έννοια έχει μολύνει την εικόνα του προσώπου. Όσο περισσότερο η προτροπή εστιάζει στην ‘πράσινη’ έννοια, τόσο χειρότερο αυτό το πρόβλημα είναι πιθανό να γίνει. Source: https://stablediffusionweb.com/

Παρά τις προηγμένες μεθόδους που χρησιμοποιούνται, και το φόρεμα της γυναίκας και το γαλάζιο του άνδρα (στους κατώτερους εικόνες που φαίνονται παραπάνω) θα είχαν την τάση να ‘απαλλαγούν’ μαζί με το φόντο πράσινης οθόνης – ένα πρόβλημα που χρονολογείται από τις ημέρες της φωτοχημικής εκχύλισης σε χρωστικές ουσίες στις δεκαετίες του 1970 και 1980.

Όπως πάντα, τα ελαττώματα ενός μοντέλου μπορούν να ξεπεραστούν με την ρίψη συγκεκριμένων δεδομένων σε ένα πρόβλημα, και την αφιέρωση σημαντικών πόρων εκπαίδευσης. Συστήματα όπως το LayerDiffuse της Stanford το 2024 δημιουργούν ένα εξειδικευμένο μοντέλο ικανό να γεννήσει εικόνες με κανάλια αλφα:

Το εγχείρημα LayerDiffuse της Stanford εκπαιδεύτηκε σε ένα εκατομμύριο κατάλληλα εικόνες ικανές να ενδυναμώσουν το μοντέλο με ικανότητες διαφάνειας. Πηγή: https://arxiv.org/pdf/2402.17113

Το εγχείρημα LayerDiffuse της Stanford εκπαιδεύτηκε σε ένα εκατομμύριο κατάλληλα εικόνες ικανές να ενδυναμώσουν το μοντέλο με ικανότητες διαφάνειας. Source: https://arxiv.org/pdf/2402.17113

Δυστυχώς, εκτός από τους σημαντικούς πόρους επιμέλειας και εκπαίδευσης που απαιτούνται για αυτήν την προσέγγιση, το σύνολο δεδομένων που χρησιμοποιήθηκε για το LayerDiffuse δεν είναι δημόσια διαθέσιμο, περιορίζοντας τη χρήση των μοντέλων που εκπαιδεύονται σε αυτό. Ακόμη και αν αυτό το εμπόδιο δεν υπήρχε, αυτή η προσέγγιση είναι δύσκολο να προσαρμοστεί ή να αναπτυχθεί για συγκεκριμένες περιπτώσεις χρήσης.

Λίγο αργότερα το 2024, η Adobe Research συνεργάστηκε με το Πανεπιστήμιο Stonybrook για να παράγει MAGICK, μια προσέγγιση εξαγωγής AI που εκπαιδεύτηκε σε εικόνες διάχυσης που δημιουργήθηκαν με προσωποποίηση.

Από το έγγραφο του 2024, ένα παράδειγμα εξαγωγής καναλιών αλφα σε MAGICK. Πηγή: https://openaccess.thecvf.com/content/CVPR2024/papers/Burgert_MAGICK_A_Large-scale_Captioned_Dataset_from_Matting_Generated_Images_using_CVPR_2024_paper.pdf

Από το έγγραφο του 2024, ένα παράδειγμα εξαγωγής καναλιών αλφα σε MAGICK. Source: https://openaccess.thecvf.com/content/CVPR2024/papers/Burgert_MAGICK_A_Large-scale_Captioned_Dataset_from_Matting_Generated_Images_using_CVPR_2024_paper.pdf

150.000 εξαγόμενα, AI-γεννημένα αντικείμενα χρησιμοποιήθηκαν για να εκπαιδεύσουν το MAGICK, ώστε το σύστημα να αναπτύξει μια ενστικτώδη κατανόηση της εξαγωγής:

Δείγματα από το σύνολο δεδομένων MAGICK.

Δείγματα από το σύνολο δεδομένων MAGICK.

Αυτό το σύνολο δεδομένων, όπως αναφέρει το έγγραφο, ήταν πολύ δύσκολο να παραχθεί για τον προαναφερθέντα λόγο – ότι οι μεθόδους διάχυσης έχουν δυσκολία στη δημιουργία στεγνών, κωδικοποιημένων χρωμάτων. Για αυτόν τον λόγο, η χειροκίνητη επιλογή των γεννημένων ματ ήταν αναγκαία.

Αυτή η logistikh εμπόδιο οδηγεί και πάλι σε ένα σύστημα που δεν μπορεί να αναπτυχθεί ή να προσαρμοστεί εύκολα, αλλά πρέπει να χρησιμοποιηθεί εντός του αρχικά εκπαιδευμένου εύρους ικανοτήτων.

TKG-DM – ‘Εγγενής’ Εξαγωγή Χρώματος για ένα Μοντέλο Διάχυσης

Μια νέα συνεργασία μεταξύ Γερμανών και Ιαπώνων ερευνητών έχει προτείνει μια εναλλακτική σε τέτοιες εκπαιδευμένες μεθόδους, ικανή – όπως αναφέρει το έγγραφο – να αποκτήσει καλύτερα αποτελέσματα από τις παραπάνω μεθόδους, χωρίς την ανάγκη να εκπαιδευτεί σε ειδικά επιμελημένα σύνολα δεδομένων.

Το TKG-DM αλλάζει τον τυχαίο θόρυβο που σπέρνει μια γεννημένη εικόνα, ώστε να είναι ικανότερο να παράγει ένα στεγνό, κωδικοποιημένο φόντο – σε οποιοδήποτε χρώμα. Πηγή: https://arxiv.org/pdf/2411.15580

Το TKG-DM αλλάζει τον τυχαίο θόρυβο που σπέρνει μια γεννημένη εικόνα, ώστε να είναι ικανότερο να παράγει ένα στεγνό, κωδικοποιημένο φόντο – σε οποιοδήποτε χρώμα. Source: https://arxiv.org/pdf/2411.15580

Η νέα μέθοδος προσεγγίζει το πρόβλημα στο επίπεδο της γεννήτριας, βελτιώνοντας τον τυχαίο θόρυβο από τον οποίο μια εικόνα γεννιέται σε ένα μοντέλο διάχυσης (LDM) όπως το Stable Diffusion.

Η προσέγγιση βασίζεται σε μια πρότερη έρευνα σχετικά με το χρωματικό σχήμα μιας κατανομής Stable Diffusion, και είναι ικανή να παράγει φόντο χρώματος οποιουδήποτε είδους, με λιγότερη (ή καθόλου) εμπλεξία του κωδικοποιημένου χρώματος φόντου στο περιεχόμενο προσώπου, σε σύγκριση με άλλες μεθόδους.

Ο αρχικός θόρυβος είναι προϋποθετικός με μια μετατόπιση μέσης καναλιού που μπορεί να επηρεάσει аспектς της διαδικασίας αποσύνδεσης, χωρίς να εμπλέκει το σήμα χρώματος στο περιεχόμενο προσώπου.

Ο αρχικός θόρυβος είναι προϋποθετικός με μια μετατόπιση μέσης καναλιού που μπορεί να επηρεάσει аспектς της διαδικασίας αποσύνδεσης, χωρίς να εμπλέκει το σήμα χρώματος στο περιεχόμενο προσώπου.

Το έγγραφο αναφέρει:

‘Οι εκτεταμένες πειραματικές μας έρευνες αποδεικνύουν ότι το TKG-DM βελτιώνει τους δείκτες FID και mask-FID κατά 33,7% και 35,9%, αντίστοιχα.

‘Έτσι, το μοντέλο μας χωρίς εκπαίδευση ανταγωνίζεται τα εξειδικευμένα μοντέλα, προσφέροντας μια αποτελεσματική και ποικίλη λύση για διάφορες εργασίες δημιουργίας οπτικού περιεχομένου που απαιτούν ακριβή έλεγχο προσώπου και φόντου. ‘

Το νέο έγγραφο έχει τον τίτλο TKG-DM: Μοντέλο Διάχυσης για τη Γεννήτρια Περιεχομένου Χρωμάτων, και προέρχεται από επτά ερευνητές σε Πανεπιστήμια Hosei στο Τόκιο και RPTU Kaiserslautern-Landau & DFKI GmbH, στο Kaiserslautern.

Μέθοδος

Η νέα προσέγγιση επεκτείνει την αρχιτεκτονική του Stable Diffusion με την προϋπόθεση του αρχικού ガウσιανού θορύβου μέσω μιας μετατόπισης μέσης καναλιού(CMS), που παράγει μοτίβα θορύβου που σχεδιάζονται για να ενθαρρύνουν την επιθυμητή διάκριση φόντου/προσώπου στην παραγόμενη εικόνα.

Σχήμα για τη ροή του προτεινόμενου συστήματος.

Σχήμα για τη ροή του προτεινόμενου συστήματος.

Η CMS điều chỉnh την μέση κάθε καναλιού χρώματος ενώ διατηρεί την γενική εξέλιξη της διαδικασίας αποσύνδεσης.

Οι συγγραφείς εξηγούν:

‘Για να γεννήσουμε το αντικείμενο προσώπου στο φόντο χρωμάτων, εφαρμόζουμε μια στρατηγική επιλογής αρχικού θορύβου που συνδυάζει επιλεκτικά τον αρχικό [θόρυβο] και τον αρχικό [θόρυβο] χρώματος χρησιμοποιώντας μια 2D ガウσιανή μάσκα.

‘Αυτή η μάσκα δημιουργεί μια σταδιακή μετάβαση διατηρώντας τον αρχικό θόρυβο στην περιοχή προσώπου και εφαρμόζοντας τον θόρυβο που έχει μετατοπιστεί στο χρώμα στην περιοχή φόντου.’

Το κανάλι χρώματος που επιθυμούμε για το φόντο χρωμάτων είναι προϋποθετικό με μια κενή προτροπή κειμένου, ενώ το πραγματικό περιεχόμενο προσώπου δημιουργείται σεματικά από τις οδηγίες κειμένου του χρήστη.

Το κανάλι χρώματος που επιθυμούμε για το φόντο χρωμάτων είναι προϋποθετικό με μια κενή προτροπή κειμένου, ενώ το πραγματικό περιεχόμενο προσώπου δημιουργείται σεματικά από τις οδηγίες κειμένου του χρήστη.

Προσοχή σε εαυτό και διασταύρωση προσοχής χρησιμοποιούνται για να διαχωρίσουν τα δύο πρόσωπα της εικόνας (το φόντο χρωμάτων και το περιεχόμενο προσώπου). Η προσοχή σε εαυτό βοηθά στην εσωτερική συνεχή του αντικειμένου προσώπου, ενώ η διασταύρωση προσοχής διατηρεί την πιστότητα στην προτροπή κειμένου. Το έγγραφο σημειώνει ότι既然 το φόντο είναι συνήθως λιγότερο λεπτομερές και τονίζεται στις γεννήσεις, η ασθενέστερη επιρροή του είναι σχετικά εύκολη να υπερβεί και να αντικατασταθεί με μια στεγνή πλάτη χρώματος.

Μια οπτική αναπαράσταση της επιρροής της προσοχής σε εαυτό και της διασταύρωσης προσοχής στη διαδικασία γεννήτριας χρωμάτων.

Μια οπτική αναπαράσταση της επιρροής της προσοχής σε εαυτό και της διασταύρωσης προσοχής στη διαδικασία γεννήτριας χρωμάτων.

Δεδομένα και Δοκιμές

Το TKG-DM δοκιμάστηκε χρησιμοποιώντας το Stable Diffusion V1.5 και το Stable Diffusion SDXL. Οι εικόνες γεννήθηκαν σε 512x512px και 1024x1024px, αντίστοιχα.

Οι εικόνες δημιουργήθηκαν χρησιμοποιώντας τον DDIM scheduler που είναι εγγενής στο Stable Diffusion, με ένα κλίμακα καθοδήγησης 7,5, με 50 βήματα αποσύνδεσης. Το στόχο φόντο χρώματος ήταν πράσινο, τώρα η доминиώνουσα μέθοδος απαλλαγής.

Η νέα προσέγγιση συγκρίθηκε με το DeepFloyd, υπό τις ρυθμίσεις που χρησιμοποιήθηκαν για το MAGICK· με το εξειδικευμένο μοντέλο διάχυσης χαμηλού βαθμού GreenBack LoRA· και επίσης με το προαναφερθέν LayerDiffuse.

Για τα δεδομένα, χρησιμοποιήθηκαν 3000 εικόνες από το σύνολο δεδομένων MAGICK.

Παραδείγματα από το σύνολο δεδομένων MAGICK, από τα οποία 3000 εικόνες επιλέχθηκαν για δοκιμές του νέου συστήματος. Πηγή: https://ryanndagreat.github.io/MAGICK/Explorer/magick_rgba_explorer.html

Παραδείγματα από το σύνολο δεδομένων MAGICK, από τα οποία 3000 εικόνες επιλέχθηκαν για δοκιμές του νέου συστήματος. Source: https://ryanndagreat.github.io/MAGICK/Explorer/magick_rgba_explorer.html

Για μετρικές, οι συγγραφείς χρησιμοποιούν Fréchet Inception Distance (FID) για να αξιολογήσουν την ποιότητα του προσώπου. Επίσης, ανέπτυξαν μια μετρική ειδική για το έργο που ονομάζεται m-FID, η οποία χρησιμοποιεί το BiRefNet σύστημα για να αξιολογήσει την ποιότητα της παραγόμενης μάσκας.

Οπτικές συγκρίσεις του BiRefNet συστήματος με προηγούμενες μεθόδους. Πηγή: https://arxiv.org/pdf/2401.03407

Οπτικές συγκρίσεις του BiRefNet συστήματος με προηγούμενες μεθόδους. Source: https://arxiv.org/pdf/2401.03407

Για να δοκιμάσουν την σεματική ευθυγράμμιση με τις εισαγωγικές προτροπές, χρησιμοποιήθηκαν οι μεθόδους CLIP-Sentence (CLIP-S) και CLIP-Image (CLIP-I). Η CLIP-S αξιολογεί την πιστότητα της προτροπής, και η CLIP-I την οπτική ομοιότητα με την πραγματική εικόνα.

Πρώτο σύνολο ποιοτικών αποτελεσμάτων για τη νέα μέθοδο, αυτή τη φορά για το Stable Diffusion V1.5. Παρακαλώ αναφερθείτε στο αρχείο PDF για καλύτερη ανάλυση.

Πρώτο σύνολο ποιοτικών αποτελεσμάτων για τη νέα μέθοδο, αυτή τη φορά για το Stable Diffusion V1.5. Παρακαλώ αναφερθείτε στο αρχείο PDF για καλύτερη ανάλυση.

Οι συγγραφείς ισχυρίζονται ότι τα αποτελέσματα (οπτικά παραπάνω και κάτω, SD1.5 και SDXL, αντίστοιχα) αποδεικνύουν ότι το TKG-DM αποκτά ανώτερα αποτελέσματα χωρίς την ανάγκη για προγραμματισμό προτροπής ή την ανάγκη να εκπαιδεύσει ή να εξειδικεύσει ένα μοντέλο.

Αποτελέσματα ποιοτικής SDXL. Παρακαλώ αναφερθείτε στο αρχείο PDF για καλύτερη ανάλυση.

Αποτελέσματα ποιοτικής SDXL. Παρακαλώ αναφερθείτε στο αρχείο PDF για καλύτερη ανάλυση.

Σημειώνουν ότι με μια προτροπή για να incite ένα πράσινο φόντο στις γεννημένες εικόνες, το Stable Diffusion 1.5 έχει δυσκολία στη δημιουργία ενός καθαρού φόντου, ενώ το SDXL (αν και εκτελείται λίγο καλύτερα) παράγει ασταθείς πράσινες αποχρώσεις που είναι πιθανό να παρεμβαίνουν στη διάκριση σε μια διαδικασία χρωμάτων.

Σημειώνουν επίσης ότι ενώ το LayerDiffuse γεννήτειρα καλά διαχωρισμένα φόντα, đôi的时候 χάνει λεπτομέρειες, όπως ακριβείς αριθμούς ή γράμματα, και οι συγγραφείς αποδίδουν αυτό στις περιορισμούς του συνόλου δεδομένων. Προσθέτουν ότι η γεννήτρια μάσκας đôi的时候 αποτυγχάνει, οδηγώντας σε ‘ακατέργαστες’ εικόνες.

Για ποσοτικές δοκιμές, αν και το LayerDiffuse φαίνεται να έχει το πλεονέκτημα στο SDXL για FID, οι συγγραφείς τονίζουν ότι αυτό είναι το αποτέλεσμα ενός ειδικού συνόλου δεδομένων που αποτελεί ένα ‘ψημένο’ και μη-ελαστικό προϊόν. Όπως αναφέρθηκε νωρίτερα, οποιαδήποτε αντικείμενα ή κατηγορίες που δεν καλύπτονται σε αυτό το σύνολο δεδομένων, ή που δεν καλύπτονται επαρκώς, μπορεί να μην εκτελεστούν τόσο καλά, ενώ η περαιτέρω εξειδίκευση για να καλύψει νέες κατηγορίες παρουσιάζει στον χρήστη μια επιβάρυνση επιμέλειας και εκπαίδευσης.

Ποσοτικά αποτελέσματα για τις συγκρίσεις. Το φαινομενικό πλεονέκτημα του LayerDiffuse, το έγγραφο υποδηλώνει, έρχεται με το κόστος της ευελιξίας, και της επιβάρυνσης δεδομένων και εκπαίδευσης.

Ποσοτικά αποτελέσματα για τις συγκρίσεις. Το φαινομενικό πλεονέκτημα του LayerDiffuse, το έγγραφο υποδηλώνει, έρχεται με το κόστος της ευελιξίας, και της επιβάρυνσης δεδομένων και εκπαίδευσης.

Το έγγραφο αναφέρει:

‘Το υψηλό FID, m-FID, και CLIP-I του DeepFloyd αντανακλούν τη ομοιότητα του με την πραγματική εικόνα, με βάση τις εξόδους του DeepFloyd. Ωστόσο, αυτή η ευθυγράμμιση του δίνει ένα εγγενές πλεονέκτημα, καθιστώντας το μη ισότιμο ως βάση σύγκρισης για την ποιότητα εικόνας. Το χαμηλότερο CLIP-S του σκορ επίσης υποδηλώνει ασθενέστερη σεματική ευθυγράμμιση σε σύγκριση με άλλα μοντέλα.’

Συνολικά, αυτά τα αποτελέσματα υπογραμμίζουν την ικανότητα του μοντέλου μας να γεννήσει υψηλής ποιότητας, σεματικά ευθυγραμμισμένα πρόσωπα χωρίς εξειδίκευση, προσφέροντας μια αποτελεσματική λύση για τη γεννήτρια περιεχομένου χρωμάτων.’

Τέλος, οι ερευνητές διεξήγαγαν μια μελέτη χρηστών για να αξιολογήσουν την πιστότητα της προτροπής σε διάφορες μεθόδους. 100 συμμετέχοντες ζητήθηκαν να κρίνουν 30 ζευγάρια εικόνων από κάθε μέθοδο, με αντικείμενα που εξάγονται χρησιμοποιώντας BiRefNet και χειροκίνητες βελτιώσεις σε όλα τα παραδείγματα. Η προσέγγιση του μοντέλου χωρίς εκπαίδευση προτιμήθηκε σε αυτή τη μελέτη.

Αποτελέσματα από τη μελέτη χρηστών.

Αποτελέσματα από τη μελέτη χρηστών.

Το TKG-DM είναι συμβατό με το δημοφιλές ControlNet σύστημα τρίτων για το Stable Diffusion, και οι συγγραφείς ισχυρίζονται ότι παράγει ανώτερα αποτελέσματα από την εγγενή ικανότητα του ControlNet να επιτύχει αυτό το είδος διάκρισης.

Συμπέρασμα

Πιθανώς το πιο αξιοσημείωτο συμπέρασμα από αυτό το νέο έγγραφο είναι το βαθμό στον οποίο τα μοντέλα διάχυσης είναι εμπλεγμένα, σε αντίθεση με την δημοφιλή δημόσια αντίληψη ότι μπορούν να διαχωρίσουν εύκολα πρόσωπα εικόνων και βίντεο όταν γεννήτρια νέου περιεχομένου.

Η μελέτη τονίζει επίσης το βαθμό στον οποίο η ερευνητική και ερασιτεχνική κοινότητα έχει στραφεί στην εξειδίκευση ως μια μετά λύση για τα ελαττώματα των μοντέλων – μια λύση που θα απευθυνθεί σε συγκεκριμένες κατηγορίες και τύπους αντικειμένων. Σε τέτοια περίπτωση, ένα εξειδικευμένο μοντέλο θα λειτουργήσει πολύ καλά σε một περιορισμένο αριθμό κατηγοριών, ή θα λειτουργήσει ανοχή καλά σε ένα πολύ μεγαλύτερο όγκο πιθανών κατηγοριών και αντικειμένων, σύμφωνα με μεγαλύτερες ποσότητες δεδομένων στα σύνολα εκπαίδευσης.

Επομένως, είναι αναζωογονητικό να δούμε τουλάχιστον μια λύση που δεν βασίζεται σε τέτοιες εργοβόρες και αμφισβητούμενες λύσεις.

 

* Γυρίζοντας την ταινία του 1978 Superman, ο ηθοποιός Christopher Reeve ήταν υποχρεωμένος να φορέσει ένα τυρκουάζ κοστούμι Superman για λήψεις μπλε οθόνης, για να αποφευχθεί η εικονική μπλε στολή να διαγραφεί. Το μπλε χρώμα του κοστούμιου αποκαταστάθηκε αργότερα μέσω χρωματικής βαθμίδας.

Συγγραφέας για μηχανική μάθηση, ειδικός σε σύνθεση εικόνων ανθρώπων. Πρώην επικεφαλής ερευνητικού περιεχομένου στη Metaphysic.ai, μέχρι τη διάλυση της στην DNEG's Brahma.ai.
Portfolio site: martinanderson.ai
Contact: [email protected]