Η ανάπτυξη των βαθιάς γενετικής τεχνητής νοημοσύνης έχει επιταχύνει σημαντικά την ανάπτυξη της ΤΝ με αξιοσημείωτες ικανότητες στη φυσική γλώσσα, 3D γενετική, σύνθεση εικόνας και σύνθεση ομιλίας. Τα 3D γενετικά μοντέλα έχουν μεταμορφώσει πολλές βιομηχανίες και εφαρμογές, επαναπροσδιορίζοντας το τρέχον τοπίο παραγωγής 3D. Ωστόσο, πολλά τρέχοντα βαθιά γενετικά μοντέλα αντιμετωπίζουν ένα κοινό εμπόδιο: οι σύνθετες συνδέσεις και οι γενετικές πλέγματα με κείμενο είναι συχνά ασυμβίβαστες με τις παραδοσιακές αγωγούς απόδοσης όπως η PBR (Φυσικά Βασισμένη Απόδοση). Τα μοντέλα που βασίζονται στη διάχυση, τα οποία γεννούν 3D περιουσίες χωρίς κείμενο, κατέχουν αξιοσημείωτες ικανότητες για τη γενετική 3D περιουσίας, ενισχύοντας τα υπάρχοντα 3D πλαίσια σε βιομηχανίες όπως η κινηματογράφηση, τα βιντεοπαιχνίδια και η εικονική/αυξημένη πραγματικότητα.

Σε αυτό το άρθρο, θα συζητήσουμε το Paint3D, ένα καινοτόμο πλαίσιο από το χονδρό στο λεπτό που είναι ικανό να παράγει ποικιλόμορφες, υψηλής ανάλυσης 2K UV χαρτογραφήσεις κειμένου για 3D πλέγματα χωρίς κείμενο, υπό την προϋπόθεση ότι είναι συνδεδεμένα είτε με οπτικές είτε με κειμενικές εισόδους. Η κύρια πρόκληση που αντιμετωπίζει το Paint3D είναι η γενετική υψηλής ποιότητας κειμένων χωρίς την ενσωμάτωση πληροφοριών φωτισμού, επιτρέποντας στους χρήστες να επεξεργαστούν ή να επαναφωτίσουν μέσα στις σύγχρονες γραφικές αγωγούς. Για να αντιμετωπίσουν αυτό το ζήτημα, το πλαίσιο Paint3D χρησιμοποιεί ένα προ-εκπαιδευμένο 2D μοντέλο διάχυσης εικόνας για να εκτελέσει τη σύντηξη κειμένου πολλαπλών προβολών και να γεννήσει εικόνες υπό προϋποθέσεις, αρχικά παράγοντας μια χονδρή χαρτογραφία κειμένου. Ωστόσο, поскольку τα 2D μοντέλα δεν μπορούν να απενεργοποιήσουν πλήρως τις επιδράσεις φωτισμού ή να αντιπροσωπεύσουν πλήρως τις 3D μορφές, η χαρτογραφία κειμένου μπορεί να παρουσιάσει αποχρώσεις φωτισμού και ατελείωτες περιοχές.

In αυτό το άρθρο, θα εξετάσουμε το Paint3D σε βάθος, εξετάζοντας την λειτουργία και την αρχιτεκτονική του, και το συγκρίνουμε με τα τρέχοντα βαθιά γενετικά πλαίσια. Έτσι, ας ξεκινήσουμε.

Paint3D: Μια Εισαγωγή

Τα βαθιά γενετικά μοντέλα ΤΝ έχουν επιδείξει εξαιρετικές ικανότητες στη φυσική γλώσσα, 3D γενετική, και σύνθεση εικόνας, και έχουν εφαρμοστεί σε πραγματικές εφαρμογές, επαναπροσδιορίζοντας τη βιομηχανία 3D γενετικής. Ωστόσο, παρά τις αξιοσημείωτες ικανότητές τους, τα σύγχρονα βαθιά γενετικά πλαίσια ΤΝ συχνά παράγουν πλέγματα με σύνθετες συνδέσεις και χαотικές αποχρώσεις φωτισμού που είναι ασυμβίβαστες με τις παραδοσιακές αγωγούς απόδοσης, συμπεριλαμβανομένης της PBR. Παρόμοια, η σύνθεση κειμένου έχει προοδεύσει ταχύτατα, ιδιαίτερα με τη χρήση 2D μοντέλων διάχυσης. Αυτά τα μοντέλα χρησιμοποιούν αποτελεσματικά προ-εκπαιδευμένα μοντέλα διάχυσης εικόνας και κειμενικές προϋποθέσεις για να γεννήσουν υψηλής ποιότητας κείμενα. Ωστόσο, μια σημαντική πρόκληση παραμένει: τα προ-φωτισμένα κείμενα μπορούν να επηρεάσουν αρνητικά τις τελικές 3D αποδώσεις, εισάγοντας σφάλματα φωτισμού όταν τα φώτα調整ονται μέσα στις κοινές ροές εργασίας, όπως φαίνεται στην ακόλουθη εικόνα.

Όπως παρατηρείται, οι χαρτογραφίες κειμένου χωρίς προ-φωτισμό λειτουργούν ομαλά με τις παραδοσιακές αγωγούς απόδοσης, παρέχοντας ακριβή αποτελέσματα. Αντίθετα, οι χαρτογραφίες κειμένου με προ-φωτισμό περιλαμβάνουν ακατάλληλες σκιές όταν εφαρμόζεται η επαναφωτισμός. Τα πλαίσια γενετικής κειμένου που εκπαιδεύονται σε δεδομένα 3D προσφέρουν μια εναλλακτική προσέγγιση, γεννώντας κείμενα με την κατανόηση της γεωμετρίας ενός συγκεκριμένου 3D αντικειμένου. Αν και αυτά τα πλαίσια μπορεί να παράγουν καλύτερα αποτελέσματα, τους λείπουν οι ικανότητες γενίκευσης που απαιτούνται για να εφαρμοστούν το μοντέλο σε 3D αντικείμενα έξω από τα δεδομένα εκπαίδευσης.

Τα τρέχοντα μοντέλα γενετικής κειμένου αντιμετωπίζουν δύο κρίσιμες προκλήσεις: την επίτευξη ευρείας γενίκευσης σε διαφορετικά αντικείμενα με οπτική καθοδήγηση ή ποικίλες προτροπές, και την εξάλειψη συνδεδεμένων επιδράσεων φωτισμού από τα αποτελέσματα εκπαίδευσης. Τα προ-φωτισμένα κείμενα μπορούν να παρεμβαίνουν στα τελικά αποτελέσματα των κειμένων αντικειμένων μέσα στις αγωγούς απόδοσης. Επιπλέον, поскольку τα προ-εκπαιδευμένα 2D μοντέλα διάχυσης παρέχουν μόνο 2D αποτελέσματα στο domaine προβολής, τους λείπουν μια ολοκληρωμένη κατανόηση των μορφών, οδηγώντας σε ασυνέπειες στη διατήρηση της συνέχειας προβολής για 3D αντικείμενα.

Για να αντιμετωπίσουν αυτές τις προκλήσεις, το πλαίσιο Paint3D αναπτύσσει ένα διπλό σταδίου μοντέλο διάχυσης κειμένου για 3D αντικείμενα που γενικεύει σε διαφορετικά προ-εκπαιδευμένα γενετικά μοντέλα και διατηρεί τη συνέχεια προβολής während της γενετικής κειμένου χωρίς φωτισμό.

Το Paint3D είναι ένα διπλό σταδίου, από το χονδρό στο λεπτό μοντέλο κειμένου που αξιοποιεί τις ισχυρές προτροπές καθοδήγηση και τις ικανότητες σύνθεσης εικόνας των προ-εκπαιδευμένων γενετικών μοντέλων ΤΝ για να κειμενοποιήσει 3D αντικείμενα. Στο πρώτο σταδίο, το Paint3D δείγμα πολλαπλών προβολών εικόνας από ένα προ-εκπαιδευμένο 2D μοντέλο διάχυσης εικόνας προοδευτικά, ermögνωντας τη γενίκευση υψηλής ποιότητας, πλούσιων αποτελεσμάτων κειμένου από διαφορετικές προτροπές. Το μοντέλο παράγει αρχικά μια χονδρή χαρτογραφία κειμένου με την επανα-projection αυτών των εικόνων στην επιφάνεια του 3D πλέγματος. Στο δεύτερο σταδίο, το μοντέλο εστιάζεται στη γενετική κειμένου χωρίς φωτισμό, εφαρμόζοντας προσεγγίσεις που χρησιμοποιούνται από μοντέλα διάχυσης που ειδικεύονται στην εξάλειψη επιδράσεων φωτισμού και την εξειδίκευση περιοχών μορφής. καθ’ όλη τη διάρκεια της διαδικασίας, το πλαίσιο Paint3D παράγει συνεχώς υψηλής ποιότητας 2K κείμενα σεμάντικά, εξαλείφοντας τις εγγενείς επιδράσεις φωτισμού.

Συνοπτικά, το Paint3D είναι ένα καινοτόμο, από το χονδρό στο λεπτό γενετικό μοντέλο ΤΝ που σχεδιάζεται για να παράγει ποικιλόμορφες, κείμενα χωρίς φωτισμό, υψηλής ανάλυσης 2K UV χαρτογραφήσεις κειμένου για 3D πλέγματα χωρίς κείμενο. Στόχος του είναι να επιτύχει την κορυφαία απόδοση στη κειμενοποίηση 3D αντικειμένων με διαφορετικές προϋποθέσεις, συμπεριλαμβανομένων κειμένου και εικόνων, προσφέροντας σημαντικά πλεονεκτήματα για σύνθεση και γραφικά εργαλεία.

Μέθοδος και Αρχιτεκτονική

Το πλαίσιο Paint3D γεννά και εξειδικεύει χαρτογραφίες κειμένου προοδευτικά για να παράγει ποικιλόμορφες και υψηλής ποιότητας κείμενα για 3D μοντέλα με προϋποθέσεις όπως εικόνες και προτροπές, όπως φαίνεται στην ακόλουθη εικόνα.

Στάδιο 1: Προοδευτική Χονδρή Γενετική Κειμένου

Στο αρχικό σταδίο της χονδρής γενετικής κειμένου, το Paint3D χρησιμοποιεί προ-εκπαιδευμένα 2D μοντέλα διάχυσης εικόνας για να δείγμα πολλαπλών προβολών εικόνας, τα οποία στη συνέχεια επανα-προβάλλονται στην επιφάνεια του πλέγματος για να δημιουργηθούν οι αρχικές χαρτογραφίες κειμένου. Αυτό το σταδίο αρχίζει με τη γενετική μιας χαρτογραφίας βάθους από διάφορες προβολές κάμερας. Το μοντέλο χρησιμοποιεί προϋποθέσεις βάθους για να δείγμα εικόνες από το μοντέλο διάχυσης, τα οποία στη συνέχεια επανα-προβάλλονται στην επιφάνεια του 3D πλέγματος. Αυτή η εναλλακτική απόδοση, δειγματοληψία και επανα-προβολή προσεγγίση ενισχύει τη συνέχεια των χαρτογραφιών κειμένου και βοηθά στην προοδευτική γενετική της χαρτογραφίας κειμένου.

Η διαδικασία αρχίζει με τις ορατές περιοχές του 3D πλέγματος, εστιάζοντας στη γενετική κειμένου από την πρώτη προβολή κάμερας με την απόδοση του 3D πλέγματος σε μια χαρτογραφία βάθους. Μια εικόνα κειμένου δειγματοληψίας με βάση την εμφάνιση και τις προϋποθέσεις βάθους και επανα-προβάλλονται στην επιφάνεια του πλέγματος. Αυτή η μέθοδος επαναλαμβάνεται για τις επόμενες προβολές, ενσωματώνοντας προηγούμενα κείμενα για να απόδοση όχι μόνο μια εικόνα βάθους αλλά και μια μερικά χρωματισμένη εικόνα RGB με αχρωμάτιστες μάσκες. Το μοντέλο χρησιμοποιεί einen κωδικοποιητή εικόνας με βάση το βάθος για να γεμίσει αχρωμάτιστες περιοχές, γεννώντας μια πλήρη χονδρή χαρτογραφία κειμένου με την επανα-προβολή των εικόνων στην επιφάνεια του 3D πλέγματος.

Για πιο σύνθετα σκηνικά ή αντικείμενα, το μοντέλο χρησιμοποιεί πολλαπλές προβολές. Αρχικά, αποτυπώνει δύο χαρτογραφίες βάθους από συμμετρικές προβολές και τις συνδυάζει σε ένα πλέγμα βάθους, το οποίο αντικαθιστά μια đơnική εικόνα βάθους για τη δειγματοληψία κειμένου με βάση το βάθος.

Στάδιο 2: Εξειδίκευση Κειμένου σε Χώρο UV

Παρά τη γενετική των λογικών χονδρών χαρτογραφιών κειμένου, προκύπτουν προκλήσεις όπως τρύπες κειμένου από τις διαδικασίες απόδοσης και σκιές φωτισμού από τα 2D μοντέλα διάχυσης εικόνας. Για να αντιμετωπίσουν αυτές τις προκλήσεις, το Paint3D εκτελεί μια διαδικασία διάχυσης στο χώρο UV με βάση τη χονδρή χαρτογραφία κειμένου, βελτιώνοντας την οπτική ελκυστικότητα και επιλύοντας τα προβλήματα.

Ωστόσο, η εξειδίκευση της χαρτογραφίας κειμένου στο χώρο UV μπορεί να εισαγάγει ασυνέπειες λόγω της θραύσης των συνεχών κειμένων σε ξεχωριστά θραύσματα. Για να μετριάσει αυτό, το Paint3D εξειδικεύει τη χαρτογραφία κειμένου χρησιμοποιώντας τις πληροφορίες γειτνίασης των θραυσμάτων κειμένου. Στο χώρο UV, η χαρτογραφία θέσης αντιπροσωπεύει τις 3D πληροφορίες γειτνίασης των θραυσμάτων κειμένου, αντιμετωπίζοντας κάθε μη-πίσω στοιχείο ως συντεταγμένες 3D. Το μοντέλο χρησιμοποιεί έναν επιπλέον κωδικοποιητή χαρτογραφίας θέσης, παρόμοιο με το ControlNet, για να ενσωματώσει αυτές τις πληροφορίες γειτνίασης κατά τη διάρκεια της διαδικασίας διάχυσης.

Το μοντέλο χρησιμοποιεί ταυτόχρονα τη θέση του κωδικοποιητή προϋποθέσεων και άλλων κωδικοποιητών για να εκτελέσει εργασίες εξειδίκευσης στο χώρο UV, προσφέροντας δύο ικανότητες: UVHD (UV Υψηλής Ποιότητας) και UV inpainting. Η UVHD βελτιώνει την οπτική ελκυστικότητα και την αισθητική, χρησιμοποιώντας einen κωδικοποιητή βελτίωσης εικόνας και κωδικοποιητή θέσης με το μοντέλο διάχυσης. Η UV inpainting γεμίζει τρύπες κειμένου, αποφεύγοντας προβλήματα αυτο-αποκάλυψης από την απόδοση. Η φάση εξειδίκευσης αρχίζει με την UV inpainting, ακολουθούμενη από την UVHD για να παράγει μια τελική εξειδικευμένη χαρτογραφία κειμένου.

Με την ενσωμάτωση αυτών των μεθόδων εξειδίκευσης, το πλαίσιο Paint3D γεννά πλήρη, ποικιλόμορφες, υψηλής ανάλυσης και κείμενα χωρίς φωτισμό UV χαρτογραφήσεις, καθιστώντας το μια ρομποτική λύση για την κειμενοποίηση 3D αντικειμένων.

Paint3D: Πειράματα και Αποτελέσματα

Το μοντέλο Paint3D χρησιμοποιεί το μοντέλο Stable Diffusion text2image για να βοηθήσει στις εργασίες γενετικής κειμένου, ενώ ο κωδικοποιητής εικόνας διαχειρίζεται τις προϋποθέσεις εικόνας. Για να ενισχύσει τον έλεγχό του στις προϋποθέσεις εργασιών όπως η inpainting εικόνας, η διαχείριση βάθους και η υψηλής ποιότητας εικόνας, το πλαίσιο Paint3D χρησιμοποιεί κωδικοποιητές domaine ControlNet. Το μοντέλο εφαρμόζεται στο πλαίσιο PyTorch, με την απόδοση και τις προβολές κειμένου που εκτελούνται στο Kaolin.

Σύγκριση Κειμένου σε Κείμενο

Για να αξιολογήσουμε την απόδοση του Paint3D, αρχίζουμε με την ανάλυση της γενετικής κειμένου όταν συνδεδεμένο με κειμενικές προτροπές, συγκρίνοντάς το με τα τρέχοντα βαθιά γενετικά πλαίσια όπως το Text2Tex, το TEXTure και το LatentPaint. Όπως φαίνεται στην ακόλουθη εικόνα, το πλαίσιο Paint3D δεν μόνο excels στη γενετική υψηλής ποιότητας λεπτομερειών κειμένου αλλά και αποτελεσματικά συνθέτει μια χαρτογραφία κειμένου χωρίς φωτισμό.

Με την αξιοποίηση των ισχυρών ικανοτήτων του Stable Diffusion και των κωδικοποιητών ControlNet, το Paint3D προσφέρει ανώτερη ποιότητα κειμένου και ευελιξία. Η σύγκριση υπογραμμίζει την ικανότητα του Paint3D να παράγει λεπτομερή, υψηλής ανάλυσης κείμενα χωρίς ενσωματωμένο φωτισμό, καθιστώντας το μια ηγετική λύση για εργασίες κειμενοποίησης 3D.

Σε σύγκριση, το πλαίσιο Latent-Paint είναι ευάλωτο στη γενετική θολών κειμένων που οδηγεί σε υποβέλτιστες οπτικές επιδράσεις. Από την άλλη πλευρά, αν και το πλαίσιο TEXTure γεννά σαφή κείμενα, λείπει της ομαλότητας και παρουσιάζει εμφανείς ραφές και σχισμές. Τέλος, το πλαίσιο Text2Tex γεννά ομαλά κείμενα με εξαιρετική λεπτομέρεια, αλλά αποτυγχάνει να αναπαράγει την απόδοση για τη γενετική λεπτών κειμένων με περίπλοκη λεπτομέρεια. Η ακόλουθη εικόνα συγκρίνει το πλαίσιο Paint3D με τα τρέχοντα πλαίσια σε ποσοτικό επίπεδο.

Όπως μπορεί να παρατηρηθεί, το πλαίσιο Paint3D υπερέχει всех των υφιστάμενων μοντέλων και με σημαντική διαφορά, με σχεδόν 30% βελτίωση στη βάση FID και περίπου 40% βελτίωση στη βάση KID. Η βελτίωση στις βάσεις FID και KID αποδεικνύει την ικανότητα του Paint3D να γεννά υψηλής ποιότητας κείμενα σε διαφορετικά αντικείμενα και κατηγορίες.

Σύγκριση Εικόνας σε Κείμενο

Για να γεννήσουμε τις γενετικές ικανότητες του Paint3D με οπτικές προτροπές, χρησιμοποιούμε το μοντέλο TEXTure ως βάση. Όπως αναφέρθηκε νωρίτερα, το μοντέλο Paint3D χρησιμοποιεί einen κωδικοποιητή εικόνας που προέρχεται από το μοντέλο text2image του Stable Diffusion. Όπως μπορεί να φανεί στην ακόλουθη εικόνα, το πλαίσιο Paint3D συνθέτει εξαιρετικά κείμενα με εξαιρετική λεπτομέρεια, και είναι ακόμη ικανό να διατηρεί υψηλή πιστότητα σε σχέση με την προϋπόθεση εικόνας.

Αντίθετα, το πλαίσιο TEXTure είναι ικανό να γεννήσει κείμενο παρόμοιο με το Paint3D, αλλά αποτυγχάνει να αναπαράγει τις λεπτομέρειες του κειμένου στην προϋπόθεση εικόνας με ακρίβεια. Επιπλέον, όπως φαίνεται στην ακόλουθη εικόνα, το πλαίσιο Paint3D προσφέρει καλύτερες βάσεις FID και KID όταν συγκρίνεται με το πλαίσιο TEXTure, με την πρώτη να μειώνεται από 40,83 σε 26,86, ενώ η δεύτερη να δείχνει μια πτώση από 9,76 σε 4,94.

Τελικές Σκέψεις

Σε αυτό το άρθρο, έχουμε συζητήσει το Paint3D, ένα καινοτόμο πλαίσιο από το χονδρό στο λεπτό που είναι ικανό να παράγει κείμενα χωρίς φωτισμό, ποικιλόμορφες, υψηλής ανάλυσης 2K UV χαρτογραφήσεις κειμένου για 3D πλέγματα χωρίς κείμενο, υπό την προϋπόθεση ότι είναι συνδεδεμένα είτε με οπτικές είτε με κειμενικές εισόδους. Το κύριο χαρακτηριστικό του Paint3D είναι ότι είναι ικανό να παράγει κείμενα χωρίς φωτισμό, υψηλής ανάλυσης 2K UV χαρτογραφήσεις που είναι σεμάντικά συνεπείς χωρίς να είναι συνδεδεμένα με προϋποθέσεις εικόνας ή κειμένου. Χάρη στην προσεγγίση από το χονδρό στο λεπτό, το Paint3D παράγει κείμενα χωρίς φωτισμό, ποικιλόμορφες, υψηλής ανάλυσης χαρτογραφήσεις κειμένου και προσφέρει καλύτερη απόδοση από τα τρέχοντα πλαίσια.