Η ταχεία ανάπτυξη των γενετικών μοντέλων AI, ιδιαίτερα των βαθιών γενετικών μοντέλων AI, έχει προχωρήσει σημαντικά τις ικανότητες στη φυσική γλώσσα, την 3D γενετική, τη γενετική εικόνας και τη σύνθεση ομιλίας. Αυτά τα μοντέλα έχουν επαναπροσδιορίσει την 3D παραγωγή σε διάφορες βιομηχανίες. Ωστόσο, πολλά αντιμετωπίζουν μια πρόκληση: οι σύνθετες συνδέσεις και τα παραγόμενα πλέγματα συχνά δεν είναι συμβατά με τις παραδοσιακές αγωγούς απόδοσης όπως η Φυσικά Βασισμένη Απόδοση (PBR). Τα μοντέλα που βασίζονται στη διάχυση, ιδιαίτερα χωρίς κείμενο υφής, επιδεικνύουν εντυπωσιακή ποικιλία γενετικών activων, ενισχύοντας τα 3D πλαισιά σε κινηματογράφο, παιχνίδια και AR/VR.

Αυτό το άρθρο εισάγει το Paint3D, ένα καινούριο πλαισίωμα για την παραγωγή ποικίλων, υψηλής ανάλυσης 2K UV χαρτογραφήσεων υφής για 3D πλέγματα χωρίς υφή, υπό την προϋπόθεση οπτικών ή κειμενικών εισαγωγών. Η κύρια πρόκληση του Paint3D είναι η παραγωγή υψηλής ποιότητας υφών χωρίς ενσωματωμένη φωτισμό, που επιτρέπει στον χρήστη να επεξεργαστεί ή να επαναφωτίσει μέσα στις σύγχρονες γραφικές αγωγούς. Χρησιμοποιεί ένα προ-εκπαιδευμένο 2D μοντέλο διάχυσης για τη σύντηξη πολλαπλών προοπτικών υφών, παράγοντας αρχικές χονδρές χαρτογραφήσεις υφής. Ωστόσο, αυτές οι χαρτογραφήσεις συχνά εμφανίζουν ελαττώματα φωτισμού και ατελείωτες περιοχές λόγω των περιορισμών του 2D μοντέλου στη διάρρηξη των επιδράσεων φωτισμού και στην πλήρη αναπαράσταση 3D σχημάτων. Θα εμβαθύνουμε στις λειτουργίες, την αρχιτεκτονική και τις συγκρίσεις του Paint3D με άλλα βαθιά γενετικά πλαισιά.

Paint3D : Μια Εισαγωγή

Οι ικανότητες των βαθιών γενετικών μοντέλων AI στη φυσική γλώσσα, την 3D γενετική και τη σύνθεση εικόνας είναι γνωστές και εφαρμόζονται σε πραγματικές εφαρμογές, επαναπροσδιορίζοντας τη βιομηχανία 3D γενετικής.尽管 leurs εξαιρετικές ικανότητες, τα σύγχρονα βαθιά γενετικά πλαισιά AI παράγουν πλέγματα που χαρακτηρίζονται από σύνθετες συνδέσεις και χαотικές υφές φωτισμού που συχνά δεν είναι συμβατά με τις παραδοσιακές αγωγούς απόδοσης, συμπεριλαμβανομένης της PBR ή Φυσικά Βασισμένης Απόδοσης. Όπως τα βαθιά γενετικά μοντέλα AI, η σύνθεση υφής έχει επίσης προχωρήσει ταχύτατα, ιδιαίτερα στην利用 των 2D μοντέλων διάχυσης. Τα μοντέλα σύνθεσης υφής χρησιμοποιούν προ-εκπαιδευμένα μοντέλα διάχυσης βάθους-εικόνας για να χρησιμοποιήσουν κειμενικές προϋποθέσεις για την παραγωγή υψηλής ποιότητας υφών. Ωστόσο, αυτές οι προσεγγίσεις αντιμετωπίζουν δυσκολίες με προ-φωτισμένες υφές που μπορούν να επηρεάσουν σημαντικά τις τελικές 3D αποδώσεις και να εισαγάγουν σφάλματα φωτισμού όταν τα φώτα αλλάζουν μέσα στις κοινές ροές εργασίας, όπως φαίνεται στην ακόλουθη εικόνα.

Όπως μπορείτε να παρατηρήσετε, το χάρτη υφής με ελεύθερο φωτισμό λειτουργεί σε συγχρονισμό με τις παραδοσιακές αγωγούς απόδοσης, παρέχοντας ακριβή αποτελέσματα, ενώ το χάρτης υφής με προ-φωτισμό περιλαμβάνει ακατάλληλες σκιές όταν εφαρμόζεται επαναφωτισμός. Από την άλλη πλευρά, τα πλαισιά γενετικής υφής που εκπαιδεύονται σε δεδομένα 3D προσφέρουν μια εναλλακτική προσέγγιση, στην οποία το πλαισίωμα γεννά τις υφές κατανοώντας τη γεωμετρία ενός συγκεκριμένου 3D αντικειμένου.尽管 αυτά τα πλαισιά μπορεί να παράγουν καλύτερα αποτελέσματα, τα πλαισιά γενετικής υφής που εκπαιδεύονται σε δεδομένα 3D λείπουν από ικανότητες γενίκευσης που εμποδίζουν την ικανότητά τους να εφαρμόσουν το μοντέλο σε 3D αντικείμενα εκτός των δεδομένων εκπαίδευσης.

Τα τρέχοντα μοντέλα γενετικής υφής αντιμετωπίζουν δύο κρίσιμες προκλήσεις: τη χρήση οδηγιών εικόνας ή ποικίλων προτύπων για την επίτευξη ενός ευρύτερου βαθμού γενίκευσης σε διάφορα αντικείμενα, και η δεύτερη πρόκληση είναι η εξάλειψη του συνδεδεμένου φωτισμού στα αποτελέσματα που λαμβάνονται από την προ-εκπαίδευση. Οι προ-φωτισμένες υφές μπορούν να επηρεάσουν σημαντικά τα τελικά αποτελέσματα των υφών μέσα στις αγωγούς απόδοσης, και поскольку τα προ-εκπαιδευμένα 2D μοντέλα διάχυσης παρέχουν μόνο 2D αποτελέσματα στο πεδίο της προοπτικής, λείπουν από μια ολοκληρωμένη κατανόηση των σχημάτων που οδηγεί σε αδυναμία να διατηρήσουν τη συνεχή προοπτική για 3D αντικείμενα.

Λόγω των ανωτέρω προκλήσεων, το πλαισίωμα Paint3D προσπαθεί να αναπτύξει ένα διπλό-στάδιο μοντέλο διάχυσης υφής για 3D αντικείμενα που γενικεύει σε διάφορα προ-εκπαιδευμένα γενετικά μοντέλα και διατηρεί τη συνεχή προοπτική ενώ μαθαίνει την παραγωγή υφών χωρίς φωτισμό.

Το Paint3D είναι ένα διπλό-στάδιο μοντέλο γενετικής υφής που στοχεύει να εκμεταλλευτεί την ισχυρή οδηγία και τις ικανότητες γενετικής εικόνας των προ-εκπαιδευμένων γενετικών μοντέλων AI για την υφή 3D αντικειμένων. Στο πρώτο στάδιο, το πλαισίωμα Paint3D δειγματοληψία πολλαπλών προοπτικών εικόνων από ένα προ-εκπαιδευμένο 2D μοντέλο διάχυσης εικόνας προοδευτικά, για να επιτρέψει την γενίκευση υψηλής ποιότητας και πλούσιων αποτελεσμάτων υφής από διάφορες προτύπες. Το μοντέλο στη συνέχεια γεννά μια αρχική χαρτογράφηση υφής επιστρέφοντας αυτές τις εικόνες στην επιφάνεια του 3D πλέγματος. Στο δεύτερο στάδιο, το μοντέλο επικεντρώνεται στην παραγωγή υφών χωρίς φωτισμό, εφαρμόζοντας προσεγγίσεις που χρησιμοποιούνται από μοντέλα διάχυσης που ειδικεύονται στην εξάλειψη των επιδράσεων φωτισμού και την αναβάθμιση των ατελειών περιοχών. καθ’ όλη τη διάρκεια της διαδικασίας, το πλαισίωμα Paint3D είναι συνεχώς σε θέση να γεννά υψηλής ποιότητας 2K υφές σεμάντικα, και εξαλείφει τις εσωτερικές επιδράσεις φωτισμού.

Για να συνοψίσουμε, το Paint3D είναι ένα καινούριο γενετικό μοντέλο που στοχεύει να παράγει ποικίλες, υψηλής ανάλυσης 2K UV χαρτογραφήσεις υφής για 3D πλέγματα χωρίς υφή, για να επιτύχει την καλύτερη απόδοση στην υφή 3D αντικειμένων με διάφορες προϋποθέσεις, συμπεριλαμβανομένων κειμένων και εικόνων, και προσφέρει σημαντικό πλεονέκτημα για συνθετικές και γραφικές εργασίες επεξεργασίας.

Μεθοδολογία και Αρχιτεκτονική

Το πλαισίωμα Paint3D γεννά και αναβαθμίζει χαρτογραφήσεις υφής προοδευτικά για να γεννήσει ποικίλες και υψηλής ποιότητας χαρτογραφήσεις υφής για 3D μοντέλα χρησιμοποιώντας επιθυμητές προϋποθέσεις, συμπεριλαμβανομένων εικόνων και προτύπων, όπως φαίνεται στην ακόλουθη εικόνα.

Στο χονδρό στάδιο, το μοντέλο Paint3D χρησιμοποιεί προ-εκπαιδευμένα 2D μοντέλα διάχυσης εικόνας για να δειγματοληψία πολλαπλών προοπτικών εικόνων, και στη συνέχεια δημιουργεί τις αρχικές χαρτογραφήσεις υφής επιστρέφοντας αυτές τις εικόνες στην επιφάνεια του πλέγματος. Στο δεύτερο στάδιο, το μοντέλο Paint3D χρησιμοποιεί μια διαδικασία διάχυσης στο χώρο UV για να αναβαθμίσει τις χονδρές χαρτογραφήσεις υφής, επιτυγχάνοντας ainsi υψηλής ποιότητας, inpainting, και λειτουργία υφής χωρίς φωτισμό που διασφαλίζει την οπτική ελκυστικότητα και την πληρότητα της τελικής υφής.

Στάδιο 1: Προοδευτική Χονδρή Γενετική Υφή

Στο στάδιο της προοδευτικής χονδρής γενετικής υφής, το μοντέλο Paint3D γεννά μια χονδρή χαρτογράφηση υφής UV για τα 3D πλέγματα που χρησιμοποιούν ένα προ-εκπαιδευμένο 2D μοντέλο διάχυσης εικόνας. Για να seja πιο συγκεκριμένο, το μοντέλο πρώτα χρησιμοποιεί διαφορετικές προοπτικές κάμερας για να αποδώσει το χάρτη βάθους, και στη συνέχεια δειγματοληψία εικόνων από το μοντέλο διάχυσης εικόνας, και στη συνέχεια επιστρέφει αυτές τις εικόνες στην επιφάνεια του πλέγματος. Το πλαισίωμα εκτελεί τις διαδικασίες απόδοσης, δειγματοληψίας και επιστροφής εναλλακτικά για να βελτιώσει τη συνεχή της υφής, που τελικά βοηθά στην προοδευτική γενετική της χαρτογραφήσης υφής.

Το μοντέλο αρχίζει να γεννά την υφή της ορατής περιοχής με τις προοπτικές κάμερας που επικεντρώνονται στο 3D πλέγμα, και αποδίδει το 3D πλέγμα σε einen χάρτη βάθους από την πρώτη προοπτική. Το μοντέλο στη συνέχεια δειγματοληψία μια εικόνα υφής για μια εμφάνιση και μια προϋπόθεση βάθους. Το μοντέλο στη συνέχεια επιστρέφει την εικόνα στην επιφάνεια του 3D πλέγματος. Για τις προοπτικές, το μοντέλο Paint3D εκτελεί μια παρόμοια προσέγγιση αλλά με μια μικρή αλλαγή, εκτελώντας τη διαδικασία δειγματοληψίας υφής χρησιμοποιώντας μια προσέγγιση ζωγραφικής εικόνας. Επιπλέον, το μοντέλο λαμβάνει υπόψη τις περιοχές υφής από προηγούμενες προοπτικές, επιτρέποντας τη διαδικασία απόδοσης να εξοδεύσει όχι μόνο μια εικόνα βάθους, αλλά και μια μερικά χρωματισμένη εικόνα RGB με μια αχρωματισμένη μάσκα στην τρέχουσα προοπτική.

Το μοντέλο στη συνέχεια χρησιμοποιεί ένα μοντέλο inpainting που είναι ευαίσθητο στο βάθος με έναν κωδικοποιητή inpainting για να γεμίσει την αχρωματισμένη περιοχή μέσα στην εικόνα RGB. Το μοντέλο στη συνέχεια γεννά την χαρτογράφηση υφής από την προοπτική επιστρέφοντας την inpainted εικόνα στην επιφάνεια του 3D πλέγματος υπό την τρέχουσα προοπτική, επιτρέποντας στο μοντέλο να γεννήσει την χαρτογράφηση υφής προοδευτικά, και να φτάσει στην ολοκληρωμένη χονδρή δομή χαρτογραφήσεων. Τέλος, το μοντέλο επεκτείνει τη διαδικασία δειγματοληψίας υφής σε μια σκηνή ή αντικείμενο με πολλαπλές προοπτικές. Για να seja πιο συγκεκριμένο, το μοντέλο χρησιμοποιεί ένα ζευγάρι καμερών για να αποδώσει δύο χάρτες βάθους κατά τη διάρκεια της αρχικής δειγματοληψίας από συμμετρικές προοπτικές. Το μοντέλο στη συνέχεια συνδυάζει τους δύο χάρτες βάθους και συνθέτει einen χάρτη βάθους. Το μοντέλο αντικαθιστά την einzelne εικόνα βάθους με τον χάρτη βάθους για να εκτελέσει τη δειγματοληψία υφής που είναι ευαίσθητο στο βάθος.

Στάδιο 2: Αναβάθμιση Υφής στο Χώρο UV

尽管 η εμφάνιση των χονδρών χαρτογραφήσεων υφής είναι λογική, αντιμετωπίζει κάποιες προκλήσεις όπως οι τρύπες υφής που προκαλούνται κατά τη διάρκεια της απόδοσης από την αυτο-οσкуляzione ή τις σκιές φωτισμού λόγω της συμμετοχής των 2D μοντέλων διάχυσης εικόνας. Το μοντέλο Paint3D στοχεύει να εκτελέσει μια διαδικασία διάχυσης στο χώρο UV με βάση μια χονδρή χαρτογράφηση υφής, προσπαθώντας να μετριάσει τα προβλήματα και να βελτιώσει την οπτική ελκυστικότητα της χαρτογραφήσεων υφής ακόμη περισσότερο κατά τη διάρκεια της αναβάθμισης υφής.

Το μοντέλο αναβαθμίζει την χαρτογράφηση υφής στο χώρο UV εκτελώντας τη διαδικασία διάχυσης υπό την οδηγία της πληροφορίας γειτονικής υφής. Είναι σημαντικό να σημειωθεί ότι στο χώρο UV, η χαρτογράφηση θέσης αντιπροσωπεύει την πληροφορία γειτονικής υφής, με το μοντέλο να αντιμετωπίζει κάθε μη-πίσω στοιχείο ως 3D συντεταγμένη. Κατά τη διάρκεια της διαδικασίας διάχυσης, το μοντέλο συνδυάζει την πληροφορία γειτονικής υφής προσθέτοντας einen κωδικοποιητή θέσης στον προ-εκπαιδευμένο κωδικοποιητή εικόνας. Ο νέος κωδικοποιητής μοιάζει με το σχέδιο του πλαισίου ControlNet και έχει την ίδια αρχιτεκτονική με τον κωδικοποιητή που εφαρμόζεται στο μοντέλο διάχυσης εικόνας με το στρώμα zero-convolution που συνδέει τους δύο. Επιπλέον, το μοντέλο διάχυσης υφής εκπαιδεύεται σε ένα σύνολο δεδομένων που αποτελείται από χαρτογραφήσεις υφής και χάρτες θέσης, και το μοντέλο μαθαίνει να προβλέψει το θόρυβο που προστίθεται στο θορυβώδες λανθάνων. Το μοντέλο στη συνέχεια βελτιώνει τον κωδικοποιητή θέσης και παγώνει τον εκπαιδευμένο αποσυναρμολογητή για την εργασία διάχυσης εικόνας.

Το μοντέλο στη συνέχεια χρησιμοποιεί την θέση του κωδικοποιητή και άλλους κωδικοποιητές για να εκτελέσει εργασίες αναβάθμισης στο χώρο UV. Σε αυτήν την περίπτωση, το μοντέλο έχει δύο ικανότητες αναβάθμισης: UVHD ή UV Υψηλής Ανάλυσης και UV inpainting. Η μέθοδος UVHD είναι δομημένη για να βελτιώσει την οπτική ελκυστικότητα και την αισθητική της χαρτογραφήσεων υφής. Για να επιτύχει UVHD, το μοντέλο χρησιμοποιεί einen κωδικοποιητή εικόνας και einen κωδικοποιητή θέσης με το μοντέλο διάχυσης. Το μοντέλο χρησιμοποιεί τη μέθοδο UV inpainting για να γεμίσει τις τρύπες υφής μέσα στο πλάνο UV που είναι ικανό να αποφεύγει προβλήματα αυτο-οσкуляzione που γεννιούνται κατά τη διάρκεια της απόδοσης. Στο στάδιο αναβάθμισης, το πλαισίωμα Paint3D εκτελεί πρώτα την UV inpainting και στη συνέχεια την UVHD για να γεννήσει την τελική αναβαθμισμένη χαρτογράφηση υφής. Με την ενοποίηση των δύο μεθόδων αναβάθμισης, το πλαισίωμα Paint3D είναι σε θέση να παράγει ολοκληρωμένες, ποικίλες, υψηλής ανάλυσης και υφές χωρίς φωτισμό.

Paint3D : Πειράματα και Αποτελέσματα

Το πλαισίωμα Paint3D χρησιμοποιεί το μοντέλο Stable Diffusion text2image για να βοηθήσει στην εργασία γενετικής υφής, ενώ χρησιμοποιεί τον κωδικοποιητή εικόνας για να χειριστεί τις προϋποθέσεις εικόνας. Για να βελτιώσει ακόμη περισσότερο την ικανότητά του να χειρίζεται προϋποθέσεις όπως η inpainting εικόνας, το βάθος και η υψηλή ανάλυση εικόνας, το πλαισίωμα Paint3D χρησιμοποιεί κωδικοποιητές domaine του πλαισίου ControlNet. Το μοντέλο εφαρμόζεται στο πλαισίωμα PyTorch με την απόδοση και την προβολή υφής που εφαρμόζονται στο Kaolin.

Σύγκριση Κειμένου σε Υφές

Για να αναλύσει την απόδοσή του, αρχίζουμε με την αξιολόγηση του Paint3D στην εργασία γενετικής υφής όταν η προϋπόθεση είναι κειμενική, και τη συγκρίνουμε με τα πλαισιά Text2Tex, TEXTure και LatentPaint. Όπως φαίνεται στην ακόλουθη εικόνα, το πλαισίωμα Paint3D δεν μόνο excels στην παραγωγή υψηλής ποιότητας λεπτομερειών υφής, αλλά cũng συνθέτει μια λογική υφή χωρίς φωτισμό.

Σύγκριση, το πλαισίωμα Latent-Paint είναι ευάλωτο στην παραγωγή θολών υφών που οδηγούν σε υποόπτιμα οπτικά αποτελέσματα. Από την άλλη πλευρά,尽管 το πλαισίωμα TEXTure γεννά καθαρές υφές, λείπει από ομαλότητα και εμφανίζει προφανείς ραφές και συνδέσεις. Τέλος, το πλαισίωμα Text2Tex γεννά ομαλές υφές με εξαιρετική απόδοση, αλλά αποτυγχάνει να αναπαράγει την απόδοση για την παραγωγή λεπτομερών υφών με περίπλοκη λεπτομέρεια.

Η ακόλουθη εικόνα συγκρίνει το πλαισίωμα Paint3D με τα πλαισιά της αγοράς ποσοτικά.

Όπως φαίνεται, το πλαισίωμα Paint3D υπερέχει όλα τα υπάρχοντα μοντέλα, και με einen σημαντικό περιθώριο με लगभग 30% βελτίωση στη γραμμή FID και περίπου 40% βελτίωση στη γραμμή KID. Η βελτίωση στις γραμμές FID και KID δείχνει την ικανότητα του Paint3D να γεννά υψηλής ποιότητας υφές σε διάφορα αντικείμενα και κατηγορίες.

Σύγκριση Εικόνας σε Υφή

Για να γεννήσει τις γενετικές ικανότητες του Paint3D χρησιμοποιώντας οπτικές προϋποθέσεις, χρησιμοποιούμε το πλαισίωμα TEXTure ως βάση. Όπως αναφέρθηκε νωρίτερα, το πλαισίωμα Paint3D χρησιμοποιεί einen κωδικοποιητή εικόνας που προέρχεται από το μοντέλο text2image του Stable Diffusion. Όπως φαίνεται στην ακόλουθη εικόνα, το πλαισίωμα Paint3D συνθέτει εξαιρετικές υφές με εξαιρετική απόδοση, και είναι ακόμη σε θέση να διατηρήσει υψηλή πιστότητα σε σχέση με την προϋπόθεση εικόνας.

Από την άλλη πλευρά, το πλαισίωμα TEXTure είναι σε θέση να γεννήσει μια υφή παρόμοια με το Paint3D, αλλά αποτυγχάνει να αναπαράγει τις λεπτομέρειες υφής στην προϋπόθεση εικόνας με ακρίβεια. Επιπλέον, όπως φαίνεται στην ακόλουθη εικόνα, το πλαισίωμα Paint3D παρέχει καλύτερες γραμμές FID και KID όταν συγκρίνεται με το πλαισίωμα TEXTure, με την πρώτη να μειώνεται από 40.83 σε 26.86, ενώ η δεύτερη δείχνει μια πτώση από 9.76 σε 4.94.

Τελικές Σκέψεις

Σε αυτό το άρθρο, έχουμε μιλήσει για το Paint3D, ένα καινούριο πλαισίωμα που είναι σε θέση να παράγει ποικίλες, υψηλής ανάλυσης 2K UV χαρτογραφήσεις υφής για 3D πλέγματα χωρίς υφή, υπό την προϋπόθεση οπτικών ή κειμενικών εισαγωγών. Η κύρια ιδιότητα του πλαισίου Paint3D είναι ότι είναι σε θέση να γεννήσει υψηλής ποιότητας υφές χωρίς φωτισμό, που είναι σεμάντικα συνεπείς χωρίς να υπόκεινται σε προϋποθέσεις εικόνας ή κειμένου. Λόγω της προοδευτικής προσέγγισής του, το πλαισίωμα Paint3D παράγει υφές χωρίς φωτισμό, ποικίλες και υψηλής ανάλυσης, και παρέχει καλύτερη απόδοση από τα τρέχοντα πλαισιά της αγοράς.