Διόρθωση των Περιορισμών των Μοντέλων Συζυγίας στη Κατανόηση των Καθρεφτών και των Ανακλάσεων

Από τότε που η γεννητική τεχνητή νοημοσύνη άρχισε να προσελκύει το δημόσιο ενδιαφέρον, το πεδίο της έρευνας της υπολογιστικής όρασης έχει ενταθεί το ενδιαφέρον του για την ανάπτυξη μοντέλων τεχνητής νοημοσύνης που είναι ικανά να κατανοούν και να αναπαράγουν φυσικούς νόμους. Ωστόσο, η πρόκληση της διδασκαλίας των συστημάτων μηχανικής μάθησης να προσομοιώσουν φαινόμενα όπως η βαρύτητα και η δυναμική των υγρών έχει sido ένα σημαντικό焦点 της έρευνας για τουλάχιστον πέντε χρόνια.

Από τότε που τα λατινικά μοντέλα συζυγίας (LDMs) κυριάρχησαν στη σκηνή της γεννητικής τεχνητής νοημοσύνης το 2022, οι ερευνητές έχουν αumentado το ενδιαφέρον τους για την περιορισμένη ικανότητα των LDM να κατανοούν και να αναπαράγουν φυσικά φαινόμενα. Τώρα, αυτό το ζήτημα έχει κερδίσει πρόσθετη προβολή με την ανάπτυξη του γεννητικού μοντέλου βίντεο της OpenAI Sora και την (πιθανότατα) πιο σημαντική πρόσφατη κυκλοφορία των ανοικτών πηγών μοντέλων βίντεο Hunyuan και Wan 2.1.

Ανακλάσεις που δεν είναι καλές

Η περισσότερη έρευνα που στοχεύει στην βελτίωση της κατανόησης των LDM για τη φυσική έχει επικεντρωθεί σε περιοχές όπως η προσομοίωση βάδισης, η φυσική των σωματιδίων και άλλες πτυχές της Νευτώνειας κίνησης. Αυτές οι περιοχές έχουν προσελκύσει την προσοχή τους επειδή οι ανακρίβειες στις βασικές φυσικές συμπεριφορές θα υπονόμευαν άμεσα την αυθεντικότητα των βίντεο που παράγονται από την τεχνητή νοημοσύνη.

Ωστόσο, μια μικρή αλλά αυξανόμενη έρευνα επικεντρώνεται σε ένα από τα μεγαλύτερα弱点 των LDM – την σχετική αδυναμία τους να παράγουν ακριβείς ανακλάσεις.

Από το χαρτί του Ιανουαρίου 2025 ‘Ανακλάζοντας την Πραγματικότητα: Ενεργοποίηση των Μοντέλων Συζυγίας για την Παραγωγή Πιστών Ανακλάσεων Καθρεφτών’, παραδείγματα ‘αποτυχίας ανακλάσεων’ έναντι της δικής τους προσεγγίσεως. Πηγή: https://arxiv.org/pdf/2409.14677

Το ζήτημα αυτό ήταν επίσης μια πρόκληση κατά την εποχή του CGI και παραμένει così στην περιοχή των βίντεο παιχνιδιών, όπου αλγόριθμοι ακολουθίας ακτίνων προσομοιώνουν τον δρόμο του φωτός καθώς αλληλεπιδρά με επιφάνειες. Οι αλγόριθμοι ακολουθίας ακτίνων υπολογίζουν πώς οι εικονικές ακτίνες φωτός ανακλούν ή περνούν μέσα από αντικείμενα για να δημιουργήσουν ρεαλιστικές ανακλάσεις, διάθλαση και σκιές.

Ωστόσο, επειδή κάθε πρόσθετη ανακλώση αυξάνει σημαντικά το κόστος υπολογισμού, οι εφαρμογές σε πραγματικό χρόνο πρέπει να ισορροπήσουν την καθυστέρηση έναντι της ακρίβειας, περιοριζοντας τον αριθμό των επιτρεπόμενων ανακλώσεων ακτίνων.

Μια αναπαράσταση μιας εικονικής ακτίνων φωτός σε μια παραδοσιακή 3D-σκηνογραφία (δηλ. CGI), χρησιμοποιώντας τεχνολογίες και αρχές που αναπτύχθηκαν για πρώτη φορά τη δεκαετία του 1960 και που έφτασαν στο αποκορύφωμα μεταξύ 1982-93 (η περίοδος μεταξύ Tron [1982] και Jurassic Park [1993]). Πηγή: https://www.unrealengine.com/en-US/explainers/ray-tracing/what-is-real-time-ray-tracing

Για παράδειγμα, η απεικόνιση ενός χρωμίου βάζου μπροστά σε έναν καθρέφτη θα μπορούσε να περιλαμβάνει μια διαδικασία ακολουθίας ακτίνων όπου οι ακτίνες φωτός ανακλούν επανειλημμένα μεταξύ ανακλαστικών επιφανειών, δημιουργώντας σχεδόν άπειρο βρόχο με λίγο πρακτικό όφελος για την τελική εικόνα. Σε meisten περιπτώσεις, ένα βάθος ανακλάσεων δύο έως τριών ανακλώσεων υπερβαίνει ήδη αυτό που ο θεατής μπορεί να αντιληφθεί. Μια seule ανακλώση θα οδηγούσε σε einen μαύρο καθρέφτη,既然 το φως πρέπει να ολοκληρώσει τουλάχιστον δύο ταξίδια για να σχηματίσει μια ορατή ανακλώση.

Κάθε πρόσθετη ανακλώση αυξάνει απότομα το κόστος υπολογισμού, συχνά διπλασιάζοντας τους χρόνους απόδοσης, καθιστώντας την ταχύτερη αντιμετώπιση των ανακλάσεων μία από τις πιο σημαντικές ευκαιρίες για την βελτίωση της ποιότητας της απόδοσης με ακολουθία ακτίνων.

Φυσικά, οι ανακλάσεις συμβαίνουν και είναι απαραίτητες για την φωτογραφική ρεαλιστικότητα, σε πολύ λιγότερο φανερές σκηνές – όπως η ανακλαστική επιφάνεια ενός δρόμου της πόλης ή eines πεδίου μάχης μετά τη βροχή. η ανακλώση του αντίθετου δρόμου σε ένα καταστήματα ή γυαλί πόρτας. ή στα γυαλιά των απεικονιζόμενων χαρακτήρων, όπου αντικείμενα και περιβάλλοντα μπορεί να απαιτούνται να εμφανιστούν.

Μια προσομοιωμένη διπλή ανακλώση που επιτεύχθηκε μέσω παραδοσιακής σύνθεσης για μια εικονική σκηνή στο ‘The Matrix’ (1999).

Προβλήματα Εικόνας

Για αυτόν τον λόγο, τα πλαίσια που ήταν δημοφιλή πριν από την έλευση των μοντέλων συζυγίας, όπως Νευρωνικά Πεδία Ραδιότητας (NeRF), και κάποια πιο πρόσφατα ανταγωνιστές όπως Gaussian Splatting έχουν διατηρήσει τις δικές τους δυσκολίες για την ενεργοποίηση των ανακλάσεων με φυσικό τρόπο.

Το REF²-NeRF πρότζεκτ (εικονιζόμενο παρακάτω) πρότεινε μια μεθοδολογία NeRF-βασισμένη για σκηνές που περιέχουν einen γυάλινο κλωβό. Σε αυτή τη μέθοδο, η διάθλαση και η ανακλώση μοντελοποιήθηκαν χρησιμοποιώντας στοιχεία που ήταν εξαρτημένα και ανεξάρτητα από την προοπτική του θεατή. Αυτή η προσέγγιση επέτρεψε στους ερευνητές να εκτιμήσουν τις επιφάνειες όπου συνέβη η διάθλαση, συγκεκριμένα γυάλινα επιφάνειες, και να διαχωρίσουν και να μοντελοποιήσουν τόσο την άμεση όσο και την ανακλαστική σύνθεση του φωτός.

Παραδείγματα από το χαρτί Ref2Nerf. Πηγή: https://arxiv.org/pdf/2311.17116

Άλλες λύσεις NeRF για το πρόβλημα των ανακλάσεων των τελευταίων 4-5 ετών έχουν περιλαμβάνει NeRFReN, Reflecting Reality, και το πρότζεκτ Planar Reflection-Aware Neural Radiance Fields της Meta το 2024.

Για το GSplat, έγγραφα όπως Mirror-3DGS, Reflective Gaussian Splatting, και RefGaussian έχουν προσφέρει λύσεις σχετικά με το πρόβλημα των ανακλάσεων, ενώ το πρότζεκτ Nero το 2023 πρότεινε μια μεθοδολογία για την ενσωμάτωση ανακλαστικών ιδιοτήτων σε νευρωνικές αναπαραστάσεις.

MirrorVerse

Η διδασκαλία ενός μοντέλου συζυγίας να σεβαστεί τη λογική της ανακλώσεως είναι πιθανότατα πιο δύσκολο από τις ρητές δομικές, μη σεμαντικές προσεγγίσεις όπως το Gaussian Splatting και το NeRF. Σε μοντέλα συζυγίας, ένας κανόνας αυτού του είδους είναι πιθανό να γίνει αξιόπιστα ενσωματωμένος μόνο εάν τα δεδομένα εκπαίδευσης περιέχουν πολλά διαφορετικά παραδείγματα σε ένα ευρύ φάσμα σκηνών, καθιστώντας το έντονα εξαρτημένο από τη διανομή και την ποιότητα του αρχικού συνόλου δεδομένων.

Παραδοσιακά, η προσθήκη ιδιαίτερων συμπεριφορών αυτού του είδους είναι ο τομέας της LoRA ή της λεπτοβελτίωσης του βασικού μοντέλου. αλλά αυτές δεν είναι ιδανικές λύσεις,既然 μια LoRA τείνει να στρίβει την έξοδο προς τα δεδομένα εκπαίδευσής της, ακόμη και χωρίς προώθηση, ενώ οι λεπτοβελτιώσεις – εκτός από το ότι είναι δαπανηρές – μπορούν να απομακρύνουν ένα σημαντικό μοντέλο αμετάκλητα από την κυρίαρχη τάση και να δημιουργήσουν μια σειρά από σχετικές προσαρμοσμένες εργαλεία που δεν θα λειτουργήσουν ποτέ με κανένα άλλου είδους του μοντέλου, συμπεριλαμβανομένου του αρχικού.

Γενικά, η βελτίωση των μοντέλων συζυγίας απαιτεί ότι τα δεδομένα εκπαίδευσης δώσουν μεγαλύτερη προσοχή στη φυσική των ανακλάσεων. Ωστόσο, πολλές άλλες περιοχές επίσης χρειάζονται παρόμοια ειδική προσοχή. Στο контέκστ των υπερκλιμακωμένων συνόλων δεδομένων, όπου η προσαρμοσμένη επιμέλεια είναι δαπανηρή και δύσκολη, η αντιμετώπιση κάθε einzelného αδυναμίας με αυτόν τον τρόπο είναι απρακτική.

Παρά ταύτα, λύσεις στο πρόβλημα των ανακλάσεων των LDM εμφανίζονται από καιρό σε καιρό. Μια πρόσφατη προσπάθεια, από την Ινδία, είναι το MirrorVerse πρότζεκτ, το οποίο προσφέρει ένα βελτιωμένο σύνολο δεδομένων και μια μεθοδολογία εκπαίδευσης ικανή να βελτιώσει την κατάσταση της τέχνης σε αυτήν την ειδική πρόκληση της έρευνας συζυγίας.

Δεξιά, τα αποτελέσματα από το MirrorVerse σε σύγκριση με δύο προηγούμενες προσεγγίσεις (κεντρικές δύο στήλες). Πηγή: https://arxiv.org/pdf/2504.15397

Όπως podemos δούμε στο παραπάνω παράδειγμα (η εικόνα στο PDF της νέας μελέτης), το MirrorVerse βελτιώνει τις πρόσφατες προσφορές που αντιμετωπίζουν το ίδιο πρόβλημα, αλλά είναι μακριά από την τελειότητα.

Στην πάνω δεξιά εικόνα, βλέπουμε ότι τα κεραμικά δοχεία είναι κάπως δεξιά από όπου θα πρέπει να είναι, και στην εικόνα κάτω, η οποία δεν θα πρέπει τεχνικά να περιέχει ανακλώση του ποτηριού, μια ανακλώση έχει εισαχθεί στην δεξιά περιοχή, ενάντια στη λογική των φυσικών ανακλαστικών γωνιών.

Επομένως, θα εξετάσουμε τη νέα μεθοδολογία όχι τόσο επειδή μπορεί να αντιπροσωπεύει την τρέχουσα κατάσταση της τέχνης στη συζυγία-βασισμένη ανακλώση, αλλά επίσης για να εικονογραφήσουμε το βαθμό στον οποίο αυτό μπορεί να αποδειχθεί ένα αδιαπέραστο ζήτημα για τα μοντέλα συζυγίας, στατικά και βίντεο,既然 τα απαραίτητα παραδείγματα ανακλαστικών ιδιοτήτων είναι πιθανότατα να είναι μπλεγμένα με συγκεκριμένες δράσεις και σκηνές.

Επομένως, αυτή η συγκεκριμένη λειτουργία των LDM μπορεί να συνεχίσει να αποτυγχάνει σε σχέση με τις δομικές προσεγγίσεις όπως το NeRF, το GSplat και τις παραδοσιακές CGI.

Το νέο χαρτί έχει τον τίτλο MirrorVerse: Pushing Diffusion Models to Realistically Reflect the World και προέρχεται από τρεις ερευνητές από το Vision and AI Lab, IISc Bangalore, και το Samsung R&D Institute στο Bangalore. Το χαρτί έχει μια σχετική σελίδα πρότζεκτ, καθώς και ένα σύνολο δεδομένων στο Hugging Face, με τον κώδικα δημοσιευμένο στο GitHub.

Μέθοδος

Οι ερευνητές σημειώνουν από την αρχή τη δυσκολία που έχουν τα μοντέλα όπως το Stable Diffusion και το Flux να σεβαστούν τις ανακλαστικές προωθήσεις, εικονογραφώντας το ζήτημα με ικανοποίηση:

Από το χαρτί: Τα τρέχοντα μοντέλα text-to-image, SD3.5 και Flux, εμφάνισαν σημαντικές προκλήσεις στην παραγωγή συνεπών και γεωμετρικά ακριβών ανακλάσεων όταν προωθήθηκαν να γεννήσουν ανακλάσεις στη σκηνή.

Οι ερευνητές έχουν αναπτύξει το MirrorFusion 2.0, ένα μοντέλο συζυγίας-βασισμένο γεννητικό μοντέλο που στοχεύει στην βελτίωση της φωτογραφικής ρεαλιστικότητας και της γεωμετρικής ακρίβειας των ανακλάσεων καθρεφτών σε συνθετικές εικόνες. Η εκπαίδευση για το μοντέλο βασίστηκε στο δικό τους νέο σύνολο δεδομένων, με τίτλο MirrorGen2, σχεδιασμένο για να αντιμετωπίσει τις γενικευτικές αδυναμίες που παρατηρήθηκαν σε προηγούμενες προσεγγίσεις.

Το MirrorGen2 επεκτείνει τις προηγούμενες μεθοδολογίες εισαγωγώντας τυχαία τοποθέτηση αντικειμένων, τυχαίοι περιστροφές, και συναρμογή αντικειμένων, με στόχο να διασφαλιστεί ότι οι ανακλάσεις παραμένουν πιθανές σε einen ευρύ φάσμα θέσεων και τοποθετήσεων αντικειμένων σχετικά με την επιφάνεια του καθρεφτή.

Σχήμα για τη γεννήση συνθετικών δεδομένων στο MirrorVerse: η διαδικασία γεννήσεως συνόλου δεδομένων εφαρμόζει κλειδιά αυξήσεις με τυχαία τοποθέτηση, περιστροφή και συναρμογή αντικειμένων στη σκηνή χρησιμοποιώντας τον 3D-Positioner.

Για να ενισχύσειさらに την ικανότητα του μοντέλου να χειρίζεται σύνθετες χωρικές διατάξεις, η διαδικασία MirrorGen2 περιλαμβάνει ζευγαρωμένα σκηνές αντικειμένων, επιτρέποντας στο σύστημα να αντιπροσωπεύει καλύτερα τις αποκρύψεις και τις αλληλεπιδράσεις μεταξύ πολλών στοιχείων σε ανακλαστικές ρυθμίσεις.

Το χαρτί αναφέρει:

‘Οι κατηγορίες ζευγαρώνονται χειροκίνητα για να διασφαλιστεί η σεμαντική συνάφεια – για παράδειγμα, ζευγαρώνοντας μια καρέκλα με einen πίνακα. Κατά τη διάρκεια της απόδοσης, μετά την τοποθέτηση και περιστροφή του πρωτεύοντος [αντικειμένου], ένας επιπλέον [αντικείμενος] από την ζευγαρωμένη κατηγορία δειγματοληψία και διατάζεται για να αποφευχθεί η υπέρθεση, διασφαλίζοντας διαφορετικές χωρικές περιοχές στη σκηνή.’

Σχετικά με την συναρμογή αντικειμένων, οι συγγραφείς διασφάλισαν ότι τα γεννημένα αντικείμενα ήταν ‘αγκυρωμένα’ στο έδαφος στα συνθετικά δεδομένα, αντί να ‘κρέμονται’ ακατάλληλα, το οποίο μπορεί να συμβεί όταν τα συνθετικά δεδομένα γεννιούνται σε κλίμακα ή με高度 αυτοματοποιημένες μεθόδους.

既然 η καινοτομία του συνόλου δεδομένων είναι κεντρική στη νεωτερικότητα του χαρτιού, θα προχωρήσουμε νωρίτερα από το συνηθισμένο σε这一 ενότητα της κάλυψης.

Δεδομένα και Δοκιμές

SynMirrorV2

Το σύνολο δεδομένων SynMirrorV2 των ερευνητών σχεδιάστηκε για να βελτιώσει την ποικιλία και τη ρεαλιστικότητα των δεδομένων εκπαίδευσης για ανακλάσεις καθρεφτών, με αντικείμενα 3D από το Objaverse και το Amazon Berkeley Objects (ABO), με αυτές τις επιλογές να υποβάλλονται σε περαιτέρω επιμέλεια μέσω του OBJECT 3DIT, καθώς και της διαδικασίας φιλτραρίσματος από το V1 πρότζεκτ MirrorFusion, για να εξαλείψουν τα χαμηλής ποιότητας περιουσιακά στοιχεία. Αυτό οδήγησε σε einen εξευγενισμένο πισινό από 66.062 αντικείμενα.

Παραδείγματα από το σύνολο δεδομένων Objaverse, που χρησιμοποιήθηκαν στη δημιουργία του επιμελημένου συνόλου δεδομένων για το νέο σύστημα. Πηγή: https://arxiv.org/pdf/2212.08051

Η κατασκευή σκηνής περιελάμβανε την τοποθέτηση αυτών των αντικειμένων σε υφάσματα δαπέδου από το CC-Textures και HDRI φόντα από το PolyHaven CGI αποθήκη, χρησιμοποιώντας είτε πλήρη-τοιχωματό ή ψηλά ορθογώνια καθρέφτες. Η φωτισμός ήταν τυποποιημένη με έναν φωτισμό περιοχής που τοποθετήθηκε πάνω και πίσω από τα αντικείμενα, σε einen γωνία 45 μοιρών. Τα αντικείμενα κλιμακώθηκαν για να ταιριάζουν μέσα σε einen μονάδα κύβου και τοποθετήθηκαν χρησιμοποιώντας έναν προ-υπολογισμένο τομή του καθρεφτή και της κάμερας προοπτικής frustums, διασφαλίζοντας την ορατότητα.

Τυχαίες περιστροφές εφαρμόστηκαν γύρω από τον άξονα y, και μια τεχνική συναρμογής χρησιμοποιήθηκε για να αποφευχθούν ‘πλωτές ανωμαλίες’.

Για να προσομοιώσουν πιο σύνθετες σκηνές, το σύνολο δεδομένων περιλαμβάνει επίσης πολλαπλά αντικείμενα διατεταγμένα σύμφωνα με σεμαντικά συνεπείς ζευγαρώσεις με βάση τις κατηγορίες ABO. Δευτερεύοντα αντικείμενα τοποθετήθηκαν για να αποφευχθεί η υπέρθεση, δημιουργώντας 3.140 σκηνές πολλών αντικειμένων που σχεδιάστηκαν για να καταγράψουν ποικίλες αποκρύψεις και σχέσεις βάθους.

Παραδείγματα απόδοσης από το σύνολο δεδομένων των συγγραφέων που περιέχουν πολλαπλά (περισσότερα από δύο) αντικείμενα, με εικονογραφήσεις της τομής αντικειμένου και οπτικής απεικόνισης που φαίνονται παρακάτω.

Διαδικασία Εκπαίδευσης

Οι ερευνητές αναγνωρίζουν ότι η ρεαλιστικότητα των συνθετικών δεδομένων μόνο δεν ήταν αρκετή για την ροβούστα γενίκευση σε πραγματικά δεδομένα, και αναπτύξαν μια τρίβαλη διαδικασία εκπαίδευσης για το MirrorFusion 2.0.

Στην Φάση 1, οι συγγραφείς αρχικοποίησαν τα βαρίδια και των δύο κλάδων της κατάστασης και της γεννήσεως με το σημείο ελέγχου της Stable Diffusion v1.5, και λεπτοβελτίωσαν το μοντέλο στο μονο-αντικείμενο τμήμα εκπαίδευσης του συνόλου δεδομένων SynMirrorV2. Σε αντίθεση με το προαναφερθέν Reflecting Reality πρότζεκτ, οι ερευνητές δεν παγίδεψαν τον κλάδο της γεννήσεως. Μετά, εκπαίδευσαν το μοντέλο για 40.000 επαναλήψεις.

Στην Φάση 2, το μοντέλο λεπτοβελτιώθηκε για 10.000 επιπλέον επαναλήψεις στο τμήμα πολλών αντικειμένων του συνόλου δεδομένων SynMirrorV2, για να διδάξει το σύστημα να χειρίζεται αποκρύψεις και πιο σύνθετες χωρικές διατάξεις που βρίσκονται σε ρεαλιστικές σκηνές.

Τέλος, στη Φάση 3, 10.000 επιπλέον επαναλήψεις λεπτοβελτίωσης διεξήχθησαν χρησιμοποιώντας πραγματικά δεδομένα από το MSD σύνολο δεδομένων, χρησιμοποιώντας χάρτες βάθους που παράγονται από τον Matterport3D μονοπωλικό εκτιμητή βάθους.

Παραδείγματα από το MSD σύνολο δεδομένων, με πραγματικά σκηνές αναλυμένες σε χάρτες βάθους και τομής. Πηγή: https://arxiv.org/pdf/1908.09101

Κατά τη διάρκεια της εκπαίδευσης, οι κείμενες προωθήσεις παραλείφθηκαν για το 20% του χρόνου εκπαίδευσης για να ενθαρρύνουν το μοντέλο να κάνει τον καλύτερο δυνατό uso των διαθέσιμων πληροφοριών βάθους (δηλ. μια ‘masked’ προσέγγιση).

Η εκπαίδευση διεξήχθη σε τέσσερις NVIDIA A100 GPUs για όλες τις φάσεις (η προδιαγραφή VRAM δεν παρέχεται, αν και θα ήταν 40GB ή 80GB ανά κάρτα). Μια ταχύτητα μάθησης 1e^-5 χρησιμοποιήθηκε με ένα μέγεθος batch 4 ανά GPU, υπό τον AdamW βελτιωτή.

Αυτή η διαδικασία εκπαίδευσης προοδευτικά αυξάνει τη δυσκολία των εργασιών που παρουσιάζονται στο μοντέλο, αρχίζοντας από πιο απλές συνθετικές σκηνές και προχωρώντας προς πιο απαιτητικές συνθέσεις, με σκοπό να αναπτύξει ροβούστα μεταφορά σε πραγματικά δεδομένα.

Δοκιμές

Οι συγγραφείς αξιολόγησαν το MirrorFusion 2.0 έναντι του προηγούμενου κράτους της τέχνης, MirrorFusion, το οποίο χρησίμευσε ως βάση, και διεξήγαγαν πειράματα στο MirrorBenchV2 σύνολο δεδομένων, καλύπτοντας και μονο-αντικείμενο και πολλαπλά αντικείμενα σκηνές.

Πρόσθετες ποιοτικές δοκιμές διεξήχθησαν σε δείγματα από το MSD σύνολο δεδομένων, και το Google Scanned Objects (GSO) σύνολο δεδομένων.

Η αξιολόγηση χρησιμοποιούσε 2.991 εικόνες μονο-αντικειμένου από γνωστές και άγνωστες κατηγορίες, και 300 δί-αντικείμενο σκηνές από το ABO. Η απόδοση μετρήθηκε χρησιμοποιώντας Peak Signal-to-Noise Ratio (PSNR). Δείκτης Ομοιότητας Δομής (SSIM). και Μαθημένη Ομοιότητα Εικόνας Patch (LPIPS) σκορ, για να αξιολογήσει την ποιότητα ανακλάσεων στην περιοχή του masked καθρεφτή. CLIP ομοιότητα χρησιμοποιήθηκε για να αξιολογήσει την κειμενική ευθυγράμμιση με τις εισαγωγικές προωθήσεις.

Στις ποσοτικές δοκιμές, οι ερευνητές γεννήθηκαν εικόνες χρησιμοποιώντας τέσσερις σπόρους για μια συγκεκριμένη προώθηση, και επέλεξαν την εικόνα που προέκυψε με το καλύτερο SSIM σκορ. Οι δύο αναφερόμενες πίνακες αποτελεσμάτων για τις ποσοτικές δοκιμές εμφανίζονται παρακάτω.

Αριστερά, ποσοτικά αποτελέσματα για την ποιότητα ανακλάσεων μονο-αντικειμένου στο MirrorBenchV2 μονο-αντικείμενο τμήμα. Το MirrorFusion 2.0 υπερέβη την βάση, με τα καλύτερα αποτελέσματα που εμφανίζονται με έντονα. Δεξιά, ποσοτικά αποτελέσματα για την ποιότητα ανακλάσεων πολλαπλά αντικείμενα στο MirrorBenchV2 πολλαπλά αντικείμενα τμήμα. Το MirrorFusion 2.0 εκπαιδευμένο με πολλαπλά αντικείμενα υπερέβη την έκδοση που εκπαιδεύτηκε χωρίς αυτά, με τα καλύτερα αποτελέσματα που εμφανίζονται με έντονα.

Οι συγγραφείς σχολιάζουν:

‘Τα αποτελέσματα δείχνουν ότι η μέθοδός μας υπερέβη την βάση και η λεπτοβελτίωση σε πολλαπλά αντικείμενα βελτίωσε τα αποτελέσματα σε σύνθετες σκηνές.’

Το μεγαλύτερο μέρος των αποτελεσμάτων, και εκείνα που τονίζονται από τους συγγραφείς, αφορούν ποιοτικές δοκιμές. Λόγω των διαστάσεων αυτών των εικονογραφήσεων, μπορούμε να αναπαράγουμε μόνο μερικά από τα παραδείγματα του χαρτιού.

Σύγκριση στο MirrorBenchV2: η βάση απέτυχε να διατηρήσει ακριβείς ανακλάσεις και χωρική συνάφεια, δείχνοντας λανθασμένη προσανατολισμό καρέκλας και παραμορφωμένες ανακλάσεις πολλαπλά αντικείμενα, ενώ (οι συγγραφείς ισχυρίζονται ότι) το MirrorFusion 2.0 αποδίδει σωστά την καρέκλα και τα σοφά, με ακριβή θέση, προσανατολισμό και δομή.

Από αυτά τα υποκειμενικά αποτελέσματα, οι ερευνητές πιστεύουν ότι η βάση μοντέλο απέτυχε να αποδώσει ακριβώς την προσανατολισμό αντικειμένου και τις χωρικές σχέσεις στις ανακλάσεις, συχνά παράγοντας ανωμαλίες όπως λανθασμένες περιστροφές και πλωτά αντικείμενα. Το MirrorFusion 2.0, εκπαιδευμένο στο SynMirrorV2, οι συγγραφείς ισχυρίζονται ότι διατηρεί την σωστή προσανατολισμό αντικειμένου και θέση και στις μονο-αντικείμενο και πολλαπλά αντικείμενα σκηνές, οδηγώντας σε πιο ρεαλιστικές και συνεπείς ανακλάσεις.

Παρακάτω, βλέπουμε ποιοτικά αποτελέσματα στο GSO σύνολο δεδομένων:

Σύγκριση στο GSO σύνολο δεδομένων. Η βάση παρουσίασε λανθασμένη δομή αντικειμένου και παρήγαγε ατελείς, παραμορφωμένες ανακλάσεις, ενώ (οι συγγραφείς ισχυρίζονται ότι) το MirrorFusion 2.0 διατηρεί χωρική ακεραιότητα και παράγει ακριβή γεωμετρία, χρώμα και λεπτομέρεια, ακόμη και σε αντικείμενα εκτός-διανομής.

Εδώ, οι συγγραφείς σχολιάζουν:

‘Το MirrorFusion 2.0 παράγει σημαντικά πιο ακριβείς και ρεαλιστικές ανακλάσεις. Για παράδειγμα, στη Φιγούρα 5 (α – πάνω), το MirrorFusion 2.0 αποδίδει σωστά τις χερούλια του συρταριού (υπογραμμισμένα με πράσινο), ενώ η βάση μοντέλο παράγει μια απίστευτη ανακλώση (υπογραμμισμένη με κόκκινο). ‘

‘Ομοίως, για το “Λευκό-Κίτρινο ποτήρι” στη Φιγούρα 5 (β), το MirrorFusion 2.0 παρέχει μια πειστική γεωμετρία με ελάχιστες ανωμαλίες, αντίθετα με την βάση, η οποία απέτυχε να αποδώσει ακριβώς τη γεωμετρία και την εμφάνιση του αντικειμένου.’

Η τελική ποιοτική δοκιμή ήταν ενάντια στο MSD σύνολο δεδομένων (μερικά αποτελέσματα εμφανίζονται παρακάτω):

Αποτελέσματα πραγματικών σκηνών που συγκρίνουν το MirrorFusion, το MirrorFusion 2.0, και το MirrorFusion 2.0, λεπτοβελτιωμένο στο MSD σύνολο δεδομένων. Το MirrorFusion 2.0, οι συγγραφείς ισχυρίζονται ότι καταγράφει πιο ακριβείς λεπτομέρειες σε σύνθετες σκηνές, συμπεριλαμβανομένων συσσωρευμένων αντικειμένων σε einen πίνακα, και την παρουσία πολλαπλά καθρέφτες σε einen τρισδιάστατο περιβάλλον.

Εδώ, οι συγγραφείς παρατηρούν ότι ενώ το MirrorFusion 2.0 παρουσίασε καλά αποτελέσματα στο MirrorBenchV2 και GSO δεδομένα, αρχικά δυσκολεύτηκε με σύνθετες πραγματικές σκηνές στο MSD σύνολο δεδομένων. Η λεπτοβελτίωση του μοντέλου σε einen υποσύνολο του MSD βελτίωσε την ικανότητά του να χειρίζεται συσσωρευμένα περιβάλλοντα και πολλαπλά καθρέφτες, οδηγώντας σε πιο συνεπείς και λεπτομερείς ανακλάσεις στη διατηρημένη δοκιμαστική διαίρεση.

Επιπλέον, μια μελέτη χρηστών διεξήχθη, όπου το 84% των χρηστών ανέφεραν ότι προτίμησαν γεννήσεις από το MirrorFusion 2.0 έναντι της βάσης μεθόδου.

Αποτελέσματα της μελέτης χρηστών.

既然 τα λεπτομέρειες της μελέτης χρηστών έχουν ανατεθεί στην παράρτημα του χαρτιού, παραπέμπουμε τον αναγνώστη σε εκεί για τις συγκεκριμένες λεπτομέρειες της μελέτης.

Συμπέρασμα

Αν και κάποια από τα αποτελέσματα που εμφανίζονται στο χαρτί είναι εντυπωσιακές βελτιώσεις της κατάστασης της τέχνης, η κατάσταση της τέχνης για αυτήν την συγκεκριμένη διεκδίκηση είναι τόσο κακή που ακόμη και μια ακαδημαϊκή λύση μπορεί να κερδίσει με ένα ελάχιστο κόπο. Η θεμελιώδης αρχιτεκτονική ενός μοντέλου συζυγίας είναι εχθρική προς την αξιόπιστη μάθηση και επίδειξη συνεπών φυσικών νόμων, ώστε το πρόβλημα να είναι κακοτεχνημένο και φαίνεται να μην είναι προσηλωμένο σε μια εύκολη λύση.

Πρόσθετα, η προσθήκη δεδομένων σε υπάρχοντα μοντέλα είναι ήδη η τυπική μέθοδος για την αντιμετώπιση ελλείψεων στην απόδοση των LDM, με όλα τα μειονεκτήματα που αναφέρθηκαν νωρίτερα. Είναι λογικό να υποθέσουμε ότι если μελλοντικά μεγάλης κλίμακας σύνολα δεδομένων θα δώσουν περισσότερη προσοχή στη διανομή (και την αναnotation) των δεδομένων που σχετίζονται με ανακλάσεις, θα μπορούσαμε να περιμένουμε ότι τα μοντέλα που θα προκύψουν θα χειρίζονται καλύτερα αυτήν τη σκηνή.

Ωστόσο, το ίδιο ισχύει και για πολλά άλλα προβλήματα στην έξοδο των LDM – ποιος μπορεί να πει ποιο από αυτά αξίζει περισσότερο την προσπάθεια και τα χρήματα που εμπλέκονται στην είδους λύσης που οι συγγραφείς του νέου χαρτιού προτείνουν εδώ;

Πρώτη δημοσίευση Δευτέρα, 28 Απριλίου 2025. Τρίτη 29 Απριλίου: διορθώθηκε γραμματική στις τελικές παραγράφους.