Χρήση του AI για την προσομοίωση της κινηματογραφικής γράνης

Κάντε την Αμερική Grainy Xavier: ένα νέο εργαλείο AI μπορεί να αφαιρέσει την κινηματογραφική γράνη από παλιές εγγραφές, να συμπιέσει το βίντεο σε μια κλάση του μεγέθους και στη συνέχεια να επαναφέρει την κινηματογραφική γράνη, ώστε οι θεατές να μην την παρατηρήσουν. Λειτουργεί με υφιστάμενες βίντεο προτύπων και μειώνει το εύρος ζώνης έως και 90%, διατηρώντας το βιντεοσκοπικό στυλ.

Για πολλούς από εμάς που παρακολουθούμε ταινίες ή παλιές τηλεοπτικές εκπομπές, η «σφύριξη» της κινηματογραφικής γράνης είναι ανακουφιστική· ακόμη και όταν δεν την καταλαβαίνουμε συνειδητά, η κινηματογραφική γράνη μας λέει ότι αυτό που παρακολουθούμε δημιουργήθηκε με χημικά, όχι με κώδικα, και συνδέει την εμπειρία με τον φυσικό κόσμο: με την επιλογή μετοχών, την έκθεση, τις διαδικασίες εργαστηρίου και τις παλιές εποχές:

Η προσέγγιση του Χόλιγουντ για την κινηματογραφική γράνη έχει μεταβληθεί παράλληλα με τις αλλαγές στην κουλτούρα και τις μεθόδους παραγωγής. Κατά τη δεκαετία του 1960, η εξέλιξη των φωτογραφικών μεθόδων και των φωτογραφικών πρακτικών συνεισέφερε στην ιδιαίτερη οπτική ταυτότητα της δεκαετίας. Αργότερα, σκηνοθέτες που εργάζονταν ψηφιακά επαναεισάγαν την κινηματογραφική γράνη σκόπιμα. Κατά τη δεκαετία του 1980, ο σκηνοθέτης Τζέιμς Κάμερον επέλεξε ένα ιδιαίτερα χονδρό κωδικό Kodak για τον Αλιένα (1986, κάτω δεξιά στην εικόνα παραπάνω), πιθανότατα για να ενισχύσει την ατμόσφαιρα και να βοηθήσει να κρύψει τα σύρματα από το πρακτικό εργαστήριο VFX miniature.  Πηγή: https://archive.is/3ZSjN (η πιο πρόσφατη δική μου δημοσίευση σε αυτό το θέμα)

Η αναλογική υφή προέρχεται από μια εποχή που η παραγωγή μέσων μαζικής ενημέρωσης κόστιζε πραγματικά χρήματα, η πρόσβαση ήταν περιορισμένη και υπήρχε τουλάχιστον μια χαλαρή αίσθηση ότι μόνο οι πιο ικανοί ή αποφασισμένοι θα μπορούσαν να το κάνουν, λειτουργώντας ως συντομογραφία για ρεαλισμό και αξιοπιστία – και, όταν οι υψηλής ανάλυσης τεχνολογίες κατέστρεψαν την κινηματογραφική γράνη, νοσταλγία.

Ο Κρίστοφερ Νόλαν δεν έπαυσε. Ενώ η większość της βιομηχανίας υιοθέτησε την ψηφιακή για την ταχύτητά της και την ευελιξία, ο διακεκριμένος σκηνοθέτης έμεινε, επιμένοντας στην κινηματογραφική γράνη ως πειθαρχία και αισθητική.

Ο Ντένις Βιλλενέβ, εργαζόμενος ακριβώς μέσα σε ψηφιακές διαδικασίες, vẫn περνάει το υλικό του μέσω φωτοχημικών διαδικασιών. Για τις ταινίες Δουν, που γυρίστηκαν ψηφιακά, το υλικό εκτυπώθηκε σε κινηματογραφικό φιλμ και στη συνέχεια σκανάρισε πίσω στο ψηφιακό, αποκλειστικά για ατμόσφαιρα και επίδραση.

Ψευδής κινηματογραφική γράνη

Οι μελετητές της ποιότητας ταινιών και τηλεόρασης συνδέουν την ορατή κινηματογραφική γράνη με υψηλή ανάλυση, όπου ο ρυθμός bit (η ποσότητα δεδομένων που εισάγονται σε κάθε καρέ) είναι τόσο υψηλός που ακόμη και τα μικρότερα λεπτομέρεια, όπως τα κρυστάλλους αλογόνου, διατηρούνται.

Ωστόσο, αν οι υπηρεσίες streaming πραγματικά παρείχαν αυτό το είδος ρυθμού bit, θα έθετε σοβαρή πίεση στην ικανότητα του δικτύου και πιθανότατα θα προκαλούσε缓衝 και σκαμπανεβάσματα. Για αυτόν τον λόγο, πλατφόρμες όπως το Netflix δημιουργούν βελτιωμένες εκδόσεις AV1 του περιεχομένου τους και χρησιμοποιούν τις ικανότητες του κωδικοποιητή AV1 για πρόσθεση κινηματογραφικής γράνης στην ταινία ή στο επεισόδιο με έναν έξυπνο και κατάλληλο τρόπο, αποθηκεύοντας 30% του εύρους ζώνης κατά τη διαδικασία.

Το AV1 σχεδιάστηκε για να ενσωματώνει την τεχνητή κινηματογραφική γράνη, όπως στις παρακάτω περιπτώσεις. Πηγή: https://waveletbeam.com/index.php/av1-film-grain-synthesis

Η «μανία της κινηματογραφικής γράνης» είναι ένα σχετικά σπάνιο ψηφιακό ισοδύναμο με αισθητικές τάσεις όπως η αναβίωση του βινυλίου, και είναι δύσκολο να πει κανείς αν χρησιμοποιείται από τις υπηρεσίες streaming για να κάνουν πολύ βελτιωμένα βίντεο να φαίνονται σαν πραγματικά ακριβά «ακατέργαστα βίντεο» (για τους θεατές που έχουν ασυνείδητα συνδέσει αυτές τις ιδιότητες), καθιστώντας τον ρυθμό bit υψηλότερο από ότι είναι στην πραγματικότητα; ή για να αποτρέψουν την υποκειμενική πτώση της ποιότητας που θα λάβουν οι παλιές εκπομπές 4:3 όταν οι υπηρεσίες streaming τις περικόψουν σε οθόνες widescreen;  ή απλώς για να ικανοποιήσουν την αισθητική του «Νόλαν» γενικά.

Κινηματογραφική γράνη σε αποθήκευση

Το πρόβλημα είναι ότι η κινηματογραφική γράνη είναι επίσης θόρυβος. Τα ψηφιακά συστήματα detest θόρυβο, και οι κωδικοποιητές streaming όπως το AV1 τον αφαιρούν για να αποθηκεύσουν εύρος ζώνης, trừ जब οι ρυθμίσεις κινηματογραφικής γράνης ρυθμίζονται ρητά. Ανάλογα, οι ανεβατήρες AI όπως η σειρά Topaz Gigapixel αντιμετωπίζουν την κινηματογραφική γράνη ως ελάττωμα που πρέπει να διορθωθεί.

Στο πεδίο της συνθετικής εικόνας με βάση τη διάχυση, η κινηματογραφική γράνη είναι εξαιρετικά δύσκολο να παραχθεί,既然 ότι αντιπροσωπεύει εξαιρετικά λεπτομέρεια, και θα εμφανιζόταν συνήθως μόνο σε μοντέλα που είναι υπερβολικά προσαρμοσμένα, επειδή η ολόκληρη αρχιτεκτονική του μοντέλου Latent Diffusion (LDM) σχεδιάστηκε για να αποσυναρμολογήσει τον θόρυβο (όπως η κινηματογραφική γράνη) σε σαφή εικόνα, αντί να αντιμετωπίζει τις σποράδες της κινηματογραφικής γράνης ως σιωπηρές ιδιότητες στα μέσα.

Λόγω αυτού του τελευταίου λογιστικού παράγοντα, τα state-of-the-art βίντεο κωδικοποιητές όπως το Versatile Video Coding (VVC) προσφέρουν κινηματογραφική γράνη ως一种 «παρεπόμενο» υπηρεσία.

Το VVC συμπιέζει το καθαρό, αποθορυβοποιημένο βίντεο και απορρίπτει την κινηματογραφική γράνη. Αντί να σπαταλούν δεδομένα προσπαθώντας να διατηρήσουν τυχαίες υψηλής συχνότητας μοτίβα κινηματογραφικής γράνης, αναλύει την κινηματογραφική γράνη ξεχωριστά και κωδικοποιεί ένα μικρό σύνολο παραμέτρων (π.χ. πλάτος, συχνότητα και τρόπο ανάμιξης) που περιγράφουν πώς να ξαναπαράγουν παρόμοια κινηματογραφική γράνη κατά την αναπαραγωγή.

Αυτές οι παράμετροι αποθηκεύονται σε một ροή FGC-SEI (Παραμετρικές Ιδιότητες Κινηματογραφικής Γράνης Προσθετικής Ενίσχυσης), η οποία συνταξίδεται με την κύρια ροή bit. Μετά την αποκωδικοποίηση, ένα模块 σύνθεσης χρησιμοποιεί αυτές τις οδηγίες για να επαναφέρει συνθετική κινηματογραφική γράνη που μιμείται την αρχική.

Αυτό διατηρεί την «εμφάνιση» υψηλού ρυθμού bit, πλούσιας κινηματογραφικής γράνης, ενώ διατηρεί το πραγματικό ρυθμό bit χαμηλό,既然 ότι ο κωδικοποιητής δεν αναγκάζεται να δαπανήσει πόρους για να διατηρήσει απρόβλεπτο θόρυβο.

Επιπλέον, όπως και με διακριτές αρχεία υποτιτλών, αυτό το ψευδές «περιεχόμενο κινηματογραφικής γράνης» είναι συγκεκριμένο για το βίντεο που αναφέρεται· η τυχαία εφαρμογή γενικών φίλτρων κινηματογραφικής γράνης σε πλατφόρμες όπως το Photoshop ή το After Effects, ή σε αυτοματοποιημένες διαδικασίες επεξεργασίας, δεν θα οδηγούσε σε «προσαρμοσμένη» κινηματογραφική γράνη, αλλά αντίθετα σε μια μη σχετική επικάλυψη θορύβου:

Αριστερά: αρχική εικόνα. Κέντρο: φίλτρο Camera Raw Grain του Photoshop εφαρμοσμένο ομοιόμορφα σε όλα τα κανάλια. Δεξιά: το ίδιο φίλτρο Grain εφαρμοσμένο ξεχωριστά σε κάθε κανάλι κατά σειρά. Πηγή εικόνας (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (μέσω της προηγούμενης μου δημοσίευσης)

Το φίλτρο «Κινηματογραφική Γράνη» του Photoshop προσθέτει ομοιόμορφο τυχαίο θόρυβο; αλλά η πραγματική κινηματογραφική γράνη πρόκειται από κρυστάλλους αλογόνου διαφόρων μεγεθών. Η εφαρμογή του φίλτρου σε κάθε κανάλι ξεχωριστά (βλέπε εικόνα παραπάνω) δημιουργεί μόνο περισσότερο χάος, όχι ρεαλισμό. Η πραγματική κινηματογραφική γράνη αντανακλά το πώς το φως χτυπά στρωμένα έμουλσιον στη στιγμή της έκθεσης. Η προσομοίωσή της θα απαιτούσε την εκτίμηση του πώς διαφορετικές περιοχές μιας εικόνας θα είχαν ενεργοποιήσει κάθε στρώμα αλογόνου, όχι απλώς το διαίρεση του αποτελέσματος σε RGB στρώματα.

FGA-NN

Σε αυτήν την ψευδή αναζήτηση έρχεται μια νέα έρευνα από τη Γαλλία – μια σύντομη αλλά ενδιαφέρουσα έξοδος που προσφέρει einen quantitatively και qualitatively ανώτερο τρόπο ανάλυσης και αναδημιουργίας κινηματογραφικής γράνης:

Σύγκριση μεταξύ ground-truth κινηματογραφικής γράνης και αποτελεσμάτων από διάφορες μεθόδους ανάλυσης και σύνθεσης. Πηγή: https://arxiv.org/pdf/2506.14350

Το νέο σύστημα, με τίτλο FGA-NN, δεν απομακρύνεται από τη συμβατική χρήση της συμβατικής σύνθεσης κινηματογραφικής γράνης με βάση το Gaussian μέσω του τυπικού μεθόδου VVC, Versatile Film Grain Synthesis (VFGS). Αυτό που αλλάζει το σύστημα είναι η ανάλυση, χρησιμοποιώντας ένα νευρωνικό δίκτυο για να εκτιμήσει πιο ακριβώς τις παραμέτρους σύνθεσης

Ως εκ τούτου, η τελική κινηματογραφική γράνη συνθέτει ακόμα χρησιμοποιώντας το ίδιο συμβατικό μοντέλο Gaussian – αλλά το δίκτυο τροφοδοτεί καλύτερη μεταδεδομένα σε einen τυπικό, κανόνων-βασισμένο γεννήτορα, αποκτώντας einen state-of-the-art μοντέλο.

Η νέα δημοσίευση έχει τίτλο FGA-NN: Νευρωνικό Δίκτυο Ανάλυσης Κινηματογραφικής Γράνης, και προέρχεται από τρεις ερευνητές στο InterDigital R&D, Cesson-Sévigné. Αν και η δημοσίευση δεν είναι μεγάλη, ας δούμε μερικά από τα βασικά χαρακτηριστικά των προόδων που προσφέρει η νέα μέθοδος.

Μέθοδος

Για να θυμηθούμε: το σύστημα FGA-NN λαμβάνει μια κινηματογραφική γράνη βίντεο ως είσοδο και εξάγει μια συμπυκνωμένη περιγραφή της κινηματογραφικής γράνης, εξόδου παραμέτρων στο τυποποιημένο μορφότυπο FGC-SEI που χρησιμοποιείται από διάφορα σύγχρονα κωδικοποιητές. Αυτές οι παράμετροι μεταδίδονται μαζί με το βίντεο, επιτρέποντας στον αποκωδικοποιητή να αναπαράγει την κινηματογραφική γράνη χρησιμοποιώντας VFGS, αντί να κωδικοποιεί την κινηματογραφική γράνη απευθείας.

Το σχήμα για την ανάλυση και επανα-εφαρμογή κινηματογραφικής γράνης στη διανομή βίντεο, χρησιμοποιώντας FGA-NN για εξαγωγή παραμέτρων και VFGS για σύνθεση.

Για να εκπαιδεύσουν το δίκτυο, οι συγγραφείς χρειάζονταν ζευγάρια κινηματογραφικής γράνης βίντεο και αντίστοιχων μεταδεδομένων FGC-SEI.  Καθώς η większość κινηματογραφικής γράνης βίντεο λείπει αυτού του είδους μεταδεδομένων, οι ερευνητές δημιούργησαν το δικό τους σύνολο δεδομένων εφαρμόζοντας συνθετική κινηματογραφική γράνη σε καθαρά βίντεο και χρησιμοποιώντας αυτά ως παραδείγματα εκπαίδευσης.

Δεδομένα εκπαίδευσης για το FGA-NN δημιουργήθηκαν εφαρμόζοντας συνθετική κινηματογραφική γράνη σε καθαρά βίντεο από τα BVI-DVC και DIV2K σύνολα δεδομένων. Τυχαίες παράμετροι FGC-SEI δημιουργήθηκαν και χρησιμοποιήθηκαν με το εργαλείο σύνθεσης VFGS, επιτρέποντας σε κάθε κινηματογραφική γράνη βίντεο να ζευγαρωθεί με γνωστά μεταδεδομένα.

Η συχνότητα-βασισμένη μοντέλο που υποστηρίζεται από τα τρέχοντα βίντεο προτύπων χρησιμοποιήθηκε, με περιορισμένες παραμέτρους για να διατηρήσουν την οπτική πιθανοφάνεια σε λουμά και χρώμα κανάλια.

Δεδομένα εκπαίδευσης για το νέο σύνολο δημιουργήθηκαν εφαρμόζοντας συνθετική κινηματογραφική γράνη σε καθαρά βίντεο από τα BVI-DVC και DIV2K σύνολα δεδομένων. Τυχαίες παράμετροι FGC-SEI δημιουργήθηκαν και χρησιμοποιήθηκαν με το εργαλείο σύνθεσης VFGS, επιτρέποντας σε κάθε κινηματογραφική γράνη βίντεο να ζευγαρωθεί με γνωστά μεταδεδομένα.

Επισκόπηση των τυχαίων παραμέτρων FGC-SEI που χρησιμοποιήθηκαν για τη δημιουργία συνθετικής κινηματογραφικής γράνης για εκπαίδευση, εφαρμοσμένης σε καθαρά βίντεο από τα BVI-DVC και DIV2K σύνολα δεδομένων. Παράμετροι περιοριζόταν για να διατηρήσουν οπτική πιθανοφάνεια σε λουμά και χρώμα κανάλια.

Το μοντέλο συχνότητας, ο μόνος τρόπος σύνθεσης που υποστηρίζεται目前 σε κωδικοποιητές όπως το VVC Test Model (VTM), χρησιμοποιήθηκε σε όλη τη διάρκεια. Παράμετροι περιοριζόταν για να διατηρήσουν οπτική πιθανοφάνεια σε λουμά και χρώμα κανάλια.

Εfect του Δικτύου

Το FGA-NN διαθέτει δύο συντονισμένα μοντέλα, για λουμά και χρώμα, αντίστοιχα, κάθε ένα σχεδιασμένο για να προβλέψει τις συγκεκριμένες παραμέτρους που απαιτούνται για να αναδημιουργηθεί ρεαλιστική κινηματογραφική γράνη.

Για κάθε είσοδο εικόνας, το σύστημα εκτιμά ένα σύνολο διαστημάτων έντασης, τους παράγοντες κλίμακας που συνδέονται με κάθε διάστημα, τις οριζόντιες και κάθετες συχνότητες κοπής, και μια γενική ρύθμιση κλίμακας που ονομάζεται Log2Scale παράγοντας. Για να χειριστεί αυτό, το μοντέλο χρησιμοποιεί ένα κοινό εξαγωγέα χαρακτηριστικών που επεξεργάζεται την κινηματογραφική γράνη είσοδο και τροφοδοτεί τέσσερις ξεχωριστές εξόδους κλάδους, κάθε ένας από τους οποίους είναι υπεύθυνος για μια διαφορετική εργασία πρόβλεψης:

Αρχιτεκτονική της εκδοχής λουμά του FGA-NN. Ένας κοινός πλάτος εξαγωγέας χαρακτηριστικών επεξεργάζεται την κινηματογραφική γράνη είσοδο, ακολουθούμενο από τέσσερις εξόδους κλάδους που έχουν προσαρμοστεί σε συγκεκριμένες εργασίες πρόβλεψης παραμέτρων: όρια διαστημάτων, παράγοντες κλίμακας, συχνότητες κοπής, και γενική ρύθμιση Log2Scale. Το χρώμα δίκτυο χρησιμοποιεί την ίδια δομή με προσαρμοσμένες διαστάσεις εισόδου και εξόδου.

Όρια διαστημάτων προβλέπονται χρησιμοποιώντας παλινδρόμηση, ενώ παράγοντες κλίμακας, συχνότητες κοπής, και η γενική ρύθμιση κλίμακας αντιμετωπίζονται ως προβλήματα ταξινόμησης.

Η αρχιτεκτονική προσαρμόζεται για να αντανακλούν την πολυπλοκότητα κάθε εργασίας, με μεγαλύτερες εσωτερικές στρώσεις που χρησιμοποιούνται για πιο λεπτομερείς προβλέψεις; συγκεκριμένα, το χρώμα μοντέλο αντανακλά την δομή του λουμά, αλλά προσαρμόζεται στις διαφορετικές ιδιότητες των δεδομένων χρώματος.

Εκπαίδευση και Δοκιμές

Το FGA-NN εκπαιδεύτηκε χρησιμοποιώντας τέσσερις στόχους, κάθε ένας από τους οποίους ευθυγραμμίζεται με μια από τις εργασίες πρόβλεψης. Για τις εξόδους ταξινόμησης, μια κατηγορική αποτέλεσμα διασταύρωσης χρησιμοποιήθηκε για να μειώσει το χάσμα μεταξύ προβλεπόμενων ετικετών και ground-truth.

Όρια διαστημάτων ομαλοποιήθηκαν σε ένα εύρος 0-1 και βελτιστοποιήθηκαν χρησιμοποιώντας μια συνδυασμένη απώλεια: μια εκθετικά κλιμακωμένη L1 απώλεια (expL1) που τιμωρούσε μεγαλύτερα λάθη πιο βαριά, και μια πολιτική μονοτονίας που απέτρεψε την κάθοδο. Όλες οι τέσσερις απώλειες συνδυάστηκαν, με υψηλά βάρη που εκχωρήθηκαν σε παράγοντες κοπής και κλίμακας, ενώ όρια διαστημάτων και Log2Scale были βαρυφορημένα με 1 και 0.1.

Η εκπαίδευση πραγματοποιήθηκε υπό τον βελτιστοποιητή Adam, σε μια ταχύτητα μάθησης 5e-4, σε 10.000 επαναλήψεις, με μια μεγέθυνση δέσμης 64.

Το μόνο σύγκρισιμο εργαλείο που ήταν κατάλληλο για συγκριτικές δοκιμές ήταν το FGA-CONVENT, το οποίο επίσης παράγει τιμές στο μορφότυπο FGC-SEI, και χρησιμοποιείται για επεξεργασία κινηματογραφικής γράνης. Και τα δύο συστήματα δοκιμάστηκαν σε ακολουθίες UHD από το JVET subjective evaluation set, χρησιμοποιώντας υλικό που περιέχει πραγματική κινηματογραφική γράνη.

Κάθετες διακεκομμένες γραμμές υποδεικνύουν όρια διαστημάτων έντασης, ενώ ο Log2Scale παράγοντας σημειώνεται στην ετικέτα άξονα.

Στην εικόνα παραπάνω, βλέπουμε ταυτόσημα καρέ που έχουν δημιουργηθεί από το VFGS χρησιμοποιώντας παραμέτρους από κάθε μέθοδο, σε σύγκριση με το αρχικό. Οι αντίστοιχοι εκτιμήσεις λουμά τους επίσης σχεδιάζονται ενάντια στις ground-truth τιμές που ορίζονται χειροκίνητα χρησιμοποιώντας VFGS, το οποίο εδώ σχεδιάζει την ένταση pixel στο άξονα X (0–255), παράγοντες κλίμακας στο γαλάζιο άξονα Y (0–255), και συχνότητες κοπής στο πράσινο άξονα Y (2–14).

Οι συγγραφείς δηλώνουν:

‘Μπορεί κανείς να παρατηρήσει ότι το FGA-NN καταγράφει ακριβώς την γενική τάση του μοτίβου κινηματογραφικής γράνης ground-truth και πλάτους, οδηγώντας σε συνθετικές εικόνες με οπτικά παρόμοια κινηματογραφική γράνη με αυτές του ground-truth.

‘Από την άλλη πλευρά, το FGA-CONVENT προβλέπει ένα χαμηλότερο παράγοντα κλίμακας, που αντισταθμίζεται από einen αντίστοιχα χαμηλότερο Log2Scale παράγοντα ως αποτέλεσμα του σχεδιασμού του, και έχει την τάση να γεννήσει ένα χονδρότερο μοτίβο κινηματογραφικής γράνης από το αναφορά, οδηγώντας σε μια διαφορετική αλλά οπτικά συνεπή εμφάνιση.’

Λένε επίσης ότι η άμεση σύγκριση με παραμέτρους κινηματογραφικής γράνης ground-truth είναι αξιόπιστη,既然 ότι παράγοντες κλίμακας και Log2Scale μπορούν να αντισταθμίσουν ο ένας τον άλλον, και μικρά λάθη έχουν συχνά μικρή οπτική επίδραση.

Δοκιμή Πίστης

Η πιστότητα της κινηματογραφικής γράνης μετρήθηκε σε τέσσερις ροές εργασίας: FGA-NN με VFGS; FGA-CONVENT συν VFGS; Style-FG; και 3R-INN. Δοκιμές χρησιμοποιήθηκαν και στα σύνολα δεδομένων FGC-SEI και FilmGrainStyle740k, συγκρίνοντας την έξοδο με ground-truth χρησιμοποιώντας Μετρητές Οπτικής Ομοιότητας (LPIPS); JSD-NSS; και Κουλμπακ-Λάιμπλερ (KL) απόκλιση.

Αποτελέσματα δοκιμών στο σύνολο δεδομένων FilmGrainStyle740k. Style-FG και 3R-INN υπερέχουν των άλλων λόγω της εκπαίδευσής τους σε αυτό το σύνολο, με το FGA-NN να ακολουθεί στενά. Το FGA-CONVENT υποπερφέρθηκε, αντανακλώντας την εξάρτησή του από πολυ-πλαίσια ανάλυση και ομοιογενείς περιοχές – συνθήκες που δεν ικανοποιούνται από τις μικρές, πλούσιες σε υφή εισόδους που χρησιμοποιούνται σε αυτήν την περίπτωση.

Από αυτά τα αποτελέσματα, οι συγγραφείς δηλώνουν:

‘Στο σύνολο δοκιμών FilmGrainStyle740k, Style-FG και 3R-INN επιτύγχαναν τα καλύτερα αποτελέσματα,既然 ότι αυτά τα μέθοδοι εκπαιδεύτηκαν ειδικά σε αυτό το σύνολο, με το FGA-NN να ακολουθεί στενά. Η απόδοση του FGA-CONVENT συν VFGS ήταν υποπαράγωγη σε και τα δύο σύνολα δοκιμών.

‘Αυτό οφείλεται στο γεγονός ότι η ανάλυση βασίζεται σε ομοιογενείς περιοχές και εκμεταλλεύεται πληροφορίες από πολλαπλά πλάισια σε μια πραγματική περίπτωση ανάλυσης κινηματογραφικής γράνης, ενώ στην παρούσα αξιολόγηση η ανάλυση παρέχεται με μια seule χαμηλής ανάλυσης εικόνα (256×256 έως μέγιστο 768×512), η οποία συχνά περιέχει σημαντική υφή.

‘Αυτό επιπλέον επιδίδει την πρόκληση για την συμβατική μέθοδο ανάλυσης, καθιστώντας αδύνατο να εφαρμοστεί το FGA-CONVENT σε τέτοιες μικρές εικόνες.’

Τέλος, οι συγγραφείς σημειώνουν ότι ενώ οι μεθόδοι που βασίζονται στην μάθηση όπως 3R-INN και Style-FG παράγουν ισχυρά οπτικά αποτελέσματα σε κατηγοριοποιημένα σύνολα δεδομένων, ο υψηλός υπολογιστικός κόστος τους τα καθιστά ακατάλληλα για ανάπτυξη σε συσκευές τελικού χρήστη.

Σύγκριση καρέ χαμηλού ρυθμού bit που ενισχύθηκαν χρησιμοποιώντας διαφορετικές ροές ανάλυσης και σύνθεσης (τρίτη έως τελευταία στήλες).

Σύγκριση, η προσέγγιση που προτείνεται στην νέα δημοσίευση ζευγαρώνει το ελαφρύ μοντέλο ανάλυσης FGA-NN με το hardware-эффективνο μέθοδο σύνθεσης VFGS, τον οποίο οι συγγραφείς περιγράφουν ως μια πιο βιώσιμη και αναπτυσσόμενη λύση για την επανα-εισαγωγή κινηματογραφικής γράνης σε συμπιεσμένα βίντεο.

Λένε επίσης ότι τα οφέλη του FGA-NN είναι потенτικά σημαντικά, σε κλίμακα:

‘[Κωδικοποίηση] UHD βίντεο με κινηματογραφική γράνη σε μέτριο έως χαμηλό ρυθμό bit χρησιμοποιώντας τη ροή ανάλυσης και σύνθεσης κινηματογραφικής γράνης μας επιτρέπει αποταμιεύσεις ρυθμού bit έως και 90% σε σύγκριση με κωδικοποίηση υψηλού ρυθμού bit.’

Συμπέρασμα

Η εμμονή με την κινηματογραφική γράνη είναι μια από τις πιο περίεργες και πιο περίεργες ιδιοτροπίες της μετα-αναλογικής εποχής, και είναι ενδιαφέρον να σημειωθεί ότι αυτό που κάποτε θεωρούνταν περιορισμός του μέσου έχει τώρα γίνει σύμβολο αυθεντικότητας και πραγματικότητας, ακόμη και (ίσως υποσυνείδητα) σε μια νέα γενιά θεατών που γεννήθηκαν μετά την πτώση της έμουλσιον.

Πρέπει να σημειωθεί ότι κανένας από τους state-of-the-art μεθόδους αναδημιουργίας κινηματογραφικής γράνης, συμπεριλαμβανομένης και αυτής της τελευταίας καινοτομίας, δεν μπορεί να συλλάβει ακριβώς την αληθινή επίδραση του τρόπου με τον οποίο το φως επηρεάζει στρώματα αλογόνων σε μια πραγματική φωτοχημική διαδικασία, σε eine σειρά συνθηκών. Πρώτη δημοσίευση την Τετάρτη, 18 Ιουνίου 2025