Αποκατάσταση όσων κατέγραψε η κάμερα πριν τα αλλάξει η AI

Πώς μπορείτε να προστατέψετε την αγνότητα μιας raw φωτογραφίας από παρέμβαση AI όταν έχει ήδη περάσει αυτόματα από το AI μέσα στην κάμερα; Νέα έρευνα επιδιώκει να αποκαταστήσει τα ‘αληθινά’ δεδομένα αισθητήρα – επίσης με AI!

Ο αυξανόμενος ρεαλισμός των εικόνων AI τον τελευταίο περίπου χρόνο έχει οδηγήσει πολλές ομάδες και άτομα να αντιδράσουν στην επακόλουθη διάβρωση της εμπιστοσύνης στη φωτογραφία.

Κατά την ίδια περίοδο, η Συμμαχία για την Προέλευση και την Αυθεντικότητα Περιεχομένου (C2PA) έχει προσπαθήσει να διαδώσει ένα ημι-κρυπτογραφικό πρότυπο που προσαρτά πληροφορίες προέλευσης βασισμένες σε μεταδεδομένα σε μια εικόνα, από τη στιγμή που καταγράφεται από μια υποστηριζόμενη κάμερα ή συσκευή, με την ελπίδα να αποκαλύψει οποιαδήποτε μετέπειτα χρήση γενετικών AI σε αυτές τις ‘πρωτότυπες’ εικόνες:

Σχήμα προέλευσης στο σύστημα C2PA, όπου μεταδεδομένα γραφόμενα στη στιγμή της καταγραφής μπορούν να προστεθούν σαν ένα ημερολόγιο, επιτρέποντας συνήθεις προσαρμογές όπως η φωτεινότητα και η αντίθεση, αλλά καταγράφοντας σημαντικές προσαρμογές, ώστε μια εικόνα που έχει αλλάξει πολύ από το AI να εμφανίζεται ως τέτοια σε μέσα ενημέρωσης που υποστηρίζουν αυτό το σύστημα. Πηγή

Η υιοθέτηση του προτύπου δεν ήταν τόσο εκτεταμένη όσο η συμμαχία είχε ελπίσει, και επί του παρόντος μόνο 14 κάμερες υποστηρίζουν την εγγραφή αυθεντικότητας μέσα στην κάμερα.

Τι είναι ενδιαφέρον στην ιδέα του C2PA να δώσει σε μια φωτογραφία ένα ‘διαβατήριο’ από τη στιγμή που δημιουργείται, είναι ότι μέχρι τότε μπορεί να είναι ήδη αργά – γιατί οι κατασκευαστές καμερών πλέον ενσωματώνουν συστηματικά την επεξεργασία AI στην ίδια τη δημιουργία της εικόνας:

Από το έγγραφο του 2024 ‘Advocating Pixel-Level Authentication of Camera-Captured Images’: μια εικόνα του πώς οι σύγχρονες ροές επεξεργασίας καμερών εισάγουν περιεχόμενο ψευδαισθήσεων στη στιγμή της καταγραφής και πώς τα μεταδεδομένα πιστοποίησης σε επίπεδο pixel το αποκαλύπτουν. Στο (Α), μια εικόνα αισθητήρα smartphone επεξεργάζεται από το ISP, όπου τα modules AI μπορούν να εφευρέσουν λεπτομέρειες κατά το ψηφιακό ζουμ ή διόρθωση έκθεσης, παράγοντας ρεαλιστικές εικόνες με λάθη όπως λανθασμένα αναγνωρισμένα ψηφία πινακίδων. Στο (Β), μια μάσκα πιστοποίησης ενσωματώνεται ως μεταδεδομένα και αργότερα επικαλύπτεται για να αποκαλύψει μη αυθεντικές περιοχές, επιτρέποντας στους χρήστες να διακρίνουν τα αρχικά δεδομένα από τα AI-αλλαγμένα pixel.  Πηγή

Στην πραγματικότητα, αυτή η παρέμβαση AI στη λήψη των raw δεδομένων από τον αισθητήρα της κάμερας θα μπορούσε τελικά να γίνει η κυρίαρχη διαδικασία.

Αυτό το είδος επεξεργασίας δεν είναι το ίδιο με την τρέχουσα τάση για αλλαγή φωτογραφιών μέσα στην κάμερα, όπου μια εφαρμογή τηλεφώνου ή μια εφαρμογή κάμερας επιτρέπει στον χρήστη να επεξεργάζεται μια φωτογραφία με την άνεσή του πριν ακόμη κατεβεί από τη συσκευή.

Αντίθετα, η επεξεργασία συμβαίνει σε μια διαδικασία «μαύρου κουτιού» στο Image Signal Processor (ISP) της κάμερας, συνήθως σε ένα ιδιόκτητο περιβάλλον εκτέλεσης που δεν εκθέτει ή δεν διαθέτει τα raw δεδομένα αισθητήρα (και σκεφτείτε ότι η λεγόμενη ‘καθαρή’ μορφή κάμερας RAW δεν είναι τόσο ‘ακατέργαστη’).

Επομένως, μέχρι τη στιγμή που μπορείτε να δείτε τη φωτογραφία, μπορεί να έχει υποβληθεί σε AI-βοηθούμενες βελτιώσεις όπως βελτίωση σε χαμηλό φως, αναβάθμιση, ή ακόμη και αντικατάσταση σελήνης.

Σε πολλές περιπτώσεις, αυτό μπορεί να οδηγήσει σε ανακριβείς ανακατασκευές, για παράδειγμα κειμένου, που μπορεί να ακυρώσει τη χρήση μιας τέτοιας εικόνας ως απόδειξη, καθώς μια ‘αληθινή’ εικόνα δεν θα ήταν διαθέσιμη:

Από το νέο έγγραφο – μια εικόνα αισθητήρα RAW επεξεργάζεται από ένα GenAI-ενεργοποιημένο ISP για να παράγει μια τελική έξοδο sRGB που φαίνεται καθαρότερη αλλά μπορεί να περιέχει επινοημένες λεπτομέρειες, όπως φαίνεται στο παράδειγμα της πινακίδας, όπου οι χαρακτήρες συνάγονται λανθασμένα κατά το ψηφιακό ζουμ. Η αληθινή σκηνή, η οποία δεν είναι προσιτή στην πράξη, διαφέρει και από την AI-βελτιωμένη έξοδο και από την ενδιάμεση αυθεντική εικόνα πριν από την εμφάνιση ψευδαισθήσεων. Η προτεινόμενη προσέγγιση επιτρέπει την ανάκτηση αυτής της εικόνας πριν από τις ψευδαισθήσεις, αποκαθιστώντας ό,τι κατέγραψαν αρχικά τα οπτικά της κάμερας πριν οι βελτιώσεις AI τροποποιήσουν το περιεχόμενο. Πηγή

Τα παραπάνω παραδείγματα προέρχονται από ένα νέο ερευνητικό έγγραφο που προσφέρει μια λύση για «φωτογραφίες που δημιουργούνται εξαρχής με AI», χρησιμοποιώντας εναλλακτικές διαδικασίες AI για να ανακατασκευάσουν την εκτιμώμενη raw και ανεπηρέαστη εικόνα από την επεξεργασμένη εικόνα.

Οι συγγραφείς δηλώνουν:

‘Όταν μοντέλα AI εκπαιδευμένα με παραγωγικές ή αντιληπτικές συναρτήσεις απώλειας χρησιμοποιούνται σε ISPs, είναι ευάλωτα σε ψευδή περιεχόμενο, ενδεχομένως αλλάζοντας το [νόημα] της εικόνας. Η επίδραση είναι ότι οι εικόνες που εξέρχονται άμεσα από την κάμερα μπορεί να περιέχουν ‘ψευδές’ περιεχόμενο, ιδιαίτερα σε smartphone κάμερες όπου τα modules AI-ISP βλέπουν αυξανόμενη υιοθέτηση.

‘Η χρήση GenAI σε υλικό κάμερας σηματοδοτεί μια μετατόπιση παραδείγματος σε πώς βλέπουμε τις εικόνες της κάμερας και αμφισβητεί την παραδοσιακή εγκληματολογική θεώρηση των εικόνων της κάμερας ως εγγενώς αξιόπιστων.’

Το νέο έργο χρησιμοποιεί ένα πολύ ελαφρύ encoder και MLP decoder, το οποίο μπορεί να ενσωματωθεί μέσα στην εικόνα με πρόσθετο μέγεθος αρχείου μόλις 180kb. Ο στόχος είναι η ανάπτυξη συστημάτων κωδικοποίησης αρκετά γρήγορων για να ανακατασκευάσουν την πρωτότυπη εικόνα σε πραγματικό χρόνο.

Από τη νέα μελέτη: η υπερ-ανάλυση με GenAI μέσα στο ISP της κάμερας μπορεί να αλλάξει ανεπαίσθητα τα χαρακτηριστικά του προσώπου, μεταβάλλοντας την εμφάνιση ή την αντιληπτή ταυτότητα μέσω αλλαγών στο βλέμμα και στο σχήμα του στόματος. Η βελτίωση χαμηλού φωτισμού μπορεί επίσης να αλλάξει το περιεχόμενο της εικόνας και την ερμηνεία της, παρά την καλύτερη οπτική ποιότητα. Στο παράδειγμα του κώδικα QR, η εικόνα γίνεται πιο ελκυστική αλλά ο κώδικας δεν μπορεί πλέον να σαρωθεί. Η μέθοδος ανακτά την αυθεντική εικόνα πριν από αυτές τις ψευδαισθήσεις, αποκαθιστώντας τις αρχικές λεπτομέρειες του προσώπου και έναν σαρώσιμο κώδικα QR.

Εναλλακτικά, οι κατασκευαστές καμερών θα μπορούσαν να δώσουν στους χρήστες πρόσβαση στα πραγματικά ακατέργαστα δεδομένα αισθητήρα. Ωστόσο, αυτό φαίνεται πιθανό να παραμείνει περιορισμένο σε πολύ υψηλής ποιότητας εξοπλισμό. Στο κινητό και στον καταναλωτικό χώρο, δυστυχώς, η πρόσβαση σε μη επεξεργασμένες φωτογραφίες μπορεί να θεωρηθεί μια ‘περιφερειακή’ ή περιθωριακή ενασχόληση.

Ενώ οι καταναλωτικές κάμερες έχουν πάντα εφαρμόσει κάποιο επίπεδο επεξεργασίας, πριν από την έλευση του περιφερειακού AI, οι αλγόριθμοι που χρησιμοποιήθηκαν ήταν ελάχιστα ‘ερμηνευτικοί’ και δεν ήταν πιθανό να αλλάξουν το περιεχόμενο μιας φωτογραφίας με τον ίδιο σημαντικό τρόπο που οι τρέχουσες μέθοδοι AI μπορούν.

Είναι ενδιαφέρον ότι, λαμβάνοντας υπόψη το βαθμό με τον οποίο η ‘πολιτική αντικατάστασης σελήνης’ της Samsung ήταν αντικείμενο δημόσιας κριτικής πριν από μερικά χρόνια, το Κέντρο AI της Samsung στο Τορόντο είναι ένας από τους συμμετέχοντες στο νέο έργο, το οποίο ονομάζεται Addressing Image Authenticity When Cameras Use Generative AI, και στο οποίο πρωταγωνιστούν οι συνεισφορές πέντε ερευνητών του Πανεπιστημίου του Τορόντο.

Μέθοδος

Οι συγγραφείς χρησιμοποιούν το μόνο άλλο έργο που φαίνεται να έχει αντιμετωπίσει άμεσα το ζήτημα των αλλοιώσεων που προκύπτουν από τον σχεδιασμό του συστήματος: το έγγραφο του 2024 μελέτη Advocating Pixel-Level Authentication of Camera-Captured Images, το οποίο πρότεινε μια «δυαδική μάσκα πιστοποίησης» που περιγράφει τις περιοχές που άλλαξαν από τις διαδικασίες AI μέσα στην κάμερα:

Δεξιά, η «μάσκα αυθεντικότητας» του εγγράφου του 2024 αποκαλύπτει τις περιοχές του ουρανού που επηρεάστηκαν από τις διαδικασίες ‘εξομάλυνσης’ AI μέσα στην κάμερα.

Ωστόσο, το σύστημα δεν πρόσφερε καμία μέθοδο με την οποία μια ‘αληθινή’ εικόνα θα μπορούσε να ανακατασκευαστεί, η οποία η νέα εργασία αντιμετωπίζει, αναγνωρίζοντας ένα χρέος προς την προηγούμενη εργασία.

Ο στόχος της νέας εργασίας είναι να επιτρέψει στους χρήστες να ανακατασκευάσουν μια εικόνα όσο πιο κοντά γίνεται σε αυτό που πραγματικά χτύπησε τον αισθητήρα πριν από την επεξεργασία:

Επισκόπηση της προτεινόμενης μεθόδου. Στο (Α), στη στιγμή της καταγραφής, η εικόνα εξόδου του ISP που περιέχει ψευδείς λεπτομέρειες περνάει από ένα προεκπαιδευμένο κωδικοποιητή με παγωμένες παραμέτρους, και τα λανθάνοντα χαρακτηριστικά του συνδυάζονται με χωρικές συντεταγμένες και τροφοδοτούνται σε ένα MLP που λειτουργεί ανά pixel για να προβλέψει την μη ψευδή εικόνα, με εκπαίδευση καθοδηγούμενη από μια απώλεια ενάντια στην αυθεντική εικόνα. Τα βάρη του encoder και MLP αποθηκεύονται ως μεταδεδομένα μαζί με την εικόνα. Στο (Β), κατά την εξαγωγή συμπερασμάτων, αυτά τα βάρη ανακτώνται από τα μεταδεδομένα και χρησιμοποιούνται με τον encoder και MLP για να ανακατασκευάσουν την μη ψευδή εικόνα.

Στη στιγμή της καταγραφής, στη νέα μέθοδο, η επεξεργασμένη εικόνα περνάει από ένα παγωμένο encoder που τη μετατρέπει σε μια συμπαγή λανθάνουσα αναπαράσταση.  Στη συνέχεια, οι σχετικές χωρικές συντεταγμένες συνδυάζονται με αυτά τα χαρακτηριστικά και τροφοδοτούνται σε ένα ελαφρύ MLP που λειτουργεί ανά pixel, για να προβλέψει το πρωτότυπο περιεχόμενο της εικόνας – μάθοντας, αποτελεσματικά, να αφαιρέσει τα ψευδή στοιχεία μέσω μιας ανακατασκευαστικής απώλειας, με στόχους τις αυθεντικές εικόνες.

Ο κωδικοποιητής και ο αποκωδικοποιητής προεκπαιδεύονται σε ζευγαρωμένα αυθεντικές εικόνες και εικόνες με ψευδαισθήσεις, και στη συνέχεια γρήγορα παραμετροποιούνται για κάθε κατεγραμμένη εικόνα, με τα βάρη τους αποθηκευμένα ως μεταδεδομένα μαζί με την εικόνα, προσθέτοντας μόνο μια μικρή επιβάρυνση μεγέθους.

Κατά την προβολή, αυτά τα αποθηκευμένα βάρη ανακτώνται και ξαναχρησιμοποιούνται για να τρέξουν τον ίδιο encoder και MLP, επιτρέποντας την ανάκτηση μιας εικόνας που προσεγγίζει όσο πιο κοντά γίνεται σε αυτό που ο αισθητήρας της κάμερας κατέγραψε αρχικά, χωρίς να εισάγει νέο συνθετικό περιεχόμενο.

Δεδομένα και Τεστ

Οι συγγραφείς δοκίμασαν τη νέα μέθοδο χρησιμοποιώντας δύο από τις πιο συχνά εφαρμοζόμενες εργασίες επεξεργασίας ISP: υπερ-ανάλυση (SR, συμπεριλαμβανομένης για περιοχές ζουμ) και φωτογραφία σε χαμηλό φως.

Για το γενικό (‘φυσικό’) τμήμα SR των τεστ, πολλά παραδείγματα κειμένου συμπεριλήφθηκαν στα δεδομένα, καθώς οι διαδικασίες SR του ISP είναι γνωστό ότι έχουν αλλάξει κείμενο (για παράδειγμα, των πινακίδων αυτοκινήτων, αλλά δείτε παραδείγματα νωρίτερα στο άρθρο). καθώς το πρόβλημα της παραμόρφωσης κειμένου είναι ένα ξεχωριστό ζήτημα, αυτό αντιμετωπίστηκε ως υπο-σύνολο των τεστ SR, με αφιερωμένα δεδομένα.

Ο προαναφερθείς encoder εκπαιδεύτηκε για κάθε μια από τις δύο τύπους δεδομένων που δοκιμάστηκαν, και κάθε μια επιλέχθηκε με βάση ποια μονάδα AI-ISP ήταν πιθανό να ενεργοποιηθεί κατά τη στιγμή της καταγραφής (π.χ. μια ‘χαμηλού φωτός’ μονάδα, σε σκοτεινές συνθήκες).

Οι συγγραφείς χρησιμοποίησαν το DIV2K dataset για την εκπαίδευση υπερ-ανάλυσης, με τη δημοφιλή RealESRGAN δικτύωση. Σε γραμμή με το προαναφερθέν έργο του 2024 για την παρέμβαση του ISP, οι ερευνητές δημιούργησαν ζευγαρωμένα δεδομένα που περιείχαν ανεπηρέαστο και ψευδή περιεχόμενο.

Για το τμήμα SR κειμένου, οι συγγραφείς χρησιμοποίησαν το MARCONet μοντέλο SR κειμένου του 2023:

Από το έγγραφο MARCONet του 2023, παραδείγματα πραγματικών χαμηλής ανάλυσης και ισοδύναμων upscaled κειμένων. Πηγή

Για να δημιουργηθούν ζευγαρωμένα δεδομένα σε αυτή την περίπτωση, οι ερευνητές έτρεξαν ανεπηρέαστες εικόνες μέσω του MARCONet. Δύο χιλιάδες εικόνες δημιουργήθηκαν από τον κώδικα του έργου, με 200 δεσμευμένες για επικύρωση, μαζί με άλλες 200 για τεστ.

Για τα τεστ σε χαμηλό φως, το LOw-Light dataset (LOL) dataset από ένα κινέζικο έγγραφο του 2018 υιοθετήθηκε:

Από το κινέζικο dataset LOL του 2018, παραδείγματα των ίδιων εικόνων σε διαφορετικές εκθέσεις και επίπεδα σκοτίσματος και υποβάθμισης. Πηγή

Ανταγωνιστικά συστήματα

Για να αξιολογήσουν τη μέθοδο, οι συγγραφείς έκαναν συγκρίσεις με τρεις συγκεκριμένες βάσεις που εκπαιδεύτηκαν υπό ισότιμες συνθήκες. Πρώτα, SIREN και NeRF προ-εκπαιδεύτηκαν σε ζευγαρωμένα αυθεντικές εικόνες και εικόνες με ψευδαισθήσεις και στη συνέχεια παραμετροποιήθηκαν στη στιγμή της καταγραφής για το ίδιο χρονικό διάστημα με την προτεινόμενη προσέγγιση, προσφέροντας μια άμεση σύγκριση με το NeRF.

Δεύτερον, ένα MLP με μια εκμαθημένη κωδικοποίηση με βάση τη μέθοδο hashgrid από το Instant-NGP χρησιμοποιήθηκε, με τις καταχωρήσεις του πίνακα και MLP συν-βελτιστοποιημένες.

Το μέγεθος των ενσωματώσεων και η χωρητικότητα του δικτύου αντιστοιχίστηκαν στον κωδικοποιητή και στο MLP στόχο. Τα πειράματα κάλυψαν τόσο τη βελτιστοποίηση κάθε εικόνας από την αρχή όσο και την προεκπαίδευση ακολουθούμενη από λεπτομερή προσαρμογή.

Τρίτον, μια τυφλή μετάφραση εικόνας-σε-εικόνα υλοποιήθηκε χρησιμοποιώντας ένα 64MB NAFNet μοντέλο, εκπαιδευμένο ως ένα σύστημα πίξελ-σε-πίξελ παλινδρόμησης χωρίς πρόσβαση σε μεταδεδομένα.

Στην εκπαίδευση, ο Adam βελτιστοποιητής χρησιμοποιήθηκε πάνω από PyTorch, και για την προ-εκπαίδευση και την παραμετροποίηση. Ο encoder και ο MLP εκπαιδεύτηκαν για 50,000 epochs σε ένα μέγεθος batch των 32, με modality-ειδικές κωδικοποιήσεις εκπαιδευμένες για κάθε εργασία (π.χ. SR, text-SR, χαμηλό φως).

Η παραμετροποίηση έλαβε χώρα για περίπου τρία δευτερόλεπτα σε ένα NVIDIA V100 GPU με 32GB VRAM. Οι συγγραφείς σημειώνουν ότι ενώ η βελτιστοποίηση στο χώρο της συσκευής είναι το στόχος και το σενάριο, δεν ήταν πραγματικό να την υλοποιήσουν για όλα τα πλαίσια, και επομένως όλα τα τεστ διεξήχθησαν σε ένα περιβάλλον επιφάνειας εργασίας:

Σύγκριση επιδόσεων ενάντια σε μεταδεδομένα-βοηθούμενες MLP-βασισμένες βάσεις, συμπεριλαμβανομένων SIREN, NeRF, και της μεθόδου hash-grid, μαζί με τυφλή ανάκτηση χρησιμοποιώντας NAFNet. Τα αποτελέσματα αναφέρονται ως PSNR σε ντεσιμπέλ σε τρεις εργασίες: φυσική εικόνα υπερ-ανάλυσης στο DIV2K; υπερ-ανάλυση κειμένου στο MARCONet; και βελτίωση σε χαμηλό φως στο LOL, με την προτεινόμενη μέθοδο να επιτυγχάνει τα υψηλότερα σκορ σε κάθε περίπτωση.

Για τις MLP-βασισμένες προσεγγίσεις, η απόδοση εξαρτήθηκε σε μεγάλο βαθμό από την αναπαράσταση εισόδου, όπου μοντέλα που εκπαιδεύτηκαν χρησιμοποιώντας μόνο χωρικές συντεταγμένες αγωνίστηκαν κατά την προ-εκπαίδευση και απέτυχαν να βελτιωθούν κατά την περιορισμένη φάση λεπτομερούς προσαρμογής. Η προσθήκη χρωματικής πληροφορίας οδήγησε σε ισχυρότερα αποτελέσματα.

Η τυφλή ανάκτηση χρησιμοποιώντας NAFNet απέδωσε καλά στο DIV2K, όπου η αντιστοίχιση από υποβαθμισμένες σε καθαρές εικόνες ήταν σχετικά σταθερή, αλλά κατέρρευσε στο MARCONet και LOL, όπου υπήρχαν πολλαπλές εύλογες ανακατασκευές και το μοντέλο δεν διέθετε τις πληροφορίες που χρειαζόταν για να επιλύσει αυτή την ασάφεια.

Αυτή η επίδραση ήταν πιο εμφανής στη βελτίωση σε χαμηλό φως, όπου η αρχική φωτεινότητα της σκηνής δεν θα μπορούσε να ανακατασκευαστεί με αξιοπιστία από την επεξεργασμένη εικόνα μόνο.

Οι συγγραφείς δηλώνουν:

‘[Στο] συνθετικό δεδομένο MARCONet, εικόνες με διαφορετική ένταση θόλωσης χαρτογραφούνται στην ίδια ψευδή εικόνα. Φαίνεται από τα αποτελέσματα ότι η προτεινόμενη μας προσέγγιση υπερτερεί των ανταγωνιστών σε όλα τα δεδομένα.’

Στη σύγκριση παραπάνω, μπορούμε να δούμε πόσο καλά αποδίδουν οι διαφορετικές μέθοδοι ανάλογα με το πόσο χρόνο έχουν για να τρέξουν τη στιγμή που μια φωτογραφία λαμβάνεται. Η εκπαίδευση ενός μοντέλου από το μηδέν για κάθε εικόνα μπορεί να παράγει ισχυρά αποτελέσματα, όπως φαίνεται με το SIREN, NeRF, και hash-grid – αλλά αυτό διαρκεί πολύ χρόνο για να είναι πρακτικό μέσα σε μια κάμερα.

Αντίθετα, η μέθοδος των συγγραφέων κάνει το μεγαλύτερο μέρος του έργου εκ των προτέρων, με μια γρήγορη προσαρμογή στη στιγμή της καταγραφής, επιτρέποντας της να παράγει καλύτερα αποτελέσματα μέσα σε στενά χρονικά όρια (3, 5, ή δέκα δευτερόλεπτα).

Σύγκριση επιδόσεων ενάντια σε μεταδεδομένα-βοηθούμενες MLP-βασισμένες βάσεις, συμπεριλαμβανομένων SIREN, NeRF, και της μεθόδου hash-grid, μαζί με τυφλή ανάκτηση χρησιμοποιώντας NAFNet. Τα αποτελέσματα αναφέρονται ως PSNR σε ντεσιμπέλ για τρεις εργασίες: υπερ-ανάλυση φυσικών εικόνων στο DIV2K, υπερ-ανάλυση κειμένου στο MARCONet και βελτίωση χαμηλού φωτισμού στο LOL. Η προτεινόμενη μέθοδος πέτυχε την υψηλότερη βαθμολογία σε κάθε περίπτωση. Παρακαλώ αναφερθείτε στο αρχικό έγγραφο για (λίγο) καλύτερη ανάλυση.

Παραπάνω παρουσιάζονται ποιοτικά αποτελέσματα στο DIV2K, όπου οι μέθοδοι βελτίωσης εισήγαγαν ορατές ψευδαισθήσεις. Ένα μοντέλο υπερ-ανάλυσης βασισμένο σε GAN άλλαξε το χρώμα των ματιών, ενώ η τυφλή ανάκτηση δυσκολεύτηκε να ανακατασκευάσει την αρχική εικόνα. Το NeRF και η μέθοδος hash-grid παρήγαγαν τεχνουργήματα σε δομημένες περιοχές, όπως παράθυρα και κείμενο, ενώ η προτεινόμενη μέθοδος πλησίασε περισσότερο την αυθεντική εικόνα.

Τέλος, στη φιγούρα παραπάνω, φαίνονται τα αποτελέσματα στο dataset LOL, με φωτεινότητα κλιμακωμένη για οπτική.

Η τυφλή ανάκτηση δεν μπόρεσε να επιλύσει την άγνωστη κλίμακα φωτεινότητας, ενώ η προτεινόμενη μέθοδος ανακατασκεύασε καλύτερα τις υφές και αποκατέστησε τους αλλοιωμένους χαρακτήρες, όπως τη διόρθωση ενός ‘1’ πίσω σε ‘i’, χωρίς να προσθέσει τεχνουργήματα.

Συμπέρασμα

Ο ισχυρισμός ότι «η κάμερα δεν ψεύδεται ποτέ» πιθανότατα δεν μπορεί να υποστηριχθεί, ούτε μπορούσε ποτέ να υποστηριχθεί. Κάθε απόφαση σχετικά με το τι να φωτογραφίσετε και πότε να το φωτογραφίσετε, μαζί με το πώς να το παρουσιάσετε και να το εντάξετε σε συγκεκριμένο πλαίσιο, είναι στην πραγματικότητα μια πολιτική ή κοινωνική απόφαση.

Ακόμη και οι παλαιότερες μέθοδοι της μετα-επεξεργασίας, όπως dodging και burning (παλιά μεταφέρθηκαν σε εργαλεία Photoshop) είναι υψηλά υποκειμενικές πράξεις καλλιτεχνικής απόφασης και προτίμησης.

Ωστόσο, αυτό δεν είναι λόγος να εγκαταλείψουμε τουλάχιστον τον στόχο των ‘αντικειμενικών’ λήψεων εικόνας. Και φαίνεται λογικό ότι ο μέσος καταναλωτής θα πρέπει να επιτρέπεται, ακόμη και με κάποια δυσκολία, να έχει πρόσβαση στα ‘ακατέργαστα’ raw δεδομένα αισθητήρα των φωτογραφιών που λαμβάνει, αν το θέλει; ή τουλάχιστον, ότι θα πρέπει να επιτρέπεται να περιορίσει την επεξεργασία ISP σε αλγορίθμους χωρίς AI, όπως μπορεί να προτιμήσει.

Πρώτη δημοσίευση Παρασκευή, 24 Απριλίου 2026