Η γωνία του Anderson

Αποκατάσταση του τι Καταγράφηκε από την Κάμερα Πριν το AI το Άλλαξε

mm
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
AI-generated image (GPT-2). A photographer examines an open DSLR as a stream of colorful fantasy creatures and glowing imagery bursts out, while he reacts with focused, subdued surprise in a studio setting.

Πώς μπορείτε να προστατέψτε την αγνότητα μιας raw φωτογραφίας από παρέμβαση AI όταν έχει ήδη περάσει αυτόματα από το AI μέσα στην κάμερα; Νέα έρευνα επιδιώκει να αποκαταστήσει τα ‘αληθινά’ δεδομένα αισθητήρα – επίσης με AI!

 

Η αύξηση της αυθεντικότητας των εικόνων AI τα τελευταία χρόνια έχει οδηγήσει πολλές ομάδες και άτομα να αντιδράσουν στην επακόλουθη διάβρωση της εμπιστοσύνης στη φωτογραφία.

Κατά την ίδια περίοδο, η Συμμαχία για την Απόδειξη Περιεχομένου και την Αυθεντικότητα (C2PA) έχει προσπαθήσει να διαδώσει ένα ημι-κρυπτογραφικό πρότυπο που προσαρτά μεταδεδομένα-βασισμένες πληροφορίες αυθεντικότητας σε μια εικόνα, από τη στιγμή που καταγράφεται από μια υποστηριζόμενη κάμερα ή συσκευή, με την ελπίδα να αποκαλύψει οποιαδήποτε μετέπειτα χρήση γενετικών AI σε αυτές τις ‘πρωτότυπες’ εικόνες:

Σχήμα της αυθεντικότητας στο σύστημα C2PA, όπου μεταδεδομένα γραφόμενα στη στιγμή της καταγραφής μπορούν να προστεθούν σαν ένα ημερολόγιο, επιτρέποντας συνήθεις điều chỉnhες όπως η φωτεινότητα και η αντίθεση, αλλά καταγράφοντας σημαντικές điều chỉnhες, ώστε μια εικόνα που έχει αλλάξει πολύ από το AI να εμφανίζεται ως τέτοια σε μέσα ενημέρωσης που υποστηρίζουν αυτό το σύστημα. Πηγή  - https://spec.c2pa.org/specifications/specifications/1.2/specs/

Σχήμα της αυθεντικότητας στο σύστημα C2PA, όπου μεταδεδομένα γραφόμενα στη στιγμή της καταγραφής μπορούν να προστεθούν σαν ένα ημερολόγιο, επιτρέποντας συνήθεις điều chỉnhες όπως η φωτεινότητα και η αντίθεση, αλλά καταγράφοντας σημαντικές điều chỉnhες, ώστε μια εικόνα που έχει αλλάξει πολύ από το AI να εμφανίζεται ως τέτοια σε μέσα ενημέρωσης που υποστηρίζουν αυτό το σύστημα. Πηγή

Η υιοθέτηση του προτύπου δεν ήταν τόσο εκτεταμένη όσο η συμμαχία είχε ελπίσει, και目前 μόνο 14 κάμερες υποστηρίζουν την εγγραφή αυθεντικότητας μέσα στην κάμερα.

Τι είναι ενδιαφέρον στην ιδέα του C2PA να δώσει σε μια φωτογραφία ένα ‘διαβατήριο’ από τη στιγμή που δημιουργείται, είναι ότι μέχρι τότε μπορεί να είναι ήδη αργά – γιατί οι κατασκευαστές καμερών τώρα ρουτίνα το AI-επεξεργασία μέσα στην δημιουργία της εικόνας:

Από το έγγραφο του 2024 'Advocating Pixel-Level Authentication of Camera-Captured Images': μια εικόνα του πώς οι σύγχρονες καμερές εισάγουν ψευδή περιεχόμενο στη στιγμή της καταγραφής και πώς η αυθεντικοποίηση σε επίπεδο pixel αποκαλύπτει αυτό. Στο (Α), μια εικόνα αισθητήρα smartphone επεξεργάζεται από το ISP, όπου τα modules AI μπορούν να εφευρέσουν λεπτομέρειες κατά τη ψηφιακή ζουμ ή διόρθωση έκθεσης, παράγοντας πραγματικές εικόνες με λάθη όπως λανθασμένα αναγνωρισμένα ψηφία πινακίδων. Στο (Β), ένα αυθεντικό μάσκα ενσωματώνεται ως μεταδεδομένα και αργότερα επικαλύπτεται για να αποκαλύψει μη αυθεντικά περιοχές, επιτρέποντας στους χρήστες να διακρίνουν το πρωτότυπο δεδομένο από τα AI-αλλαγμένα pixel.  Πηγή – https://ieeexplore.ieee.org/ielx7/6287639/10380310/10478521.pdf?tp=&arnumber=10478521&isnumber=10380310&ref=aHR0cHM6Ly9zY2hvbGFyLmdvb2dsZS5jb20ucHkv

Από το έγγραφο του 2024 ‘Advocating Pixel-Level Authentication of Camera-Captured Images’: μια εικόνα του πώς οι σύγχρονες καμερές εισάγουν ψευδή περιεχόμενο στη στιγμή της καταγραφής και πώς η αυθεντικοποίηση σε επίπεδο pixel αποκαλύπτει αυτό. Στο (Α), μια εικόνα αισθητήρα smartphone επεξεργάζεται από το ISP, όπου τα modules AI μπορούν να εφευρέσουν λεπτομέρειες κατά τη ψηφιακή ζουμ ή διόρθωση έκθεσης, παράγοντας πραγματικές εικόνες με λάθη όπως λανθασμένα αναγνωρισμένα ψηφία πινακίδων. Στο (Β), ένα αυθεντικό μάσκα ενσωματώνεται ως μεταδεδομένα και αργότερα επικαλύπτεται για να αποκαλύψει μη αυθεντικά περιοχές, επιτρέποντας στους χρήστες να διακρίνουν το πρωτότυπο δεδομένο από τα AI-αλλαγμένα pixel.  Πηγή

Στην πραγματικότητα, αυτή η παρέμβαση AI στη λήψη των raw δεδομένων από τον αισθητήρα της κάμερας θα μπορούσε τελικά να γίνει η κυρίαρχη διαδικασία.

Αυτό το είδος επεξεργασίας δεν είναι το ίδιο με την τρέχουσα τάση για αλλαγή φωτογραφιών μέσα στην κάμερα, όπου μια εφαρμογή τηλεφώνου ή μια εφαρμογή κάμερας επιτρέπει στον χρήστη να ξανασκέφτεται μια φωτογραφία με χαλαρότητα πριν ακόμη κατεβεί από τη συσκευή.

Αντίθετα, η επεξεργασία συμβαίνει σε μια ‘μαύρη κουτί’ ρουτίνα στο Image Signal Processor (ISP) της κάμερας, συνήθως σε một ιδιόκτητο runtime που δεν εκθέτει ή δεν κάνει διαθέσιμο τα raw δεδομένα αισθητήρα (και σκεφτείτε ότι το कथώς ‘καθαρό’ μορφή κάμερας RAW δεν είναι τόσο ‘καθαρό’).

Επομένως, μέχρι τη στιγμή που μπορείτε να δείτε τη φωτογραφία, μπορεί να έχει υποβληθεί σε AI-βοηθούμενες βελτιώσεις όπως βελτίωση σε χαμηλό φως, αναβάθμιση, ή ακόμη και αντικατάσταση σελήνης.

Σε πολλές περιπτώσεις, αυτό μπορεί να οδηγήσει σε ανακριβείς ανακατασκευές, για παράδειγμα κειμένου, που μπορεί να ακυρώσει τη χρήση μιας τέτοιας εικόνας ως απόδειξη,既然 μια ‘αληθινή’ εικόνα δεν θα ήταν διαθέσιμη:

Από το νέο έγγραφο - μια εικόνα αισθητήρα RAW επεξεργάζεται από ένα GenAI-ενεργοποιημένο ISP για να παράγει μια τελική έξοδο sRGB που φαίνεται καθαρότερη αλλά μπορεί να περιέχει ψευδή λεπτομέρειες, όπως φαίνεται στο παράδειγμα της πινακίδας, όπου τα γράμματα είναι λανθασμένα υποτιθέμενα κατά τη ψηφιακή ζουμ. Η αληθινή σκηνή, η οποία δεν είναι προσιτή στην πράξη, διαφέρει και από την AI-βελτιωμένη έξοδο και από την ενδιάμεση αυθεντική εικόνα πριν από την ψευδή. Η προτεινόμενη προσέγγιση επιτρέπει την ανάκτηση αυτής της προ-ψευδούς εικόνας, αποκατάσταση того που η κάμερα οπτικά κατέγραψε πριν από τις AI-βελτιώσεις να τροποποιήσουν το περιεχόμενο. Πηγή - https://arxiv.org/pdf/2604.21879

Από το νέο έγγραφο – μια εικόνα αισθητήρα RAW επεξεργάζεται από ένα GenAI-ενεργοποιημένο ISP για να παράγει μια τελική έξοδο sRGB που φαίνεται καθαρότερη αλλά μπορεί να περιέχει ψευδή λεπτομέρειες, όπως φαίνεται στο παράδειγμα της πινακίδας, όπου τα γράμματα είναι λανθασμένα υποτιθέμενα κατά τη ψηφιακή ζουμ. Η αληθινή σκηνή, η οποία δεν είναι προσιτή στην πράξη, διαφέρει και από την AI-βελτιωμένη έξοδο και από την ενδιάμεση αυθεντική εικόνα πριν από την ψευδή. Η προτεινόμενη προσέγγιση επιτρέπει την ανάκτηση αυτής της προ-ψευδούς εικόνας, αποκατάσταση того που η κάμερα οπτικά κατέγραψε πριν από τις AI-βελτιώσεις να τροποποιήσουν το περιεχόμενο. Πηγή

Τα παραπάνω παραδείγματα προέρχονται από ένα νέο ερευνητικό έγγραφο που προσφέρει μια λύση για ‘εικονικές φωτογραφίες’, χρησιμοποιώντας εναλλακτικές διαδικασίες AI για να ανακατασκευάσουν την εκτιμώμενη raw και ανεπηρέαστη εικόνα από την επεξεργασμένη εικόνα.

Οι συγγραφείς δηλώνουν:

‘Όταν μοντέλα AI εκπαιδευμένα με γενετικές ή αισθητικές απώλειες χρησιμοποιούνται σε ISPs, είναι ευάλωτα σε ψευδή περιεχόμενο, потенτικά αλλάζοντας την εικόνα [νοήμα]. Η επίδραση είναι ότι οι εικόνες που εξέρχονται直接 από την κάμερα μπορεί να περιέχουν ‘ψευδή’ περιεχόμενο, ιδιαίτερα σε smartphone κάμερες όπου τα modules AI-ISP βλέπουν αυξανόμενη υιοθέτηση.

‘Η χρήση GenAI σε υλικό κάμερας σηματοδοτεί μια μετατόπιση παραδείγματος σε πώς βλέπουμε τις εικόνες της κάμερας και προκλήσεις την παραδοσιακή νομική άποψη των εικόνων της κάμερας ως εγγενώς αξιόπιστων.’

Το νέο έργο χρησιμοποιεί ένα πολύ ελαφρύ encoder και MLP decoder, το οποίο μπορεί να ενσωματωθεί μέσα στην εικόνα με ένα βάρος ποινής μόνο 180kb. Ο στόχος είναι η ανάπτυξη συστημάτων κωδικοποίησης αρκετά γρήγορων για να ανακατασκευάσουν την πρωτότυπη εικόνα σε πραγματικό χρόνο.

<img class=" wp-image-413559" src="https://www.unite.ai/wp-content/uploads/2026/04/figure-2-5.jpg" alt="Από το νέο έγγραφο: η GenAI-βασισμένη υπερ-ανάλυση μέσα στην κάμερα ISP μπορεί να αλλάξει λεπτομέρειες προσώπου, μετατοπίζοντας την εμφάνιση ή την αντίληψη της ταυτότητας μέσω αλλαγών στη ματιά και στο σχήμα του στόματος. Η βελτίωση σε χαμηλό φως μπορεί επίσης να τροποποιήσει το περιεχόμενο της εικόνας, επηρεάζοντας την ερμηνεία παρά την βελτίωση της οπτικής ποιότητας. Στο παράδειγμα του QR κωδικού, η βελτίωση κάνει την εικόνα πιο ελκυστική αλλά την κάνει μη αναγνώσιμη. Η μέθοδος επιτρέπει την ανάκτηση της αυθεντικής εικόνας πριν από αυτές τις ψευδείς.

Εναλλακτικά, οι κατασκευαστές καμερών θα μπορούσαν να δώσουν στους χρήστες πρόσβαση στα πραγματικά ακατέργαστα δεδομένα αισθητήρα. Ωστόσο, αυτό φαίνεται πιθανό να παραμείνει περιορισμένο σε πολύ υψηλής ποιότητας εξοπλισμό. Στο κινητό και στον καταναλωτικό χώρο, δυστυχώς, η πρόσβαση σε μη επεξεργασμένες φωτογραφίες μπορεί να θεωρηθεί μια ‘περιφερειακή’ ή περιθωριακή διέγερση.

Ενώ οι καταναλωτικές κάμερες έχουν luôn εφαρμόσει κάποιο επίπεδο επεξεργασίας, πριν από την έλευση του περιφερειακού AI, οι αλγόριθμοι που χρησιμοποιήθηκαν ήταν ελάχιστα ‘ερμηνευτικοί’ και δεν ήταν πιθανό να αλλάξουν το περιεχόμενο μιας φωτογραφίας με τον ίδιο σημαντικό τρόπο που οι τρέχουσες μεθόδους AI μπορούν.

Είναι ενδιαφέρον ότι,考虑 το βαθμό με τον οποίο η ‘πολιτική αντικατάστασης σελήνης’ της Samsung ήταν υπό PUBLIC κριτική πριν από quelques χρόνια, το Κέντρο AI της Samsung στο Τορόντο είναι ένας από τους συμμετέχοντες στο νέο έργο, το οποίο ονομάζεται Addressing Image Authenticity When Cameras Use Generative AI, και είναι υπό την ηγεσία των συνεισφορών από πέντε ερευνητές στο Πανεπιστήμιο του Τορόντο.

Μέθοδος

Οι συγγραφείς χρησιμοποιούν το μόνο άλλο έργο που φαίνεται να έχει αντιμετωπίσει trực tiếp το ζήτημα της perturbation-by-design: το έγγραφο του 2024 paper Advocating Pixel-Level Authentication of Camera-Captured Images, το οποίο πρότεινε μια ‘binary authentication mask’ που περιγράφει τις περιοχές που άλλαξαν από τις διαδικασίες AI μέσα στην κάμερα:

Δεξιά, η 'αυθεντικότητα μάσκα' του εγγράφου του 2024 αποκαλύπτει τις περιοχές του ουρανού που επηρεάστηκαν από τις διαδικασίες 'λειανσης' AI μέσα στην κάμερα.

Δεξιά, η ‘αυθεντικότητα μάσκα’ του εγγράφου του 2024 αποκαλύπτει τις περιοχές του ουρανού που επηρεάστηκαν από τις διαδικασίες ‘λειανσης’ AI μέσα στην κάμερα.

Ωστόσο, το σύστημα δεν πρόσφερε καμία μέθοδο με την οποία μια ‘αληθινή’ εικόνα θα μπορούσε να ανακατασκευαστεί, η οποία η νέα εργασία αντιμετωπίζει, αναγνωρίζοντας ένα χρέος προς την προηγούμενη έξοδο.

Ο στόχος της νέας εργασίας είναι να επιτρέψει στους χρήστες να ανακατασκευάσουν μια εικόνα όσο πιο κοντά γίνεται σε αυτό που πραγματικά χτύπησε τον αισθητήρα πριν από την επεξεργασία:

Επισκόπηση της προτεινόμενης μεθόδου. Στο (Α), στη στιγμή της καταγραφής, η εικόνα εξόδου του ISP που περιέχει ψευδείς λεπτομέρειες περνάει από ένα παγωμένο εκπαιδευμένο encoder, και τα.latent χαρακτηριστικά του συνδυάζονται με χωρικές συντεταγμένες και τροφοδοτούνται σε ένα MLP που λειτουργεί ανά pixel για να προβλέψει την μη ψευδή εικόνα, με εκπαίδευση καθοδηγούμενη από μια απώλεια ενάντια στην αυθεντική εικόνα. Τα βάρη του encoder και MLP αποθηκεύονται ως μεταδεδομένα μαζί με την εικόνα. Στο (Β), στη στιγμή της ερμηνείας, αυτά τα βάρη ανακτώνται από τα μεταδεδομένα και χρησιμοποιούνται με τον encoder και MLP για να ανακατασκευάσουν την μη ψευδή εικόνα.

Επισκόπηση της προτεινόμενης μεθόδου. Στο (Α), στη στιγμή της καταγραφής, η εικόνα εξόδου του ISP που περιέχει ψευδείς λεπτομέρειες περνάει από ένα παγωμένο εκπαιδευμένο encoder, και τα.latent χαρακτηριστικά του συνδυάζονται με χωρικές συντεταγμένες και τροφοδοτούνται σε ένα MLP που λειτουργεί ανά pixel για να προβλέψει την μη ψευδή εικόνα, με εκπαίδευση καθοδηγούμενη από μια απώλεια ενάντια στην αυθεντική εικόνα. Τα βάρη του encoder και MLP αποθηκεύονται ως μεταδεδομένα μαζί με την εικόνα. Στο (Β), στη στιγμή της ερμηνείας, αυτά τα βάρη ανακτώνται από τα μεταδεδομένα και χρησιμοποιούνται με τον encoder και MLP για να ανακατασκευάσουν την μη ψευδή εικόνα.

Στη στιγμή της καταγραφής, στη νέα μέθοδο, η επεξεργασμένη εικόνα περνάει από ένα παγωμένο encoder που τη μετατρέπει σε μια συμπαγή λαθέντα αναπαράσταση.  Στη συνέχεια, οι σχετικές χωρικές συντεταγμένες συνδυάζονται με αυτά τα χαρακτηριστικά και τροφοδοτούνται σε ένα ελαφρύ MLP που λειτουργεί ανά pixel, για να προβλέψει το πρωτότυπο περιεχόμενο της εικόνας – μάθοντας, αποτελεσματικά, να αφαιρέσει τα ψευδή στοιχεία μέσω μιας ανακατασκευαστικής απώλειας, ενάντια σε αυθεντικά στόχους.

Ο encoder και ο MLP εκπαιδεύονται σε ζευγαρωμένα αυθεντικά και ψευδή εικόνες, και στη συνέχεια γρήγορα παραμετροποιούνται για κάθε κατεγραμμένη εικόνα, με τα βάρη τους αποθηκευμένα ως μεταδεδομένα μαζί με την εικόνα, προσθέτοντας μόνο μια μικρή επιβάρυνση μεγέθους.

Στη στιγμή της ερμηνείας, αυτά τα αποθηκευμένα βάρη ανακτώνται και ξαναχρησιμοποιούνται για να τρέξουν τον ίδιο encoder και MLP, επιτρέποντας την ανάκτηση μιας εικόνας που προσεγγίζει όσο πιο κοντά γίνεται σε αυτό που η κάμερα αισθητήρα κατέγραψε αρχικά, χωρίς να εισάγει νέο συνθετικό περιεχόμενο.

Δεδομένα και Τεστ

Οι συγγραφείς ε-tested την νέα μέθοδο χρησιμοποιώντας δύο από τις πιο συχνά εφαρμοζόμενες εργασίες επεξεργασίας ISP: υπερ-ανάλυση (SR, συμπεριλαμβανομένης για περιοχές ζουμ) και φωτογραφία σε χαμηλό φως.

Για το γενικό (‘φυσικό’) τμήμα SR των τεστ, πολλά παραδείγματα κειμένου συμπεριλήφθηκαν στα δεδομένα,既然 τα ρουτίνες SR του ISP είναι γνωστό ότι έχουν αλλάξει κείμενο (για παράδειγμα, των πινακίδων αυτοκινήτων, αλλά δείτε παραδείγματα νωρίτερα στο άρθρο).既然 το πρόβλημα της παραμόρφωσης κειμένου είναι ένα ξεχωριστό ζήτημα, αυτό αντιμετωπίστηκε ως υπο-σύνολο των τεστ SR, με αφιερωμένα δεδομένα.

Ο προαναφερθείς encoder εκπαιδεύτηκε για κάθε μια από τις δύο modalities που ε-tested, και κάθε μια επιλέχθηκε με βάση ποια μονάδα AI-ISP ήταν πιθανό να ενεργοποιηθεί κατά τη στιγμή της καταγραφής (π.χ. μια ‘χαμηλού φωτός’ μονάδα, σε σκοτεινές συνθήκες).

Οι συγγραφείς χρησιμοποίησαν το DIV2K dataset για την εκπαίδευση υπερ-ανάλυσης, με τη δημοφιλή RealESRGAN δικτύωση. Σε γραμμή με το προαναφερθέν έργο του 2024 για την παρέμβαση του ISP, οι ερευνητές δημιούργησαν ζευγαρωμένα δεδομένα που περιείχαν ανεπηρέαστο και ψευδή περιεχόμενο.

Για το τμήμα SR κειμένου, οι συγγραφείς χρησιμοποίησαν το MARCONet μοντέλο SR κειμένου του 2023:

Από το έγγραφο MARCONet του 2023, παραδείγματα πραγματικών χαμηλής ανάλυσης και ισοδύναμων upscaled κειμένων. Πηγή - https://arxiv.org/pdf/2303.14726

Από το έγγραφο MARCONet του 2023, παραδείγματα πραγματικών χαμηλής ανάλυσης και ισοδύναμων upscaled κειμένων. Πηγή

Για να δημιουργηθούν ζευγαρωμένα δεδομένα σε αυτή την περίπτωση, οι ερευνητές έτρεξαν ανεπηρέαστες εικόνες μέσω του MARCONet. Δύο χιλιάδες εικόνες δημιουργήθηκαν από τον κώδικα του έργου, με 200 οριζόντια για επαλήθευση, μαζί με άλλες 200 για τεστ.

Για τα τεστ σε χαμηλό φως, το LOw-Light dataset (LOL) dataset από ένα κινέζικο έγγραφο του 2018 υιοθετήθηκε:

Από το κινέζικο dataset LOL του 2018, παραδείγματα των ίδιων εικόνων σε διαφορετικές εκθέσεις και επίπεδα σκοτίσματος και υποβάθμισης. Πηγή - https://arxiv.org/pdf/1808.04560

Από το κινέζικο dataset LOL του 2018, παραδείγματα των ίδιων εικόνων σε διαφορετικές εκθέσεις και επίπεδα σκοτίσματος και υποβάθμισης. Πηγή

Αντιπαλές Πλαίσια

Για να αξιολογήσουν τη μέθοδο, οι συγγραφείς έκαναν συγκρίσεις με τρεις συγκεκριμένες βάσεις που εκπαιδεύτηκαν υπό ισότιμες συνθήκες. Πρώτα, SIREN και NeRF προ-εκπαιδεύτηκαν σε ζευγαρωμένα αυθεντικά και ψευδή εικόνες και στη συνέχεια παραμετροποιήθηκαν στη στιγμή της καταγραφής για το ίδιο χρονικό διάστημα με την προτεινόμενη προσέγγιση, προσφέροντας μια άμεση σύγκριση με το NeRF.

Δεύτερον, ένα MLP με μια εκμαθημένη κωδικοποίηση με βάση τη μέθοδο hashgrid από το Instant-NGP χρησιμοποιήθηκε, με τις καταχωρήσεις του πίνακα και MLP συν-βελτιστοποιημένες.

Τρίτον, μια τυφλή μετάφραση εικόνας-σε-εικόνα υλοποιήθηκε χρησιμοποιώντας ένα 64MB NAFNet μοντέλο, εκπαιδευμένο ως ένα σύστημα πίξελ-σε-πίξελ παλινδρόμησης χωρίς πρόσβαση σε μεταδεδομένα.

Στην εκπαίδευση, ο Adam βελτιστοποιητής χρησιμοποιήθηκε πάνω από PyTorch, και για την προ-εκπαίδευση και την παραμετροποίηση. Ο encoder και ο MLP εκπαιδεύτηκαν για 50,000 epochs σε ένα μέγεθος batch των 32, με modality-ειδικές κωδικοποιήσεις εκπαιδευμένες για κάθε εργασία (π.χ. SR, text-SR, χαμηλό φως).

Η παραμετροποίηση έλαβε χώρα για περίπου τρία δευτερόλεπτα σε ένα NVIDIA V100 GPU με 32GB VRAM. Οι συγγραφείς σημειώνουν ότι ενώ η βελτιστοποίηση στο χώρο της συσκευής είναι το στόχος και το σενάριο, δεν ήταν πραγματικό να την υλοποιήσουν για όλα τα πλαίσια, και επομένως όλα τα τεστ διεξήχθησαν σε ένα περιβάλλον επιφάνειας εργασίας:

Σύγκριση επιδόσεων ενάντια σε μεταδεδομένα-βοηθούμενες MLP-βασισμένες βάσεις, συμπεριλαμβανομένων SIREN, NeRF, και της μεθόδου hash-grid, μαζί με τυφλή ανάκτηση χρησιμοποιώντας NAFNet. Τα αποτελέσματα αναφέρονται ως PSNR σε δεκατίς σε τρεις εργασίες: φυσική εικόνα υπερ-ανάλυσης στο DIV2K; υπερ-ανάλυση κειμένου στο MARCONet; και βελτίωση σε χαμηλό φως στο LOL, με την προτεινόμενη μέθοδο να επιτυγχάνει τα υψηλότερα σκορ σε κάθε περίπτωση.

Σύγκριση επιδόσεων ενάντια σε μεταδεδομένα-βοηθούμενες MLP-βασισμένες βάσεις, συμπεριλαμβανομένων SIREN, NeRF, και της μεθόδου hash-grid, μαζί με τυφλή ανάκτηση χρησιμοποιώντας NAFNet. Τα αποτελέσματα αναφέρονται ως PSNR σε δεκατίς σε τρεις εργασίες: φυσική εικόνα υπερ-ανάλυσης στο DIV2K; υπερ-ανάλυση κειμένου στο MARCONet; και βελτίωση σε χαμηλό φως στο LOL, με την προτεινόμενη μέθοδο να επιτυγχάνει τα υψηλότερα σκορ σε κάθε περίπτωση.

Για τις MLP-βασισμένες προσεγγίσεις, η απόδοση εξαρτήθηκε σε μεγάλο βαθμό από την είσοδο αναπαράσταση, όπου μοντέλα που εκπαιδεύτηκαν χρησιμοποιώντας μόνο χωρικές συντεταγμένες αγωνίστηκαν κατά την προ-εκπαίδευση και απέτυχαν να βελτιωθούν κατά τη φάση παραμετροποίησης. Η προσθήκη χρωματικής πληροφορίας οδήγησε σε ισχυρότερα αποτελέσματα.

Η τυφλή ανάκτηση χρησιμοποιώντας NAFNet εκτέλεσε καλά στο DIV2K, όπου το χάρτη από υποβαθμισμένες σε καθαρές εικόνες ήταν σχετικά σταθερό, αλλά κατέρρευσε στο MARCONet και LOL, όπου υπήρχαν πολλαπλά πιθανά ανακατασκευασμένα και το μοντέλο έλλειπε της πληροφορίας που χρειαζόταν για να επιλύσει αυτή την αμφιiguity.

Αυτή η επίδραση ήταν πιο εμφανής στη βελτίωση σε χαμηλό φως, όπου η αρχική φωτεινότητα της σκηνής δεν θα μπορούσε να ανακατασκευαστεί με αξιοπιστία από την επεξεργασμένη εικόνα μόνο.

Οι συγγραφείς δηλώνουν:

‘[Στο] συνθετικό δεδομένο MARCONet, εικόνες με διαφορετική δύναμη θόλους χαρτογραφούνται στην ίδια ψευδή εικόνα. Φαίνεται από τα αποτελέσματα ότι η προτεινόμενη μας προσέγγιση υπερτερεί τους ανταγωνιστές σε όλα τα δεδομένα.’

Στη σύγκριση παραπάνω, μπορούμε να δούμε πόσο καλά διαφορετικές μεθόδους εκτελούν ανάλογα με το πόσο χρόνο έχουν για να τρέξουν τη στιγμή που μια φωτογραφία λαμβάνεται. Η εκπαίδευση ενός μοντέλου από το μηδέν για κάθε εικόνα μπορεί να παράγει ισχυρά αποτελέσματα, όπως φαίνεται με το SIREN, NeRF, και hash-grid – αλλά αυτό διαρκεί πολύ χρόνο για να είναι πρακτικό μέσα σε μια κάμερα.

Αντίθετα, η μέθοδος των συγγραφέων κάνει το μεγαλύτερο μέρος του έργου εκ των προτέρων, με μια γρήγορη προσαρμογή στη στιγμή της καταγραφής, επιτρέποντας της να παράγει καλύτερα αποτελέσματα μέσα σε στενά χρονικά όρια (3, 5, ή δέκα δευτερόλεπτα).

Σύγκριση επιδόσεων ενάντια σε μεταδεδομένα-βοηθούμενες MLP-βασισμένες βάσεις, συμπεριλαμβανομένων SIREN, NeRF, και της μεθόδου hash-grid, μαζί με τυφλή ανάκτηση χρησιμοποιώντας NAFNet. Τα αποτελέσματα αναφέρονται ως PSNR σε δεκατίς σε τρεις εργασίες: φυσική εικόνα υπερ-ανάλυσης στο DIV2K; υπερ-ανάλυση κειμένου στο MARCONet; και βελτίωση σε χαμηλό φως στο LOL, με την προτεινόμενη μέθοδο να επιτυγχάνει τα υψηλότερα σκορ σε κάθε περίπτωση.

Σύγκριση επιδόσεων ενάντια σε μεταδεδομένα-βοηθούμενες MLP-βασισμένες βάσεις, συμπεριλαμβανομένων SIREN, NeRF, και της μεθόδου hash-grid, μαζί με τυφλή ανάκτηση χρησιμοποιώντας NAFNet. Τα αποτελέσματα αναφέρονται ως PSNR σε δεκατίς σε τρεις εργασίες: φυσική εικόνα υπερ-ανάλυσης στο DIV2K; υπερ-ανάλυση κειμένου στο MARCONet; και βελτίωση σε χαμηλό φως στο LOL, με την προτεινόμενη μέθοδο να επιτυγχάνει τα υψηλότερα σκορ σε κάθε περίπτωση. Παρακαλώ αναφερθείτε στο αρχικό έγγραφο για (λίγο) καλύτερη ανάλυση.

Παραπάνω, φαίνεται η ποιοτική σύγκριση ενάντια στις μεταδεδομένα-βοηθούμενες MLP-βασισμένες βάσεις, συμπεριλαμβανομένων SIREN, NeRF, και της μεθόδου hash-grid, μαζί με τυφλή ανάκτηση χρησιμοποιώντας NAFNet. Τα αποτελέσματα αναφέρονται ως PSNR σε δεκατίς σε τρεις εργασίες: φυσική εικόνα υπερ-ανάλυσης στο DIV2K; υπερ-ανάλυση κειμένου στο MARCONet; και βελτίωση σε χαμηλό φως στο LOL, με την προτεινόμενη μέθοδο να επιτυγχάνει τα υψηλότερα σκορ σε κάθε περίπτωση.

Τέλος, στη φιγούρα παραπάνω, φαίνονται τα αποτελέσματα στο dataset LOL, με φωτεινότητα κλιμακωμένη για οπτική.

Η τυφλή ανάκτηση δεν μπόρεσε να επιλύσει την άγνωστη κλίμακα φωτεινότητας, ενώ η προτεινόμενη μέθοδος ανέκατε καλύτερα τις υφές και αποκατέστησε τις αλλαγμένες χαρακτήρες, όπως τη διόρθωση ενός ‘1’ πίσω σε ‘i’, χωρίς να προσθέσει τεχνουργήματα.

Συμπέρασμα

Πιθανότατα δεν είναι αμφισβήτητο, ούτε ποτέ ήταν αμφισβήτητο, ότι ‘η κάμερα δεν ψεύδεται’. Κάθε απόφαση σχετικά με το τι να φωτογραφίσετε και πότε να το φωτογραφίσετε, μαζί με το πώς να το παρουσιάσετε και να το”contextualize”, είναι στην πραγματικότητα μια πολιτική ή κοινωνική απόφαση.

Ακόμη και οι παλαιότερες μεθόδους της μετα-επεξεργασίας, όπως dodging και burning (παλιά μεταφέρθηκαν σε εργαλεία Photoshop) είναι υψηλά υποκειμενικές πράξεις καλλιτεχνικής απόφασης και προτίμησης.

Ωστόσο, αυτό δεν είναι λόγος να εγκαταλείψουμε τουλάχιστον τον στόχο των ‘αντικειμενικών’ λήψεων εικόνας. Και φαίνεται λογικό ότι ο μέσος καταναλωτής θα πρέπει να επιτρέπεται, ακόμη και με κάποια δυσκολία, να έχει πρόσβαση στα ‘ακατέργαστα’ raw δεδομένα αισθητήρα των φωτογραφιών που λαμβάνει, αν το θέλει; ή τουλάχιστον, ότι θα πρέπει να επιτρέπεται να περιορίσει την επεξεργασία ISP σε μη-αλγορίθμους AI, όπως μπορεί να προτιμήσει.

 

Πρώτη δημοσίευση Παρασκευή, 24 Απριλίου 2026

Συγγραφέας σε μηχανική μάθηση, ειδικός σε σύνθεση εικόνων ανθρώπων. Πρώην επικεφαλής ερευνητικού περιεχομένου στη Metaphysic.ai, μέχρι τη διάλυση της στην DNEG's Brahma.ai.
Portfolio site: martinanderson.ai
Contact: [email protected]