Η γωνία του Anderson

JPEG AI: Η τεχνολογία που θολώνει τα όρια μεταξύ πραγματικών και συνθετικών εικόνων

mm
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Created with ChatGPT-4o and Adobe Firefly

Τον Φεβρουάριο του τρέχοντος έτους, το διεθνές πρότυπο JPEG AI δημοσιεύθηκε, μετά από χρόνια ερευνών που αποσκοπούσαν στην利用ση τεχνικών машинικής μάθησης για την παραγωγή ενός μικρότερου και πιο εύκολου στην μετάδοση και αποθήκευση κώδικα εικόνας, χωρίς απώλεια στην αισθητηριακή ποιότητα.

Από τη επίσημη δημοσίευση του JPEG AI, μια σύγκριση μεταξύ Peak Signal-to-Noise Ratio (PSNR) και της ML-ενισχυμένης προσέγγισης του JPEG AI. Πηγή: https://jpeg.org/jpegai/documentation.html

Από τη επίσημη δημοσίευση του JPEG AI, μια σύγκριση μεταξύ Peak Signal-to-Noise Ratio (PSNR) και της ML-ενισχυμένης προσέγγισης του JPEG AI. Πηγή: https://jpeg.org/jpegai/documentation.html

Ένας πιθανός λόγος για τον οποίο αυτή η ανακοίνωση δεν έλαβε πολλές επικεφαλίδες είναι ότι τα βασικά PDF για αυτή την ανακοίνωση δεν ήταν διαθέσιμα μέσω δωρεάν πυλών όπως το Arxiv. Παρόλα αυτά, το Arxiv είχε ήδη δημοσιεύσει μια σειρά μελετών που εξέταζαν τη σημασία του JPEG AI σε διάφορα μέρη, συμπεριλαμβανομένων των απώλειας δεδομένων και της σημασίας για τη νομική.

Μια μελέτη σύγκρινε τα αρτεφάκτα συμπίεσης, συμπεριλαμβανομένων εκείνων ενός προηγούμενου προτύπου του JPEG AI, και βρήκε ότι η νέα μέθοδος είχε την τάση να θολώνει το κείμενο – δεν είναι ένα ελαφρύ ζήτημα σε περιπτώσεις όπου ο κώδικας μπορεί να συμβάλλει σε μια αλυσίδα αποδείξεων. Πηγή: https://arxiv.org/pdf/2411.06810

Μια μελέτη σύγκρινε τα αρτεφάκτα συμπίεσης, συμπεριλαμβανομένων εκείνων ενός προηγούμενου προτύπου του JPEG AI, και βρήκε ότι η νέα μέθοδος είχε την τάση να θολώνει το κείμενο. Πηγή: https://arxiv.org/pdf/2411.06810

Επειδή το JPEG AI αλλάζει τις εικόνες με τρόπο που μιμείται τα αρτεφάκτα των συνθετικών γεννητριών εικόνων, τα υπάρχοντα νομικά εργαλεία δυσκολεύονται να διακρίνουν τις πραγματικές από τις ψευδείς εικόνες:

Μετά τη συμπίεση του JPEG AI, τα state-of-the-art αλγόριθμοι δεν μπορούν πλέον να διακρίνουν με σιγουριά το αυθεντικό περιεχόμενο από τις τροποποιημένες περιοχές στις χαρτογραφικές απεικονίσεις, σύμφωνα με μια πρόσφατη μελέτη (Μάρτιος 2025). Τα παραδείγματα που φαίνονται στα αριστερά είναι ψευδείς εικόνες, στις οποίες οι τροποποιημένες περιοχές είναι σαφώς διαγραμμένες με τις τυπικές νομικές τεχνικές (κεντρική εικόνα). Ωστόσο, η συμπίεση του JPEG AI δίνει στις ψευδείς εικόνες ένα επίπεδο πιστότητας (εικόνα στα δεξιά).

Μετά τη συμπίεση του JPEG AI, τα state-of-the-art αλγόριθμοι δεν μπορούν πλέον να διακρίνουν με σιγουριά το αυθεντικό περιεχόμενο από τις τροποποιημένες περιοχές στις χαρτογραφικές απεικονίσεις. Πηγή: https://arxiv.org/pdf/2412.03261

Ένας λόγος είναι ότι το JPEG AI εκπαιδεύεται χρησιμοποιώντας μια αρχιτεκτονική μοντέλου παρόμοια με εκείνη που χρησιμοποιείται από τις γεννητριές που τα νομικά εργαλεία αποσκοπούν να ανιχνεύσουν:

Το νέο έγγραφο εικονογραφεί τη συγγένεια μεταξύ των μεθοδολογιών της AI-κωδικοποίησης εικόνων και των πραγματικών AI-γεννητριών εικόνων. Πηγή: https://arxiv.org/pdf/2504.03191

Το νέο έγγραφο εικονογραφεί τη συγγένεια μεταξύ των μεθοδολογιών της AI-κωδικοποίησης εικόνων και των πραγματικών AI-γεννητριών εικόνων. Πηγή: https://arxiv.org/pdf/2504.03191

Γι’ αυτό, και τα δύο μοντέλα μπορεί να παράγουν ορισμένα παρόμοια υποκείμενα οπτικά χαρακτηριστικά, από νομική άποψη.

Quantization

Αυτή η διασταύρωση συμβαίνει λόγω της quantization, κοινής και στις δύο αρχιτεκτονικές, και η οποία χρησιμοποιείται στη μηχανική μάθηση και ως μέθοδος μετατροπής συνεχούς δεδομένων σε διακριτά σημεία δεδομένων, και ως τεχνική βελτίωσης που μπορεί να μειώσει σημαντικά το μέγεθος του αρχείου ενός εκπαιδευμένου μοντέλου (οι εραστές της συνθετικής εικόνας θα είναι εξοικειωμένοι με την αναμονή μεταξύ μιας επίσημης κυκλοφορίας μοντέλου και μιας κοινότητας-ηγετικής quantized εκδοχής που μπορεί να εκτελεστεί σε τοπικό υλικό).

Σε αυτό το контέκστ, η quantization αναφέρεται στη διαδικασία μετατροπής των συνεχών τιμών στη λατινική αναπαράσταση της εικόνας σε σταθερά, διακριτά βήματα. Το JPEG AI χρησιμοποιεί αυτή τη διαδικασία για να μειώσει την ποσότητα δεδομένων που απαιτούνται για την αποθήκευση ή τη μετάδοση μιας εικόνας, απλοποιώντας την εσωτερική αριθμητική αναπαράσταση.

Αν και η quantization κάνει την κωδικοποίηση πιο αποτελεσματική, εισάγει επίσης δομικές τακτοτομίες που possono να μοιάζουν με τα αρτεφάκτα που αφήνουν τα γεννητικά μοντέλα – αρκετά λεπτά για να διαφεύγουν από την αντίληψη, αλλά διαταρακτικά για τα νομικά εργαλεία.

Ως απάντηση, οι συγγραφείς μιας νέας εργασίας με τίτλο Τρεις Νομικές Υποδείξεις για Εικόνες JPEG AI προτείνουν ερμηνεύσιμες, μη-νευρωνικές τεχνικές που ανιχνεύουν τη συμπίεση JPEG AI, καθορίζουν εάν μια εικόνα έχει ανασυμπιεστεί και διακρίνουν τις συμπιεσμένες πραγματικές εικόνες από εκείνες που παράγονται εξ ολοκλήρου από μοντέλα AI.

Μέθοδος

Χρωματικές Συσχέσεις

Το έγγραφο προτείνει τρεις ‘νομικές υποδείξεις’ που είναι προσαρμοσμένες στις εικόνες JPEG AI: χρωματικές συσχετίσεις, που εισάγονται κατά τα προεπεξεργαστικά βήματα του JPEG AI, μετρήσιμες παραμορφώσεις στην ποιότητα εικόνας σε επαναλαμβανόμενες συμπιέσεις που αποκαλύπτουν ανασυμπιεστικές εκδηλώσεις και λατινικές Quantization μοτίβα που βοηθούν στη διάκριση μεταξύ εικόνων που συμπιέζονται από το JPEG AI και εκείνων που παράγονται από μοντέλα AI.

Σχετικά με την προσέγγιση που βασίζεται στις χρωματικές συσχετίσεις, η προεπεξεργαστική διαδικασία του JPEG AI εισάγει στατιστικές εξαρτήσεις μεταξύ των χρωματικών καναλιών της εικόνας, δημιουργώντας μια υπογραφή που μπορεί να χρησιμεύσει ως νομική υπόδειξη.

Το JPEG AI μετατρέπει τις εικόνες RGB στο χρωματικό χώρο YUV και thựcisiert 4:2:0 χρωματική υποδείγματος, η οποία περιλαμβάνει την υποδείγματος των χρωματικών καναλιών πριν από τη συμπίεση. Αυτή η διαδικασία οδηγεί σε λεπτές συσχετίσεις μεταξύ των υψηλών συχνοτήτων των残ίων των καναλιών του κόκκινου, πράσινου και μπλε – συσχετίσεις που δεν υπάρχουν στις ασυμπιεσμένες εικόνες και που διαφέρουν σε δύναμη από εκείνες που παράγονται από την παραδοσιακή συμπίεση JPEG ή συνθετικές γεννήτριες εικόνων.

Μια σύγκριση του πώς η συμπίεση JPEG AI αλλάζει τις χρωματικές συσχετίσεις στις εικόνες, χρησιμοποιώντας το κόκκινο κανάλι ως παράδειγμα. Πίνακας (α) συγκρίνει ασυμπιεσμένες εικόνες με εικόνες που συμπιέζονται με JPEG AI, δείχνοντας ότι η συμπίεση αυξάνει σημαντικά την διακανάλι συσχέτιση. Πίνακας (β) απομονώνει την επίδραση της προεπεξεργασίας του JPEG AI – μόνο η χρωματική μετατροπή και η υποδείγματος – δείχνοντας ότι ακόμη και αυτό το βήμα μόνο αυξάνει τις συσχετίσεις αξιοσημείωτα. Πίνακας (γ) δείχνει ότι η παραδοσιακή συμπίεση JPEG αυξάνει επίσης τις συσχετίσεις ελαφρά, αλλά όχι στο ίδιο επίπεδο. Πίνακας (δ) εξετάζει τις συνθετικές εικόνες, με το Midjourney-V5 και το Adobe Firefly να εμφανίζουν μέτρια αύξηση συσχετίσεων, ενώ άλλα παραμένουν πιο κοντά σε ασυμπιεσμένα επίπεδα.

Μια σύγκριση του πώς η συμπίεση JPEG AI αλλάζει τις χρωματικές συσχετίσεις στις εικόνες.

Πάνω από εδώ, μπορούμε να δούμε μια σύγκριση από το έγγραφο που δείχνει πώς η συμπίεση JPEG AI αλλάζει τις χρωματικές συσχετίσεις στις εικόνες, χρησιμοποιώντας το κόκκινο κανάλι ως παράδειγμα.

Πίνακας Α συγκρίνει ασυμπιεσμένες εικόνες με εικόνες που συμπιεζονται με JPEG AI, δείχνοντας ότι η συμπίεση αυξάνει σημαντικά την διακανάλι συσχέτιση. Πίνακας Β απομονώνει την επίδραση της προεπεξεργασίας του JPEG AI – μόνο η χρωματική μετατροπή και η υποδείγματος – δείχνοντας ότι ακόμη και αυτό το βήμα μόνο αυξάνει τις συσχετίσεις αξιοσημείωτα. Πίνακας Γ δείχνει ότι η παραδοσιακή συμπίεση JPEG αυξάνει επίσης τις συσχετίσεις ελαφρά, αλλά όχι στο ίδιο επίπεδο. Πίνακας Δ εξετάζει τις συνθετικές εικόνες, με το Midjourney-V5 και το Adobe Firefly να εμφανίζουν μέτρια αύξηση συσχετίσεων, ενώ άλλα παραμένουν πιο κοντά σε ασυμπιεσμένα επίπεδα.

Rate-Distortion

Η υποδείξη Rate-Distortion αναγνωρίζει τη συμπίεση JPEG AI ανασυμπιέζοντας την πορεία της ποιότητας εικόνας, μετρημένης από Peak Signal-to-Noise Ratio (PSNR), σε ένα προβλέψιμο μοτίβο σε πολλαπλές συμπιέσεις.

Η έρευνα υποστηρίζει ότι η επαναλαμβανόμενη συμπίεση μιας εικόνας με JPEG AI οδηγεί σε σταδιακά μικρότερες, αλλά ακόμη μετρήσιμες, απώλειες στην ποιότητα εικόνας, όπως μετράται από το PSNR, και ότι αυτή η σταδιακή υποβάθμιση σχηματίζει τη βάση μιας νομικής υποδείξης για την ανίχνευση εάν μια εικόνα έχει ανασυμπιεστεί.

Αντίθετα με την παραδοσιακή JPEG, όπου προηγούμενες μεθόδοι ανίχνευαν αλλαγές σε συγκεκριμένα μπλοκ εικόνας, το JPEG AI απαιτεί μια διαφορετική προσέγγιση, λόγω της νευρωνικής αρχιτεκτονικής συμπίεσης. Έτσι, οι συγγραφείς προτείνουν την παρακολούθηση του πώς η bitrate και το PSNR εξελίσσονται σε επαναλαμβανόμενες συμπιέσεις. Κάθε γύρος συμπίεσης αλλάζει την εικόνα λιγότερο από τον προηγούμενο, και αυτή η μειούμενη αλλαγή (όταν σχεδιάζεται εναντίον bitrate) μπορεί να αποκαλύψει εάν μια εικόνα έχει περάσει από πολλαπλά στάδια συμπίεσης:

Μια απεικόνιση του πώς η επαναλαμβανόμενη συμπίεση επηρεάζει την ποιότητα εικόνας σε διάφορους κωδικοποιητές, με τα αποτελέσματα από το JPEG AI και ένα νευρωνικό κωδικοποιητή που αναπτύχθηκε στο https://arxiv.org/pdf/1802.01436. Και οι δύο κωδικοποιητές εμφανίζουν σταθερή πτώση του PSNR με κάθε επιπλέον συμπίεση, ακόμη και σε χαμηλότερες bitrates. Αντίθετα, η παραδοσιακή JPEG συμπίεση διατηρεί σχετικά σταθερή ποιότητα σε πολλαπλές συμπιέσεις, εκτός εάν η bitrate είναι υψηλή. Αυτό το μοτίβο χρησιμεύει ως παράδειγμα του πώς η ανασυμπίεση αφήνει ένα μετρήσιμο ίχνος σε κωδικοποιητές AI.

Μια απεικόνιση του πώς η επαναλαμβανόμενη συμπίεση επηρεάζει την ποιότητα εικόνας σε διάφορους κωδικοποιητές.

Στην εικόνα πάνω, βλέπουμε σχεδιασμένες καμπύλες rate-distortion για το JPEG AI, έναν δεύτερο AI-κωδικοποιητή και την παραδοσιακή JPEG, βρίσκοντας ότι το JPEG AI και ο νευρωνικός κωδικοποιητής εμφανίζουν σταθερή πτώση του PSNR σε όλες τις bitrates, ενώ η παραδοσιακή JPEG συμπίεση εμφανίζει μόνο μικρή υποβάθμιση σε υψηλότερες bitrates. Αυτή η συμπεριφορά παρέχει ένα μετρήσιμο σήμα που μπορεί να χρησιμοποιηθεί για την ανίχνευση ανασυμπιεσμένων εικόνων JPEG AI.

Αναλύοντας το πώς η bitrate και η ποιότητα εικόνας εξελίσσονται σε πολλαπλές συμπιέσεις, οι συγγραφείς κατασκεύασαν μια υπογραφή που βοηθά στην ανίχνευση εάν μια εικόνα έχει ανασυμπιεστεί, προσφέροντας μια πρακτική νομική υπόδειξη στο контέκστ του JPEG AI.

Quantization

Όπως είδαμε νωρίτερα, ένα από τα πιο δύσκολα νομικά προβλήματα που προκύπτουν από το JPEG AI είναι η οπτική ομοιότητα με τις συνθετικές εικόνες που παράγονται από μοντέλα διαχύσεως. Και τα δύο συστήματα χρησιμοποιούν αρχιτεκτονικές κωδικοποιητή-αποκωδικοποιητή που επεξεργάζονται εικόνες σε μια συμπιεσμένη λατινική περιοχή και συχνά αφήνουν πίσω λεπτά αρτεφάκτα.

Αυτά τα κοινά χαρακτηριστικά μπορούν να συγχύσουν τους ανιχνευτές – ακόμη και εκείνους που έχουν επανεκπαιδευτεί σε εικόνες JPEG AI. Ωστόσο, μια κρίσιμη δομική διαφορά παραμένει: το JPEG AI εφαρμόζει quantization, ένα βήμα που στρογγυλοποιεί τις λατινικές τιμές σε διακριτά επίπεδα για αποτελεσματική συμπίεση, ενώ τα γεννητικά μοντέλα συνήθως δεν το κάνουν.

Το νέο έγγραφο χρησιμοποιεί αυτή τη διαφορά για να σχεδιάσει μια νομική υπόδειξη που 간ίχνευει έμμεσα την παρουσία της quantization. Η μέθοδος αναλύει πώς η λατινική αναπαράσταση μιας εικόνας ανταποκρίνεται στο στρογγυλοποίηση, με την υπόθεση ότι εάν μια εικόνα έχει ήδη quantized, η λατινική της δομή θα εμφανίσει ένα μετρήσιμο μοτίβο συσχετίσεων με τις στρογγυλοποιημένες τιμές.

Αυτά τα μοτίβα, αν και αόρατα στο μάτι, παράγουν στατιστικές διαφορές που μπορούν να βοηθήσουν στην διάκριση μεταξύ συμπιεσμένων πραγματικών εικόνων και πλήρως συνθετικών εικόνων.

Ένα παράδειγμα μέσων Fourier φασμάτων αποκαλύπτει ότι και οι εικόνες JPEG AI που συμπιέζονται και εκείνες που παράγονται από μοντέλα διαχύσεως όπως το Midjourney-V5 και το Stable Diffusion XL εμφανίζουν κανονικά πλέγματα σε περιοχή συχνοτήτων – αρτεφάκτα που συνήθως συνδέονται με την υπερ-δείγματος. Αντίθετα, οι πραγματικές εικόνες λείπουν από αυτά τα μοτίβα. Αυτή η επικάλυψη στη δομή φασμάτων εξηγεί γιατί τα νομικά εργαλεία συχνά συγχέουν τις συμπιεσμένες πραγματικές εικόνες με τις συνθετικές.

Ένα παράδειγμα μέσων Fourier φασμάτων αποκαλύπτει ότι και οι εικόνες JPEG AI που συμπιέζονται και εκείνες που παράγονται από μοντέλα διαχύσεως.

Είναι σημαντικό να σημειωθεί ότι οι συγγραφείς δείχνουν ότι αυτή η υπόδειξη λειτουργεί σε διάφορα γεννητικά μοντέλα και παραμένει αποτελεσματική ακόμη και όταν η συμπίεση είναι αρκετά ισχυρή για να μηδενίσει ολόκληρες περιοχές της λατινικής περιοχής. Αντίθετα, οι συνθετικές εικόνες εμφανίζουν πολύ αδύναμες απαντήσεις σε αυτό το τεστ στρογγυλοποίησης, προσφέροντας μια πρακτική μέθοδο για την διάκριση μεταξύ των δύο.

Το αποτέλεσμα προορίζεται ως ένα ελαφρύ και ερμηνεύσιμο εργαλείο που στοχεύει στη βασική διαφορά μεταξύ συμπίεσης και γεννήσεως, αντί να βασίζεται σε εύθραυστα επιφανειακά αρτεφάκτα.

Δεδομένα και Δοκιμές

Συμπίεση

Για να αξιολογήσουν εάν η χρωματική συσχέτιση μπορούσε να ανιχνεύσει με σιγουριά τη συμπίεση JPEG AI (δηλαδή, μια πρώτη πέρασμα από ασυμπιεσμένη πηγή), οι συγγραφείς την έτρεξαν σε υψηλής ποιότητας ασυμπιεσμένες εικόνες από το RAISE dataset, συμπιέζοντας αυτές σε διάφορες bitrates, χρησιμοποιώντας την αναφορά υλοποίηση του JPEG AI.

Εκπαιδεύτησαν ένα απλό δασικό τυχαίο στα στατιστικά μοτίβα των χρωματικών καναλιών συσχετίσεων (ιδιαίτερα το πώς το θόρυβο σε κάθε κανάλι συσχετίζεται με τους άλλους) και το σύγκριναν με ένα ResNet50 νευρωνικό δίκτυο που εκπαιδεύτηκε απευθείας στις εικόνες pixel.

Ακρίβεια ανίχνευσης της συμπίεσης JPEG AI χρησιμοποιώντας χαρακτηριστικά χρωματικών συσχετίσεων, συγκριμένα σε διάφορες bitrates. Η μέθοδος είναι πιο αποτελεσματική σε χαμηλότερες bitrates, όπου τα αρτεφάκτα της συμπίεσης είναι ισχυρότερα, και εμφανίζει καλύτερη γενίκευση σε μη είδημενες επιπέδους συμπίεσης από το βασικό μοντέλο ResNet50.

Ακρίβεια ανίχνευσης της συμπίεσης JPEG AI χρησιμοποιώντας χαρακτηριστικά χρωματικών συσχετίσεων.

Ενώ το ResNet50 πέτυχε υψηλότερη ακρίβεια όταν τα δεδομένα δοκιμής ταίριαζαν στενά με τις συνθήκες εκπαίδευσής του, δυσκολεύτηκε να γενικεύσει σε διάφορες επιπέδους συμπίεσης. Η προσέγγιση που βασίζεται στις συσχετίσεις, αν και πολύ απλούστερη, αποδείχθηκε πιο σταθερή σε διάφορες bitrates, ιδιαίτερα σε χαμηλότερες επιπέδους συμπίεσης όπου η προεπεξεργασία του JPEG AI είχε μια ισχυρότερη επίδραση.

Αυτά τα αποτελέσματα δείχνουν ότι ακόμη και χωρίς βαθιά μάθηση, είναι δυνατό να ανιχνευθεί η συμπίεση JPEG AI χρησιμοποιώντας στατιστικές υποδείξεις που παραμένουν ερμηνεύσιμες και ανθεκτικές.

Ανασυμπίεση

Για να αξιολογήσουν εάν η ανασυμπίεση JPEG AI μπορεί να ανιχνευθεί με σιγουριά, οι ερευνητές έτρεξαν την υποδείξη rate-distortion σε ένα σύνολο εικόνων που συμπιέζονταν σε διάφορες bitrates – ορισμένες μόνο μια φορά και άλλες για δεύτερη φορά χρησιμοποιώντας JPEG AI.

Αυτή η μέθοδος περιελάμβανε την εξαγωγή eines 17-διαστατικού διανύματος χαρακτηριστικών για να παρακολουθήσει το πώς η bitrate και το PSNR εξελίσσονται σε τρεις συμπιέσεις. Αυτό το σύνολο χαρακτηριστικών κατέγραψε πόση ποιότητα χανόταν σε κάθε βήμα και πώς οι λατινικές και υπερ-παραμετρικές ταχύτητες συμπεριφέρονται – μετρήσεις που οι παραδοσιακές μεθόδοι pixel δεν μπορούν εύκολα να προσεγγίσουν.

Οι ερευνητές εκπαιδεύτησαν ένα δασικό τυχαίο σε αυτά τα χαρακτηριστικά και το σύγκριναν με ένα ResNet50 που εκπαιδεύτηκε σε εικόνες patch:

Αποτελέσματα για την ταξινόμηση ακρίβειας ενός δασικού τυχαίου που εκπαιδεύτηκε σε χαρακτηριστικά rate-distortion για την ανίχνευση εάν μια εικόνα JPEG AI έχει ανασυμπιεστεί. Η μέθοδος λειτουργεί καλύτερα όταν η αρχική συμπίεση είναι ισχυρή (δηλαδή, σε χαμηλότερες bitrates) και τότε υπερέχει συνεχώς ένα pixel-βασισμένο ResNet50 – ιδιαίτερα σε περιπτώσεις όπου η δεύτερη συμπίεση είναι πιο ήπια από την πρώτη.

Αποτελέσματα για την ταξινόμηση ακρίβειας ενός δασικού τυχαίου που εκπαιδεύτηκε σε χαρακτηριστικά rate-distortion για την ανίχνευση εάν μια εικόνα JPEG AI έχει ανασυμπιεστεί.

Το δασικό τυχαίο αποδείχθηκε αξιοσημείωτα αποτελεσματικό όταν η αρχική συμπίεση ήταν ισχυρή (δηλαδή, σε χαμηλότερες bitrates), αποκαλύπτοντας σαφείς διαφορές μεταξύ đơnών και διπλών-συμπιεσμένων εικόνων. Όπως και στην προηγούμενη υπόδειξη, το ResNet50 δυσκολεύτηκε να γενικεύσει, ιδιαίτερα όταν δοκιμάστηκε σε επιπέδους συμπίεσης που δεν είχε δει κατά την εκπαίδευση.

Τα χαρακτηριστικά rate-distortion, αντίθετα, παρέμειναν σταθερά σε ένα ευρύ φάσμα σενάριων. Ιδιαίτερα, η υπόδειξη λειτουργούσε ακόμη και όταν εφαρμόστηκε σε έναν διαφορετικό AI-κωδικοποιητή, υποδεικνύοντας ότι η προσέγγιση γενικεύεται πέρα από το JPEG AI.

JPEG AI και Συνθετικές Εικόνες

Για την τελική δοκιμή, οι συγγραφείς έτρεξαν την υποδείξη quantization για να διακρίνουν μεταξύ εικόνων JPEG AI που συμπιέζονται και πλήρως συνθετικών εικόνων που παράγονται από μοντέλα όπως το Midjourney, Stable Diffusion, DALL-E 2, Glide και Adobe Firefly.

Για αυτό, οι ερευνητές χρησιμοποίησαν ένα υποσύνολο του Synthbuster dataset, αναμιγνύοντας πραγματικές φωτογραφίες από τη βάση δεδομένων RAISE με συνθετικές εικόνες από διάφορα μοντέλα διαχύσεως και GAN.

Παραδείγματα συνθετικών εικόνων στο Synthbuster, που παράγονται χρησιμοποιώντας κείμενα που εμπνέονται από φυσικές φωτογραφίες από τη βάση δεδομένων RAISE-1k. Οι εικόνες δημιουργήθηκαν με διάφορα μοντέλα διαχύσεως, με κείμενα που σχεδιάστηκαν για να παράγουν φωτορεαλιστικές εικόνες και υφές, αντί για στυλιζαρισμένες ή καλλιτεχνικές αναπαραστάσεις, αντανακλώντας τον επικεντρωμένο στόχο της βάσης δεδομένων για τη δοκιμή μεθόδων διάκρισης πραγματικών από συνθετικών εικόνων.

Παραδείγματα συνθετικών εικόνων στο Synthbuster. Πηγή: https://ieeexplore.ieee.org/document/10334046

Οι πραγματικές εικόνες συμπιέζονταν χρησιμοποιώντας JPEG AI σε διάφορες bitrates, και η ταξινόμηση ήταν μια δίωρη εργασία: είτε JPEG AI εναντίον ενός συγκεκριμένου γεννήτορα, είτε ένα συγκεκριμένο bitrate εναντίον Stable Diffusion XL.

Τα χαρακτηριστικά quantization (συσχετίσεις που εξάγονται από λατινικές αναπαραστάσεις) υπολογίστηκαν από μια σταθερή περιοχή 256×256 και τροφοδοτήθηκαν σε einen δασικό τυχαίο ταξινομητή. Ως βάση, ένα ResNet50 εκπαιδεύτηκε σε pixel από τα ίδια δεδομένα.

Ακρίβεια ταξινόμησης ενός δασικού τυχαίου που χρησιμοποιεί χαρακτηριστικά quantization για να διακρίνει εικόνες JPEG AI που συμπιέζονται από συνθετικές εικόνες.

Ακρίβεια ταξινόμησης ενός δασικού τυχαίου που χρησιμοποιεί χαρακτηριστικά quantization για να διακρίνει εικόνες JPEG AI που συμπιέζονται από συνθετικές εικόνες.

Σε meisten συνθήκες, η προσέγγιση που βασίζεται στην quantization υπερέβη την υπογραφή ResNet50, ιδιαίτερα σε χαμηλότερες bitrates όπου τα αρτεφάκτα της συμπίεσης ήταν ισχυρότερα.

Οι συγγραφείς δηλώνουν:

‘Η βάση ResNet50 λειτουργεί καλύτερα για Glide εικόνες με ακρίβεια 66.1%, αλλά γενικεύει χειρότερα από τα χαρακτηριστικά quantization. Τα χαρακτηριστικά quantization εμφανίζουν μια καλή γενίκευση σε διάφορες δυνάμεις συμπίεσης και τύπους γεννητών.

‘Η σημασία των συντελεστών που quantized σε μηδέν είναι εμφανής στην αξιοσημείωτη απόδοση των χαρακτηριστικών που έχουν κοπεί, τα οποία σε πολλές περιπτώσεις λειτουργούν συγκρίσιμα με τον ταξινομητή ResNet50.

‘Ωστόσο, τα χαρακτηριστικά quantization που χρησιμοποιούν το πλήρες, μη-κοπέν διανύσματα quantization εξακολουθούν να λειτουργούν αξιοσημείωτα καλύτερα. Αυτά τα αποτελέσματα επιβεβαιώνουν ότι το ποσό των μηδενικών μετά την quantization είναι một σημαντική υπόδειξη για τη διάκριση AI-συμπιεσμένων και AI-γεννημένων εικόνων.

‘Ωστόσο, αυτό επίσης δείχνει ότι και άλλα παράγοντες συνεισφέρουν. Η ακρίβεια του πλήρους διανύσματος για την ανίχνευση JPEG AI είναι για όλες τις bitrates πάνω από 91.0%, και η ισχυρότερη συμπίεση οδηγεί σε υψηλότερες ακρίβειες.’

Μια προβολή του χώρου χαρακτηριστικών χρησιμοποιώντας UMAP έδειξε σαφή διάκριση μεταξύ εικόνων JPEG AI και συνθετικών εικόνων, με χαμηλότερες bitrates που αυξάνουν την απόσταση μεταξύ των τάξεων. Ένας σταθερός εξόριστος ήταν το Glide, των οποίων οι εικόνες συσπειρώθηκαν διαφορετικά και είχαν την χαμηλότερη ακρίβεια ανίχνευσης από οποιοδήποτε γεννήτορα που δοκιμάστηκε.

Διδιάστατη απεικόνιση UMAP των εικόνων JPEG AI που συμπιέζονται και συνθετικών εικόνων, με βάση τα χαρακτηριστικά quantization. Ο αριστερός πίνακας δείχνει ότι οι χαμηλότερες bitrates του JPEG AI δημιουργούν μεγαλύτερη απόσταση από τις συνθετικές εικόνες. Ο δεξιός πίνακας δείχνει πώς οι εικόνες από διάφορους γεννήτορες συσπειρώνονται διαφορετικά στον χώρο χαρακτηριστικών.

Διδιάστατη απεικόνιση UMAP των εικόνων JPEG AI που συμπιέζονται και συνθετικών εικόνων.

Τέλος, οι συγγραφείς αξιολόγησαν πώς τα χαρακτηριστικά quantization αντέχουν σε τυπικές μετα-επεξεργασίες, όπως η ανασυμπίεση JPEG ή η αναδιαμόρφωση εικόνας. Αν και η απόδοση μειώθηκε με πιο έντονη επεξεργασία, η πτώση ήταν σταδιακή, υποδεικνύοντας ότι η προσέγγιση διατηρεί κάποια ανθεκτικότητα ακόμη και υπό υποβαθμισμένες συνθήκες.

Αξιολόγηση της ανθεκτικότητας των χαρακτηριστικών quantization υπό μετα-επεξεργασία, συμπεριλαμβανομένης της ανασυμπίεσης JPEG (JPG) και της αναδιαμόρφωσης εικόνας (RS).

Αξιολόγηση της ανθεκτικότητας των χαρακτηριστικών quantization υπό μετα-επεξεργασία.

Συμπέρασμα

Δεν είναι βέβαιο ότι το JPEG AI θα απολαύσει ευρεία υιοθέτηση. Για ένα πράγμα, υπάρχει αρκετός υποδομικός χρέος για να επιβληθεί τριβή σε οποιονδήποτε νέο κωδικοποιητή. Και ακόμη και ένα ‘συμβατικό’ κωδικοποιητή με μια καλή φήμη και ευρεία συναίνεση ως προς την αξία του, όπως το AV1, έχει δυσκολία να αντικαταστήσει καλά καθιερωμένες μεθόδους.

Σχετικά με το πιθανό충돌 του συστήματος με τις AI-γεννήτριες, τα χαρακτηριστικά quantization που βοηθούν τους τρέχοντες AI-ανιχνευτές εικόνων μπορεί να μειωθούν ή να αντικατασταθούν από ίχνη διαφορετικού είδους, σε μεταγενέστερα συστήματα (υποθέτοντας ότι οι AI-γεννήτριες θα αφήσουν πάντα νομικά ίχνη, το οποίο δεν είναι βέβαιο).

Αυτό θα σήμαινε ότι τα χαρακτηριστικά quantization του JPEG AI, ίσως μαζί με άλλες υποδείξεις που αναγνωρίζονται από το νέο έγγραφο, μπορεί να μην συντριβούν με το νομικό ίχνος των πιο αποτελεσματικών νέων γεννητικών AI συστημάτων.

Εάν, ωστόσο, το JPEG AI συνεχίσει να λειτουργεί ως de facto ‘AI-πλύσιμο’, θολώνοντας σημαντικά τη διάκριση μεταξύ πραγματικών και γεννημένων εικόνων, θα ήταν δύσκολο να γίνει μια πειστική περίπτωση για την υιοθέτησή του.

 

Πρώτη δημοσίευση, Τρίτη, 8 Απριλίου 2025

Συγγραφέας σε μηχανική μάθηση, ειδικός σε σύνθεση εικόνων ανθρώπων. Πρώην επικεφαλής ερευνητικού περιεχομένου στη Metaphysic.ai, μέχρι τη διάλυση της στην DNEG's Brahma.ai.
Portfolio site: martinanderson.ai
Contact: martin@martinanderson.ai