Λύση του Προβλήματος Artifact του JPEG στις Συλλογές Δεδομένων της Υπολογιστικής Όρασης

Μια νέα μελέτη από το Πανεπιστήμιο του Μέριλαντ και την Facebook AI έχει βρει μια «σημαντική ποινή απόδοσης» για τα συστήματα βαθιάς μάθησης που χρησιμοποιούν高度 συμπιεγμένες εικόνες JPEG στις συλλογές τους δεδομένων και προσφέρει μεθόδους για να μετριάσει τις επιπτώσεις αυτού.

Η αναφορά, με τίτλο Ανάλυση και μείωση των ελαττωμάτων συμπίεσης JPEG στη βαθιά μάθηση, ισχυρίζεται ότι είναι «σημαντικά πιο綜合» από προηγούμενες μελέτες για τις επιπτώσεις των ελαττωμάτων στις συλλογές δεδομένων υπολογιστικής όρασης. Το έγγραφο βρίσκει ότι «[βαρύ] έως μέτριο συμπίεγμα JPEG incurs μια σημαντική ποινή απόδοσης στα τυπικά μετρικά», και ότι τα νευρωνικά δίκτυα είναι ίσως όχι τόσο ανθεκτικά σε τέτοιες διαταραχές όσο προηγούμενη εργασία υποδηλώνει.

Μια φωτογραφία ενός σκύλου από τη συλλογή MobileNetV2 του 2018. Σε ποιότητα 10 (αριστερά), ένα σύστημα ταξινόμησης αποτυγχάνει να αναγνωρίσει το σωστό品種 ‘Pembroke Welsh Corgi’, αντί να υποψιάζεται ‘Norwich terrier’ (το σύστημα ήδη γνωρίζει ότι είναι μια φωτογραφία ενός σκύλου, αλλά όχι το品種); δεύτερο από αριστερά, μια έκδοση εικόνας με διορθωμένα ελαττώματα JPEG αποτυγχάνει να αναγνωρίσει το σωστό品種; δεύτερο από δεξιά, η διόρθωση ελαττωμάτων με στόχο την αποκατάσταση της σωστής ταξινόμησης; και δεξιά, η αρχική φωτογραφία, σωστά ταξινομημένη. Πηγή: https://arxiv.org/pdf/2011.08932.pdf

Ελαττώματα Συμπίεσης ως «Δεδομένα»

Η ακραία συμπίεξη JPEG είναι πιθανό να δημιουργήσει ορατά ή ημι-ορατά σύνορα γύρω από τα 8×8 μπλοκ από τα οποία ένα JPEG συναρμολογείται σε ένα πλέγμα pixel. Μόλις αυτά τα ελαττώματα μπλοκ ή «κλήση» εμφανιστούν, είναι πιθανό να παρεξηγηθούν από τα συστήματα μηχανικής μάθησης ως πραγματικά στοιχεία του αντικειμένου της εικόνας, εκτός αν κάποια αποζημίωση γίνει για αυτό.

Πάνω, ένα σύστημα μηχανικής μάθησης υπολογιστικής όρασης εξάγει μια «καθαρή» εικόνα gradient από μια φωτογραφία υψηλής ποιότητας. Κάτω, «μπλοκ» ελαττώματα σε μια χαμηλότερης ποιότητας αποθήκευσης της εικόνας σκεπάζουν τα χαρακτηριστικά του αντικειμένου και μπορεί να «μολύνουν» τα χαρακτηριστικά που εξάγονται από ένα σύνολο εικόνων, ιδιαίτερα σε περιπτώσεις όπου υψηλής και χαμηλής ποιότητας εικόνες εμφανίζονται στη συλλογή δεδομένων, όπως σε συλλογές web-scraped στις οποίες έχει εφαρμοστεί μόνο γενική καθαρισμός δεδομένων. Πηγή: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Όπως φαίνεται στην πρώτη εικόνα παραπάνω, τέτοια ελαττώματα μπορούν να επηρεάσουν τις εργασίες ταξινόμησης εικόνων, με επιπτώσεις επίσης για αλγορίθμους αναγνώρισης κειμένου, οι οποίοι μπορεί να αποτύχουν να αναγνωρίσουν σωστά τα χαρακτηριστικά που επηρεάζονται από ελαττώματα.

Στη περίπτωση συστημάτων εκπαίδευσης σύνθεσης εικόνων (όπως λογισμικό deepfake ή συστήματα γεννήτριας εικόνων με βάση GAN), ένα «απρεπές» μπλοκ χαμηλής ποιότητας,高度 συμπιεγμένων εικόνων σε μια συλλογή δεδομένων μπορεί να σπάσει την ποιότητα αναπαραγωγής προς τα κάτω, ή να υποβληθεί και να αντικατασταθεί από ένα μεγαλύτερο αριθμό υψηλότερης ποιότητας χαρακτηριστικών που εξάγονται από καλύτερες εικόνες στη συλλογή. Σε κάθε περίπτωση, καλύτερα δεδομένα είναι επιθυμητά – ή, τουλάχιστον, συνεπή δεδομένα.

JPEG – Συνήθως «Αρκετά Καλό»

Η συμπίεση JPEG είναι ένας αμετάκλητος κώδικας απώλειας που μπορεί να εφαρμοστεί σε διάφορους τύπους εικόνων, αν και εφαρμόζεται κυρίως στο περιτύλιγμα αρχείου εικόνας JFIF. Παρά τούτο, ο τύπος εικόνας JPEG (.jpg) ονομάστηκε από τη μεθοδολογία συμπίεσης που συνδέεται με αυτόν, και όχι από το περιτύλιγμα JFIF για τα δεδομένα εικόνας.

Ολόκληρες αρχιτεκτονικές μηχανικής μάθησης έχουν αναδυθεί τα τελευταία χρόνια που περιλαμβάνουν τη μείωση ελαττωμάτων JPEG ως μέρος των ρουτινών ανέβασμα/αποκατάστασης με τη βοήθεια AI, και η μείωση ελαττωμάτων JPEG με βάση την AI έχει ενσωματωθεί σε πολλά εμπορικά προϊόντα, όπως η σουίτα εικόνας/βίντεο Topaz, και τα νευρωνικά χαρακτηριστικά των πρόσφατων εκδόσεων του Adobe Photoshop.

Από το 1986 σχήμα JPEG που χρησιμοποιείται σήμερα, ήταν σχεδόν κλειδωμένο στα πρώτα χρόνια της δεκαετίας του 1990, δεν είναι δυνατό να προστεθεί μεταδεδομένα σε μια εικόνα που θα υποδείξει ποιο επίπεδο ποιότητας (1-100) μια εικόνα JPEG αποθηκεύτηκε – τουλάχιστον, όχι χωρίς να τροποποιήσει πάνω από τριάντα χρόνια legacy καταναλωτικών, επαγγελματικών και ακαδημαϊκών συστημάτων λογισμικού που δεν περίμεναν τέτοια μεταδεδομένα να είναι διαθέσιμα.

Συνεπώς, δεν είναι ασυνήθιστο να προσαρμόζονται οι ρουτίνες εκπαίδευσης μηχανικής μάθησης στο αξιολογημένο ή γνωστό επίπεδο ποιότητας εικόνων JPEG, όπως οι ερευνητές έχουν κάνει για τη νέα μελέτη (βλ. παρακάτω). Στην απουσία μιας εγγραφής μεταδεδομένων «ποιότητας», είναι τώρα απαραίτητο να γνωρίζουμε τα λεπτομέρειες του πώς η εικόνα συμπιέστηκε (δηλ. συμπιέστηκε από μια πηγή χωρίς απώλεια), ή να εκτιμήσουμε την ποιότητα μέσω αλγορίθμων αντίληψης ή χειροκίνητης ταξινόμησης.

Οικονομική Συμβιβασμός

Το JPEG δεν είναι η μόνη μεθοδολογία απώλειας που μπορεί να επηρεάσει την ποιότητα των συλλογών δεδομένων μηχανικής μάθησης. Οι ρυθμίσεις συμπίεσης σε αρχεία PDF μπορούν επίσης να απορρίψουν πληροφορίες με αυτόν τον τρόπο και να οριστούν σε πολύ χαμηλά επίπεδα ποιότητας για να αποθηκευτούν χώρος δίσκου για τοπικούς ή δικτυακούς σκοπούς αρχειοθέτησης.

Αυτό μπορεί να φανεί με δειγματοληψία verschiedenen PDF σε archive.org, κάποια από τα οποία έχουν συμπιεστεί τόσο έντονα που να είναι μια αξιοσημείωτη πρόκληση για συστήματα αναγνώρισης εικόνων ή κειμένου. Σε πολλές περιπτώσεις, όπως πνευματικά δικαιώματα βιβλίων, αυτή η έντονη συμπίεση φαίνεται να έχει εφαρμοστεί ως một μορφή φθηνού DRM, σε μεγάλο βαθμό όπως οι κάτοχοι πνευματικών δικαιωμάτων μπορεί να επιλέξουν να μειώσουν την ανάλυση των βίντεο που ανεβάζουν οι χρήστες στα οποία κατέχουν το IP, αφήνοντας τα «μπλοκ» βίντεο ως προωθητικά δείγματα για να εμπνεύσουν «πλήρη ανάλυση» αγορές, αντί να τα διαγράψουν.

Σε πολλές άλλες περιπτώσεις, η ανάλυση ή η ποιότητα της εικόνας είναι χαμηλή απλά και απλά επειδή τα δεδομένα είναι πολύ παλιά και προέρχονται από μια εποχή που ο τοπικός και δικτυακός αποθηκευτικός χώρος ήταν πιο ακριβός και όταν οι περιορισμένες ταχύτητες δικτύου ευνοούσαν高度-βελτιστοποιημένες και φορητές εικόνες hơn από την υψηλή αναπαραγωγή.

Έχει υποστηριχθεί ότι το JPEG, ενώ δεν είναι η καλύτερη λύση τώρα, έχει «ενσωματωθεί» ως αμετάκλητη κληρονομιά υποδομής που είναι ουσιαστικά διαπλεγμένη με τις βάσεις του διαδικτύου.

Κληρονομιά Legacy

Αν και μεταγενέστερες καινοτομίες όπως το JPEG 2000, PNG και (πιο πρόσφατα) το φορμά.webp προσφέρουν ανώτερη ποιότητα, η επαναδημιουργία παλαιών, πολύ δημοφιλών συλλογών δεδομένων μηχανικής μάθησης θα «reset» τη συνέχεια και την ιστορία των ετήσιων προκλήσεων υπολογιστικής όρασης στην ακαδημαϊκή κοινότητα – ένα εμπόδιο που θα εφαρμοζόταν επίσης στην περίπτωση επανα-αποθήκευσης εικόνων PNG σε υψηλότερες ρυθμίσεις ποιότητας. Αυτό θα μπορούσε να θεωρηθεί ως một είδος τεχνικού χρέους.

Ενώ οι σεβαστές βιβλιοθήκες επεξεργασίας εικόνων που βασίζονται σε διακομιστή όπως το ImageMagick υποστηρίζουν καλύτερες μορφές, συμπεριλαμβανομένων.webp, οι απαιτήσεις μετασχηματισμού εικόνων συχνά εμφανίζονται σε legacy συστήματα που δεν έχουν ρυθμιστεί για τίποτα άλλο εκτός από JPG ή PNG (η οποία προσφέρει απώλεια-ελεύθερη συμπίεση, αλλά με το κόστος της καθυστέρησης και του χώρου δίσκου). Ακόμη και το WordPress, το CMS που τροφοδοτεί 几乎 40% όλων των ιστοσελίδων, πρόσθεσε στην υποστήριξη.webp πριν από τρεις μήνες.

Το PNG ήταν μια αργή (αμφισβητούμενη) είσοδος στον τομέα της μορφής εικόνας, αναδυόμενη ως μια ανοιχτή λύση στο δεύτερο μισό της δεκαετίας του 1990 ως απάντηση σε μια δήλωση του 1995 από την Unisys και CompuServe ότι τα δικαιώματα θα πληρωθούν για τη μορφή συμπίεσης LZW που χρησιμοποιείται σε αρχεία GIF, τα οποία χρησιμοποιούνταν συχνά τότε για λογότυπα και στοιχεία πεπλατυσμένου χρώματος, ακόμη και αν η αναβίωση του GIF στις αρχές της δεκαετίας του 2010 επικεντρώθηκε στην ικανότητά του να παρέχει χαμηλής ταχύτητας, γρήγορη κινούμενη περιεχόμενο (παράδοξα, τα κινούμενα PNG δεν κέρδισαν δημοτικότητα ή ευρεία υποστήριξη και απαγορεύτηκαν ακόμη και από το Twitter το 2019).

Παρά τα ελαττώματά του, η συμπίεση JPEG είναι γρήγορη, αποδοτική σε χώρο και βαθιά ενσωματωμένη σε συστήματα όλων των τύπων – και επομένως δεν είναι πιθανό να εξαφανιστεί εντελώς από τη σκηνή της μηχανικής μάθησης στο προσεχές μέλλον.

Κατασκευή του Καλύτερου από τη Συμφωνία AI/JPEG

Σε κάποιο βαθμό, η κοινότητα της μηχανικής μάθησης έχει προσαρμοστεί στα ελαττώματα της συμπίεσης JPEG: το 2011 η Ευρωπαϊκή Εταιρεία Ραδιολογίας (ESR) δημοσίευσε μια μελέτη για τη «χρήσιμη αντίληψη της αμετάκλητης συμπίεσης εικόνας στη ραδιολογική εικόνα», παρέχοντας οδηγίες για «αποδεκτή» απώλεια. Όταν η σεβαστή συλλογή MNIST αναγνώρισης κειμένου (τα δεδομένα εικόνας της οποίας αρχικά παρέχθηκαν σε μια καινοτόμο δυαδική μορφή) μεταφέρθηκε σε μια «κανονική» μορφή εικόνας, JPEG, όχι PNG, επιλέχθηκε. και μια παλαιότερη (2020) συνεργασία από τους συγγραφείς της νέας μελέτης πρόσφερε μια νέα αρχιτεκτονική για τη διασύνδεση των συστημάτων μηχανικής μάθησης με τα ελαττώματα της ποικίλης ποιότητας εικόνων JPEG, χωρίς την ανάγκη για μοντέλα να εκπαιδευτούν σε κάθε ρύθμιση ποιότητας JPEG – μια λειτουργία που χρησιμοποιείται στη νέα εργασία.

Πράγματι, η έρευνα για τη χρησιμότητα των δεδομένων ποιότητας-μεταβλητής JPEG είναι ένα σχετικά ευημερούμενο πεδίο στη μηχανική μάθηση. Ένα (ασύνδετο) έργο του 2016 από το Κέντρο Αυτοματοποίησης Ερευνών στο Πανεπιστήμιο του Μέριλαντ, πραγματικά κεντρικά στο πεδίο DCT (όπου τα ελαττώματα JPEG εμφανίζονται σε χαμηλές ρυθμίσεις ποιότητας) ως μια οδός για την εξαγωγή χαρακτηριστικών βαθιάς μάθησης. ένα άλλο έργο από το 2019 επικεντρώνεται στην ανάγνωση byte-level των δεδομένων JPEG χωρίς την χρονοβόρα ανάγκη να αποσυμπιεστούν πραγματικά οι εικόνες (δηλ. να ανοίξουν σε κάποιο σημείο μιας αυτοματοποιημένης ροής εργασίας). και μια μελέτη από τη Γαλλία το 2019 ενεργά αξιοποιεί τη συμπίεση JPEG για την υπηρεσία αναγνώρισης αντικειμένων.

Δοκιμές και Συμπεράσματα

Για να επιστρέψουμε στη τελευταία μελέτη από το UoM και την Facebook, οι ερευνητές προσπάθησαν να δοκιμάσουν την κατανοησιμότητα και τη χρησιμότητα του JPEG σε εικόνες που συμπιέζονται μεταξύ 10-90 (κάτω από τις οποίες η εικόνα είναι αδιανόητα διαταραγμένη και πάνω από τις οποίες είναι ίση με την απώλεια-ελεύθερη συμπίεση). Οι εικόνες που χρησιμοποιήθηκαν στις δοκιμές είχαν προ-συμπιεστεί σε κάθε τιμή εντός του στόχου εύρους ποιότητας, που αντιπροσωπεύει τουλάχιστον οκτώ συνεδρίες εκπαίδευσης.

Τα μοντέλα εκπαιδεύτηκαν σε σταχαστική καθοδική κλίση σε τέσσερις μεθόδους: baseline, όπου δεν προστέθηκαν επιπλέον μετριάσεις. supervised fine-tuning, όπου το σύνολο εκπαίδευσης έχει το πλεονέκτημα των προ-εκπαιδευμένων βαρών και επισήμανων δεδομένων (αν και οι ερευνητές παραδέχονται ότι αυτό είναι δύσκολο να αναπαραχθεί σε εφαρμογές καταναλωτών). διόρθωση ελαττωμάτων, όπου η διόρθωση/βελτίωση πραγματοποιείται στις συμπιεγμένες εικόνες πριν από την εκπαίδευση. και διόρθωση ελαττωμάτων με στόχο, όπου το δίκτυο διόρθωσης ελαττωμάτων είναι εξειδικευμένο στα λάθη που επιστρέφονται.

Η εκπαίδευση πραγματοποιήθηκε σε eine ευρεία ποικιλία από datasets, συμπεριλαμβανομένων πολλών παραλλαγών του ResNet, FastRCNN, MobileNetV2, MaskRCNN και Keras’ InceptionV3.

Δείγματα αποτελεσμάτων απώλειας μετά τη διόρθωση ελαττωμάτων με στόχο εμφανίζονται παρακάτω (χαμηλότερα = καλύτερα).

Δεν είναι δυνατό να αναλυθούν σε βάθος οι λεπτομέρειες των αποτελεσμάτων που επιτεύχθηκαν στη μελέτη, επειδή τα ευρήματα των ερευνητών χωρίζονται μεταξύ του στόχου της αξιολόγησης των ελαττωμάτων JPEG και των νέων μεθόδων για την μείωση των επιπτώσεων αυτών. η εκπαίδευση επαναλήφθηκε per-quality σε इतनές συλλογές δεδομένων. και οι εργασίες περιελάμβαναν πολλαπλά στόχους, όπως ανίχνευση αντικειμένων, διαχωρισμός και ταξινόμηση. Ουσιαστικά, η νέα αναφορά θέτει τον εαυτό της ως μια綜合 αναφορά που αντιμετωπίζει πολλαπλά ζητήματα.

Παρά ταύτα, το έγγραφο συνάγει ότι «η συμπίεση JPEG έχει μια απότομη ποινή σε όλα τα μέτωπα για βαριά έως μέτρια ρυθμίσεις συμπίεσης». Επίσης, ισχυρίζεται ότι οι καινούργιες αμετάκλητες στρατηγικές μείωσης επιτύγχαναν ανώτερα αποτελέσματα μεταξύ άλλων παρόμοιων προσεγγίσεων. ότι, για σύνθετες εργασίες, η μεθόδους των ερευνητών υπερέχει επίσης των ομοίων του. και ότι αυτές οι καινούργιες μεθοδολογίες επιτρέπουν την επαναχρήση μοντέλων, поскольку τα βαρίδια που αποκτώνται είναι μεταφέρσιμα μεταξύ εργασιών.

Σε σχέση με τις εργασίες ταξινόμησης, το έγγραφο αναφέρει ρητά ότι «το JPEG χειροτερεύει την ποιότητα του gradient καθώς και προκαλεί σφάλματα τοποθεσίας».

Οι συγγραφείς ελπίζουν να επεκτείνουν τις μελλοντικές μελέτες για να καλύψουν άλλες μεθόδους συμπίεσης, όπως το σε μεγάλο βαθμό παραμελημένο JPEG 2000, καθώς και WebP, HEIF και BPG. Επίσης, προτείνουν ότι η μεθοδολογία τους θα μπορούσε να εφαρμοστεί σε ανάλογη έρευνα για αλγόριθμους συμπίεσης βίντεο.

Επειδή η μεθόδους διόρθωσης ελαττωμάτων με στόχο αποδείχθηκε τόσο επιτυχημένη στη μελέτη, οι συγγραφείς δείχνουν επίσης την πρόθεσή τους να κυκλοφορήσουν τα βαρίδια που εκπαιδεύτηκαν κατά τη διάρκεια του έργου,预期 ότι «[πολλές] εφαρμογές θα επωφεληθούν από τη χρήση των βαρών TTAC μας χωρίς καμία τροποποίηση».

n.b. Πηγή εικόνας για το άρθρο προέρχεται από thispersondoesnotexist.com