Η Disney Research Προσφέρει Βελτιωμένη Compression Εικόνας με βάση το AI – Nhưng Μπορεί να Hallucinate Λεπτομέρειες

Η ερευνητική ομάδα της Disney προσφέρει μια νέα μέθοδο συμπίεσης εικόνας, αξιοποιώντας το ανοιχτό μοντέλο Stable Diffusion V1.2 για την παραγωγή πιο ρεαλιστικών εικόνων σε χαμηλότερες ταχύτητες bit από τις ανταγωνιστικές μεθόδους.

Η μέθοδος συμπίεσης της Disney σε σύγκριση με προηγούμενες προσεγγίσεις. Οι συγγραφείς ισχυρίζονται ότι η μέθοδος τους έχει βελτιωμένη ανάκτηση λεπτομερειών, ενώ προσφέρει ένα μοντέλο που δεν απαιτεί εκατοντάδες χιλιάδες δολάρια εκπαίδευσης και λειτουργεί γρηγορότερα από την πλησιέστερη ανταγωνιστική μέθοδο. Πηγή: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

Η νέα προσέγγιση (ορισμένη ως “codec” παρά την αυξημένη πολυπλοκότητά της σε σύγκριση με τις παραδοσιακές κωδικοποιήσεις όπως το JPEG και το AV1) μπορεί να λειτουργήσει πάνω από οποιοδήποτε Latent Diffusion Model (LDM). Σε ποσοτικές δοκιμές, ξεπερνά τις προηγούμενες μεθόδους σε ακρίβεια και λεπτομέρεια και απαιτεί σημαντικά λιγότερη εκπαίδευση και κόστος υπολογισμού.

Η κεντρική έμπνευση της νέας εργασίας είναι ότι ο quantization error (μια κεντρική διαδικασία σε όλες τις μεθόδους συμπίεσης εικόνας) είναι παρόμοια με θόρυβο (μια κεντρική διαδικασία στα μοντέλα διάχυσης).

Επομένως, μια “παραδοσιακά” κωδικοποιημένη εικόνα μπορεί να αντιμετωπιστεί ως μια θορυβώδης έκδοση της αρχικής εικόνας και να χρησιμοποιηθεί στη διαδικασία αποθορύβωσης ενός LDM αντί του τυχαίου θορύβου, για να ανακατασκευαστεί η εικόνα σε μια στόχου ταχύτητα bit.

Πρόσθετες συγκρίσεις της νέας μεθόδου της Disney (υπογραμμισμένες με πράσινο), σε αντίθεση με ανταγωνιστικές προσεγγίσεις.

Οι συγγραφείς ισχυρίζονται:

‘[Εμείς] διατυπώνουμε την αφαίρεση του σφάλματος κωδικοποίησης ως μια διαδικασία αποθορύβωσης, χρησιμοποιώντας τη διάχυση για την ανάκτηση χαμένων πληροφοριών στην εικόνα. Η μέθοδός μας επιτρέπει να εκτελέσουμε λιγότερο από το 10% της πλήρους διαδικασίας διάχυσης και δεν απαιτεί καμία αρχιτεκτονική αλλαγή στο μοντέλο διάχυσης, επιτρέποντας τη χρήση των θεμελιωδών μοντέλων ως ισχυρό προηγούμενο χωρίς πρόσθετη εκπαίδευση του πυρήνα.

‘Η προτεινόμενη μας κωδικοποίηση ξεπερνά τις προηγούμενες μεθόδους σε ποσοτικές μετρικές ρεαλισμού και επιβεβαιώνουμε ότι οι ανακατασκευές μας προτιμώνται ποιοτικά από τους τελικούς χρήστες, ακόμη και όταν άλλες μεθόδους χρησιμοποιούν διπλάσιο bitrate.’

Ωστόσο, όπως και με άλλα έργα που επιδιώκουν να εκμεταλλευτούν τις ικανότητες συμπίεσης των μοντέλων διάχυσης, η έξοδος μπορεί να hallucinate λεπτομέρειες. Σε αντίθεση, οι απώλειες μεθόδους όπως το JPEG θα παράγουν σαφώς παραμορφωμένες ή υπερ-λειαντικές περιοχές λεπτομερειών, οι οποίες μπορούν να αναγνωριστούν ως περιορισμοί συμπίεσης από τον τυχαίο θεατή.

Αντίθετα, η κωδικοποίηση της Disney μπορεί να αλλάξει λεπτομέρειες από το контέκστ που δεν ήταν παρόν στην αρχική εικόνα, λόγω της χονδρής φύσης του Variational Autoencoder (VAE) που χρησιμοποιείται σε τυπικά μοντέλα εκπαιδευμένα σε υπερκλίμακες δεδομένα.

‘Παρόμοια με άλλες γενετικές προσεγγίσεις, η μέθοδός μας μπορεί να απορρίψει ορισμένα χαρακτηριστικά εικόνας ενώ συνθέτει παρόμοιες πληροφορίες στην πλευρά του λήπτη. Σε συγκεκριμένες περιπτώσεις, ωστόσο, αυτό μπορεί να οδηγήσει σε ανακριβή ανακατασκευή, όπως η κάμψη ευθύγραμμων γραμμών ή η παραμόρφωση των ορίων μικρών αντικειμένων.

‘Αυτά είναι γνωστά προβλήματα του θεμελιώδους μοντέλου που οικοδομούμε, τα οποία μπορούν να αποδοθούν στην σχετικά χαμηλή διάσταση χαρακτηριστικών του VAE.’

Ενώ αυτό έχει ορισμένες επιπτώσεις για τις καλλιτεχνικές απεικονίσεις και την αυθεντικότητα των τυχαίων φωτογραφιών, θα μπορούσε να έχει μια πιο κρίσιμη επίδραση σε περιπτώσεις όπου οι μικρές λεπτομέρειες συνθέτουν απαραίτητες πληροφορίες, όπως αποδεικτικά στοιχεία για δικαστικές υποθέσεις, δεδομένα για αναγνώριση προσώπου, σκάνερ για Αναγνώριση Οπτικών Χαρακτήρων (OCR) και μια ποικιλία άλλων πιθανών χρήσεων, στην περίπτωση της δημοτικότητας ενός codec με αυτήν την ικανότητα.

Σε αυτό το πρώιμο στάδιο της πρόοδου της συμπίεσης εικόνας με βάση το AI, όλα αυτά τα πιθανά σενάρια είναι μακράν. Ωστόσο, η αποθήκευση εικόνας είναι μια υπερκλίμακη παγκόσμια πρόκληση, που αγγίζει ζητήματα γύρω από την αποθήκευση δεδομένων, τη ροή και την κατανάλωση ηλεκτρικής ενέργειας, εκτός από άλλες ανησυχίες. Επομένως, η συμπίεση με βάση το AI θα μπορούσε να προσφέρει μια ελκυστική ανταλλαγή μεταξύ ακρίβειας και λογιστικής. Η ιστορία δείχνει ότι οι καλύτεροι codec δεν κερδίζουν πάντα την ευρύτερη βάση χρηστών, όταν ζητήματα όπως η άδεια και η αγορά από ιδιωτικά формά είναι παράγοντες στην υιοθέτηση.

Η Disney πειραματίζεται με τη μηχανική μάθηση ως μέθοδο συμπίεσης για πολύ καιρό. Το 2020, ένας από τους ερευνητές της νέας εργασίας ήταν εμπλεγμένος σε ένα έργο VAE για τη βελτίωση της συμπίεσης βίντεο.

Η νέα εργασία της Disney ενημερώθηκε στις αρχές Οκτωβρίου. Σήμερα η εταιρεία κυκλοφόρησε ένα συνοδευτικό βίντεο στο YouTube. Το έργο ονομάζεται Lossy Image Compression with Foundation Diffusion Models και προέρχεται από τέσσερις ερευνητές στο ETH Ζυρίχης (συνδεδεμένοι με τα έργα της Disney με βάση το AI) και την ερευνητική ομάδα της Disney. Οι ερευνητές προσφέρουν επίσης ένα συμπληρωματικό έγγραφο.

Μέθοδος

Η νέα μέθοδος χρησιμοποιεί ένα VAE για την κωδικοποίηση μιας εικόνας σε μια συμπιεσμένη λατινική αναπαράσταση. Σε αυτό το στάδιο, η είσοδος εικόνας αποτελείται από παραγόμενα χαρακτηριστικά – χαμηλού επιπέδου διανυσματικές αναπαραστάσεις. Η λατινική εμβέδωση κωδικοποιείται πίσω σε ένα bitstream και πάλι στο χώρο pixel.

Η κωδικοποιημένη εικόνα χρησιμοποιείται τότε ως πρότυπο για τον θόρυβο που συνήθως σπέρνει μια διάχυση εικόνας, με ένα μεταβαλλόμενο αριθμό βημάτων αποθορύβωσης (όπου υπάρχει συχνά μια ανταλλαγή μεταξύ αυξημένων βημάτων αποθορύβωσης και μεγαλύτερης ακρίβειας, σε σύγκριση με χαμηλότερη καθυστέρηση και υψηλότερη αποτελεσματικότητα).

Σχήμα για τη νέα μέθοδο συμπίεσης της Disney.

Και οι παράμετροι κωδικοποίησης και ο tổngικός αριθμός βημάτων αποθορύβωσης μπορούν να ελεγχθούν στο νέο σύστημα, μέσω της εκπαίδευσης ενός νευρωνικού δικτύου που προβλέπει τις σχετικές μεταβλητές που σχετίζονται με αυτά τα στοιχεία της κωδικοποίησης. Αυτή η διαδικασία ονομάζεται προσαρμοστική κωδικοποίηση, και το σύστημα της Disney χρησιμοποιεί το Entroformer ως το μοντέλο εντροπίας που δίνει ενέργεια στη διαδικασία.

Οι συγγραφείς αναφέρουν:

‘Εννοητικά, η μέθοδός μας μαθαίνει να απορρίπτει πληροφορίες (μέσω της μετασχηματίσεως κωδικοποίησης) που μπορούν να συνθετούν κατά τη διάρκεια της διαδικασίας διάχυσης. Επειδή τα σφάλματα που εισάγονται κατά τη κωδικοποίηση είναι παρόμοια με την προσθήκη [θορύβου] και τα μοντέλα διάχυσης είναι λειτουργικά μοντέλα αποθορύβωσης, μπορούν να χρησιμοποιηθούν για την αφαίρεση του θορύβου κωδικοποίησης που εισάγεται κατά τη διάρκεια της κωδικοποίησης.’

Το Stable Diffusion V2.1 είναι το σκελετό διάχυσης για το σύστημα, επιλεγμένο επειδή όλος ο κώδικας και τα βάρη είναι δημόσια διαθέσιμα. Ωστόσο, οι συγγραφείς τονίζουν ότι το σχήμα τους είναι εφαρμόσιμο σε ένα ευρύτερο αριθμό μοντέλων.

Κεντρικό για την οικονομία της διαδικασίας είναι η προσαρμοστική προβλέψη βημάτων, η οποία αξιολογεί τον ιδανικό αριθμό βημάτων αποθορύβωσης – μια ισορροπία μεταξύ αποτελεσματικότητας και απόδοσης.

Προβλέψεις βημάτων αποθορύβωσης, με το ιδανικό αριθμό βημάτων αποθορύβωσης που υποδεικνύεται με κόκκινο πλαίσιο. Παρακαλούμε αναφερθείτε στο αρχείο PDF για ακριβή ανάλυση.

Ο όγκος του θορύβου στη λατινική εμβέδωση πρέπει να ληφθεί υπόψη κατά την εκτέλεση μιας προβλέψης για τον καλύτερο αριθμό βημάτων αποθορύβωσης.

Δεδομένα και Δοκιμές

Το μοντέλο εκπαιδεύτηκε στο Vimeo-90k dataset. Οι εικόνες τυχαία αποκοπήθηκαν σε 256x256px για κάθε epoch (δηλαδή, κάθε πλήρη κατάπνιξη του dataset από την αρχιτεκτονική εκπαίδευσης του μοντέλου).

Το μοντέλο βελτιστοποιήθηκε για 300.000 βήματα σε μια ταχύτητα εκμάθησης 1e-4. Αυτό είναι το πιο συνηθισμένο στα έργα όρασης υπολογιστή, και επίσης η χαμηλότερη και πιο λεπτομερής γενικά πρακτική τιμή, ως συμβιβασμό μεταξύ ευρείας γενίκευσης των εννοιών και χαρακτηριστικών του dataset και μιας ικανότητας αναπαραγωγής λεπτομερειών.

Οι συγγραφείς σχολιάζουν ορισμένα από τα λογιστικά ζητήματα για ένα οικονομικό αλλά αποτελεσματικό σύστημα*:

‘Κατά τη διάρκεια της εκπαίδευσης, είναι απαγορευτικά δαπανηρό να επανακατευθύνουμε την κλίση μέσω πολλαπλών διεργασιών του μοντέλου διάχυσης όπως τρέχει κατά τη DDIM δειγματοληψία. Επομένως, εκτελούμε μόνο μια διεργασία δειγματοληψίας DDIM και χρησιμοποιούμε απευθείας [αυτή] ως πλήρως αποθορυβωμένα [δεδομένα].’

Τα datasets που χρησιμοποιήθηκαν για τη δοκιμή του συστήματος ήταν Kodak· CLIC2022· και COCO 30k. Το dataset προ-επεξεργάστηκε σύμφωνα με τη μεθοδολογία που περιγράφεται στο έργο Google του 2023 Multi-Realism Image Compression with a Conditional Generator.

Τα μετρικά που χρησιμοποιήθηκαν ήταν Peak Signal-to-Noise Ratio (PSNR)· Learned Perceptual Similarity Metrics (LPIPS)· Multiscale Structural Similarity Index (MS-SSIM)· και Fréchet Inception Distance (FID).

Οι ανταγωνιστικές προηγούμενες πλατφόρμες που δοκιμάστηκαν χωρίστηκαν μεταξύ παλαιότερων συστημάτων που χρησιμοποιούσαν High-Fidelity Generative Image Compression (HiFiC)· και ILLM (το οποίο προσφέρει ορισμένες βελτιώσεις στο HiFiC).

Τα συστήματα που βασίζονται στη διάχυση ήταν Lossy Image Compression with Conditional Diffusion Models (CDC) και High-Fidelity Image Compression with Score-based Generative Models (HFD).

Ποσοτικά αποτελέσματα ενάντια σε προηγούμενες πλατφόρμες σε διάφορα datasets.

Για τα ποσοτικά αποτελέσματα (ορατά παραπάνω), οι ερευνητές αναφέρουν:

‘Η μέθοδός μας ορίζει ένα νέο state-of-the-art στη ρεαλιστικότητα των ανακατασκευασμένων εικόνων, ξεπερνώντας όλες τις βάσεις σε FID-bitrate καμπύλες. Σε ορισμένα μετρικά παραμορφώσεων (συγκεκριμένα, LPIPS και MS-SSIM), ξεπερνάμε όλες τις κωδικοποιήσεις διάχυσης ενώ παραμένουμε ανταγωνιστικοί με τις υψηλότερες κωδικοποιήσεις γενετικών μοντέλων.

‘Όπως αναμενόταν, η μέθοδός μας και άλλα γενετικά μοντέλα υποφέρουν όταν μετρούνται σε PSNR, επειδή προτιμούμε ανακατασκευές που είναι αισθητικά ευχάριστες αντί για ακριβή αναπαραγωγή λεπτομερειών.’

Για τη μελέτη χρηστών, χρησιμοποιήθηκε μια μέθοδος δύο εναλλακτικών-υποχρεωτικής-επιλογής (2AFC), σε ένα τουρνουά περιβάλλον όπου οι αγαπημένες εικόνες θα προχωρήσουν σε μεταγενέστερα γύρους. Η μελέτη χρησιμοποιούσε το Elo σύστημα αξιολόγησης που αναπτύχθηκε αρχικά για τουρνουά σκακιού.

Επομένως, οι συμμετέχοντες θα έβλεπαν και θα επέλεγαν την καλύτερη από δύο παρουσιαζόμενες εικόνες 512x512px σε διάφορες γενετικές μεθόδους. Μια επιπλέον πείραμα πραγματοποιήθηκε, στο οποίο όλες οι συγκρίσεις εικόνων από τον ίδιο χρήστη αξιολογήθηκαν, μέσω μιας Monte Carlo simulation σε 10.0000 επαναλήψεις, με το μέσο όρο που παρουσιάζεται στα αποτελέσματα.

Εκτιμώμενα Elo ratings για τη μελέτη χρηστών, με Elo τουρνουά για κάθε σύγκριση (αριστερά) και επίσης για κάθε συμμετέχοντα, με υψηλότερες τιμές καλύτερες.

Εδώ οι συγγραφείς σχολιάζουν:

‘Όπως φαίνεται στα Elo ratings, η μέθοδός μας ξεπερνά σημαντικά όλες τις άλλες, ακόμη και σε σύγκριση με το CDC, το οποίο χρησιμοποιεί κατά μέσο όρο διπλάσιο bitrate από τη μέθοδο μας. Αυτό παραμένει αληθές ανεξάρτητα από τη στρατηγική τουρνουά Elo που χρησιμοποιείται.’

Στην αρχική εργασία, καθώς και στο συμπληρωματικό PDF, οι συγγραφείς παρέχουν περαιτέρω οπτικές συγκρίσεις, μια από τις οποίες εμφανίζεται νωρίτερα σε αυτό το άρθρο. Ωστόσο, λόγω της λεπτομέρειας της διαφοράς μεταξύ των δειγμάτων, παρακαλούμε τον αναγνώστη να αναφερθεί στο αρχείο PDF, ώστε τα αποτελέσματα να μπορέσουν να κριθούν δίκαια.

Η εργασία ολοκληρώνεται αναφέροντας ότι η προτεινόμενη μέθοδός τους λειτουργεί δύο φορές γρηγορότερα από το ανταγωνιστικό CDC (3,49 δευτερόλεπτα έναντι 6,87 δευτερολέπτων, αντίστοιχα). Παρατηρεί επίσης ότι το ILLM μπορεί να επεξεργαστεί μια εικόνα σε 0,27 δευτερόλεπτα, αλλά ότι αυτό το σύστημα απαιτεί βαρύ φορτίο εκπαίδευσης.

Συμπέρασμα

Οι ερευνητές του ETH/Disney είναι σαφείς, στο τέλος της εργασίας, σχετικά με το δυνατόν της μεθόδου τους να παράγει ψευδή λεπτομέρειες. Ωστόσο, κανένα από τα δείγματα που παρέχονται στο υλικό δεν επικεντρώνεται σε αυτό το ζήτημα.

Σε κάθε περίπτωση, αυτό το πρόβλημα δεν είναι περιορισμένο στην νέα μέθοδο της Disney, αλλά είναι μια αναπόφευκτη παρενέργεια της χρήσης μοντέλων διάχυσης – μιας εφευρετικής και ερμηνευτικής αρχιτεκτονικής – για τη συμπίεση εικόνας.

Ενδιαφέροντα, πριν από πέντε ημέρες δύο άλλοι ερευνητές από το ETH Zurich παρήγαγαν μια εργασία με τίτλο Conditional Hallucinations for Image Compression, η οποία εξετάζει την πιθανότητα ενός “ιδεαλού επιπέδου ψευδαισθήσεων” σε συστήματα συμπίεσης εικόνας με βάση το AI.

Οι συγγραφείς εκεί κάνουν μια περίπτωση για την επιθυμητότητα των ψευδαισθήσεων όπου το domaine είναι γενικό (και, ενδεχομένως, “αβλαβές”) enough:

‘Για περιεχόμενο τύπου κειμένου, όπως χλόη, σπυράκια και πέτρινα τοίχοι, η δημιουργία pixel που αντιστοιχούν ρεαλιστικά σε ένα δεδομένο κείμενο είναι πιο σημαντική από την ανακατασκευή ακριβών τιμών pixel· η δημιουργία οποιουδήποτε δείγματος από την κατανομή ενός κειμένου είναι γενικά επαρκές.’

Επομένως, αυτή η δεύτερη εργασία κάνει μια περίπτωση για τη συμπίεση να είναι οπτικά “δημιουργική” και αντιπροσωπευτική, αντί να ανακατασκευάζει όσο το δυνατόν ακριβέστερα τα κεντρικά χαρακτηριστικά και τα χαρακτηριστικά της αρχικής μη συμπιεσμένης εικόνας.

Κάποιος θαυμάζει τι θα σκεφτόταν η φωτογραφική και δημιουργική κοινότητα για αυτήν τη μάλλον ριζική αναedefinition του “συμπίεσης”.

*Η μετατροπή των συγγραφέων των ενσωματωμένων αναφορών σε υπερσύνδεσμους.

Πρώτη δημοσίευση Τετάρτη, 30 Οκτωβρίου 2024