Πώς να γνωρίζετε όταν τα συστήματα σύνθεσης εικόνας παράγουν πραγματικά “πρωτότυπο” υλικό

Μια νέα μελέτη από τη Νότια Κορέα έχει προτείνει einen τρόπο για να καθορίσετε εάν τα συστήματα σύνθεσης εικόνας παράγουν πραγματικά καινοτόμα εικόνες ή “ελαφρά” παραλλαγές των δεδομένων εκπαίδευσης, που потенτικά να αποτυγχάνουν τον στόχο τέτοιων αρχιτεκτονικών (όπως η παραγωγή καινοτόμων και πρωτότυπων εικόνων).

Πολύ συχνά, η εργασία προτείνει, το δεύτερο είναι αλήθεια, επειδή τα υπάρχοντα μετρικά που χρησιμοποιούν αυτά τα συστήματα για να βελτιώσουν τις γενετικές τους ικανότητες κατά τη διάρκεια της εκπαίδευσης είναι αναγκασμένα να ευνοούν εικόνες που είναι σχετικά κοντά στις (μη ψευδείς) πηγαίες εικόνες στη βάση δεδομένων.

Αφού, αν μια γενηθείσα εικόνα είναι “οπτικά κοντά” στα δεδομένα πηγής, είναι αναπόφευκτα πιθανό να λάβει υψηλότερη βαθμολογία για “αυθεντικότητα” από “καινοτομία”, αφού είναι “πιστή” – αν και μη εμπνευσμένη.

Σε ένα τομέα που είναι ακόμη νωπός και ανεξέταστος για τις νομικές του επιπτώσεις να είναι ακόμη άγνωστες, αυτό θα μπορούσε να αποδειχθεί σημαντικό νομικό ζήτημα, αν αποδειχθεί ότι εμπορικά συνθετικά περιεχόμενο εικόνας δεν διαφέρει αρκετά από το (συχνά) πνευματικά καταχωρημένο υλικό πηγής που σήμερα επιτρέπεται να διεισδύει στον τομέα της έρευνας με τη μορφή δημοφιλών συνόλων δεδομένων που έχουν συλλεχθεί από το ιντερνέτ (η πιθανότητα μελλοντικών αξιώσεων παραβίασης πνευματικών δικαιωμάτων αυτού του είδους έχει προβληθεί πρόσφατα σε σχέση με το GitHub Co-Pilot AI της Microsoft ).

Όσον αφορά την ολοένα και πιο συνεκτική και σεμαντικά ροβούστα έξοδο από συστήματα όπως το DALL-E 2 της OpenAI, το Imagen της Google και τις κυκλοφορίες CogView της Κίνας (καθώς και το DALL-E mini με χαμηλότερες προδιαγραφές), υπάρχουν πολύ λίγα μετά τρόποι για να δοκιμάσετε με αξιοπιστία την πρωτοτυπία μιας γενηθείσας εικόνας.

Πράγματι, η αναζήτηση για μερικές από τις πιο δημοφιλείς εικόνες του DALL-E 2 θα οδηγήσει συχνά μόνο σε περαιτέρω παραδείγματα των ίδιων εικόνων, ανάλογα με το μηχανή αναζήτησης.

Ανεβάζοντας μια ολοκληρωμένη ομάδα 9 εικόνων DALL-E 2 οδηγεί μόνο σε άλλες ομάδες DALL-E 2, επειδή η δομή του πλέγματος είναι το ισχυρότερο χαρακτηριστικό. Η διάσπαση και ανέβασμα της πρώτης εικόνας (από αυτή τη δημοσίευση του Twitter της 8ης Ιουνίου 2022, από το λογαριασμό ‘Weird Dall-E Generations’) προκαλεί στο Google να εστιάσει στο μπάσκετ στη φωτογραφία, οδηγώντας την αναζήτηση εικόνας σε μια σεμαντική άβυσσο. Για την ίδια αναζήτηση εικόνας, η Yandex φαίνεται να least να κάνει κάποια πραγματική ανάλυση pixel και αντιστοίχηση χαρακτηριστικών.

Though Yandex είναι πιο πιθανό από το Google Search να χρησιμοποιήσει τα πραγματικά χαρακτηριστικά (δηλ. τα υπολογισμένα χαρακτηριστικά μιας εικόνας, όχι απαραίτητα τα χαρακτηριστικά προσώπου των ανθρώπων) και οπτικά (παρά σεμαντικά) χαρακτηριστικά μιας υποβεβλημένης εικόνας για να βρει παρόμοιες εικόνες, όλα τα μηχανήματα αναζήτησης εικόνας έχουν κάποιο είδος ηγεμονίας ή πρακτικής που μπορεί να κάνει δύσκολο να αναγνωριστούν περιπτώσεις πηγή>γενηθείσα plagiaρισμού μέσω αναζητήσεων στο διαδίκτυο.

Επιπλέον, τα δεδομένα εκπαίδευσης για ένα γενετικό μοντέλο μπορεί να μην είναι διαθέσιμα στο σύνολό τους, περαιτέρω εμποδίζοντας την εξεταστική εξέταση της πρωτοτυπίας των γενηθεισών εικόνων.

Ενδιαφέροντα, η εκτέλεση μιας αναζήτησης εικόνας στο διαδίκτυο για μια από τις συνθετικές εικόνες που παρουσιάζονται από τη Google στη αφιερωμένη ιστοσελίδα Imagen βρίσκει απολύτως τίποτα συγκρίσιμο με το αντικείμενο της εικόνας, όσον αφορά την πραγματική αναζήτηση εικόνας. Αντίθετα, η αναζήτηση εικόνας της Google για αυτή τη φωτογραφία Imagen δεν θα επιτρέψει μια καθαρή αναζήτηση εικόνας χωρίς να προσθέσει τους όρους αναζήτησης ‘imagen google’ ως πρόσθετο (και περιοριστικό) παράμετρο:

Η Yandex, αντίθετα, βρίσκει πολλές παρόμοιες (ή τουλάχιστον οπτικά συναφείς) πραγματικές εικόνες από την ερασιτεχνική καλλιτεχνική κοινότητα:

Γενικά, θα ήταν καλύτερο αν η καινοτομία ή η πρωτοτυπία της έξοδου των συστημάτων σύνθεσης εικόνας θα μπορούσε με κάποιον τρόπο να μετρηθεί, χωρίς να χρειάζεται να εξαγάγει χαρακτηριστικά από κάθε δυνατή εικόνα στο διαδίκτυο την ώρα που το μοντέλο εκπαιδεύτηκε, ή σε μη δημόσιες βάσεις δεδομένων που μπορεί να χρησιμοποιούν πνευματικά καταχωρημένο υλικό.

Σχετικά με αυτό το ζήτημα, ερευνητές από τη σχολή Kim Jaechul Graduate School of AI στο Korea Advanced Institute of Science and Technology (KAIST AI) έχουν συνεργαστεί με την παγκόσμια εταιρεία ICT και αναζήτησης NAVER Corp για να αναπτύξουν einen Βαθμό Σπανιότητας που μπορεί να βοηθήσει στην αναγνώριση των πιο πρωτότυπων δημιουργιών των συστημάτων σύνθεσης εικόνας.

Εικόνες εδώ δημιουργούνται μέσω StyleGAN-FFHQ. Από αριστερά προς τα δεξιά, οι στήλες υποδεικνύουν από τις χειρότερες έως τις καλύτερες αποτελέσματα. Μπορούμε να δούμε ότι η μετρική ‘Truncation trick’ και η μετρική Realism έχουν τις δικές τους ηγεμονίες, ενώ ο νέος ‘Βαθμό Σπανιότητας’ (πρώτη σειρά) αναζητά συνεκτικές αλλά πρωτότυπες εικόνες (παρά μόνο συνεκτικές εικόνες). 既然 υπάρχουν περιορισμοί μεγέθους εικόνας σε αυτό το άρθρο, παρακαλούμε δείτε το αρχικό έγγραφο για καλύτερη λεπτομέρεια και ανάλυση. Πηγή: https://arxiv.org/pdf/2206.08549.pdf

Το νέο έγγραφο έχει τον τίτλο Βαθμό Σπανιότητας: Μια Νέα Μετρική για την Αξιολόγηση της Σπανιότητας των Συνθετικών Εικόνων και προέρχεται από τρεις ερευνητές στο KAIST και τρεις από την NAVER Corp.

Πέρα από το ‘Φθηνό Τρικ’

Μεταξύ των προηγούμενων μετρικών που το νέο έγγραφο προσπαθεί να βελτιώσει είναι η ‘Truncation trick’ που προτάθηκε το 2019 σε μια συνεργασία μεταξύ του Ηνωμένου Βασιλείου Heriot-Watt University και της Google’s DeepMind.

Η Truncation Trick χρησιμοποιεί μια διαφορετική.latent κατανομή για δειγματοληψία από αυτή που χρησιμοποιήθηκε για την εκπαίδευση του γενετικού μοντέλου.

Οι ερευνητές που ανέπτυξαν αυτή τη μέθοδο ήταν έκπληκτοι που δούλεψε, αλλά παραδέχονται στο αρχικό έγγραφο ότι μειώνει την ποικιλία της γενηθείσας έξοδου. Παρόλα αυτά, η Truncation Trick έχει γίνει αποτελεσματική και δημοφιλής, στο πλαίσιο του τι θα μπορούσε να περιγραφεί ως ένα ‘φθηνό τρικ’ για την απόκτηση αυθεντικών αποτελεσμάτων που δεν πραγματικά ενσωματώνουν όλες τις δυνατότητες που υπάρχουν στα δεδομένα, και μπορεί να μοιάζει περισσότερο με τα δεδομένα πηγής από ό,τι επιθυμείται.

Σχετικά με την Truncation Trick, οι συγγραφείς του νέου εγγράφου παρατηρούν:

‘[Αυτή] δεν προορίζεται για τη δημιουργία σπάνιων δειγμάτων κατά την εκπαίδευση, αλλά για τη σύνθεση τυπικών εικόνων με μεγαλύτερη σταθερότητα. Υποθέτουμε ότι τα υπάρχοντα γενετικά μοντέλα θα μπορέσουν να παράγουν δείγματα πλουσιότερα στην πραγματική κατανομή δεδομένων εάν ο γεννήτορας μπορεί να προκαλέσει αποτελεσματικά σπάνια δείγματα.’

Για τη γενική τάση να βασίζονται σε παραδοσιακές μετρικές όπως η Frechet Inception Distance (FID, η οποία υποβλήθηκε σε έντονη κριτική τον Δεκέμβριο του 2021), η βαθμολογία ένταξης (IS) και η Απόσταση Inception Kernel (KID) ως ‘δείκτες προόδου’ κατά την εκπαίδευση ενός γενετικού μοντέλου, οι συγγραφείς σχολιάζουν περαιτέρω*:

‘Αυτή η схέση μάθησης οδηγεί τον γεννήτορα να μην συνθέσει πολλά σπάνια δείγματα που είναι μοναδικά και έχουν ισχυρά χαρακτηριστικά που δεν αντιπροσωπεύουν μεγάλο ποσοστό της πραγματικής κατανομής εικόνας. Παραδείγματα σπάνιων δειγμάτων από δημόσιες βάσεις δεδομένων περιλαμβάνουν ανθρώπους με διάφορα αξεσουάρ στο FFHQ, λευκά ζώα στο AFHQ, και ασυνήθιστες αγάλματα στο Metfaces.

‘Η ικανότητα να παράγει σπάνια δείγματα είναι σημαντική όχι μόνο επειδή σχετίζεται με την ικανότητα των γενετικών μοντέλων, αλλά και επειδή η μοναδικότητα παίζει σημαντικό ρόλο στις δημιουργικές εφαρμογές όπως οι εικονικοί άνθρωποι.

‘Ωστόσο, τα ποιοτικά αποτελέσματα αρκετών πρόσφατων μελετών σπάνια περιλαμβάνουν αυτά τα σπάνια παραδείγματα. Υποθέτουμε ότι η φύση της ανταγωνιστικής μάθησης οδηγεί την κατανομή των γενηθεισών εικόνων να μοιάζει με αυτή της βάσης δεδομένων εκπαίδευσης. Έτσι, εικόνες με σαφή ατομικότητα ή σπανιότητα λαμβάνουν μόνο ένα μικρό μέρος των εικόνων που συνθέτουν τα μοντέλα.’

Τεχνική

Οι ερευνητές έχουν προσαρμόσει μια ιδέα που παρουσιάστηκε σε πρόσφατα έργα – τη χρήση K-Nearest Neighbors (KNNs) για να αντιπροσωπεύσουν τις πίνακες των γνήσιων (εκπαίδευσης) και συνθετικών (έξοδος) δεδομένων σε ένα σύστημα σύνθεσης εικόνας.

Σχετικά με αυτή τη νέα μέθοδο ανάλυσης, οι συγγραφείς δηλώνουν:

‘Υποθέτουμε ότι τα κανονικά δείγματα θα είναι πιο κοντά το ένα στο άλλο, ενώ τα μοναδικά και σπάνια δείγματα θα είναι σπάνια τοποθετημένα στον χώρο χαρακτηριστικών.’

Η εικόνα των αποτελεσμάτων πάνω δείχνει τις μικρότερες αποστάσεις των πλησιέστερων γειτόνων (NNDs) έως τις μεγαλύτερες, σε μια αρχιτεκτονική StyleGAN που εκπαιδεύτηκε στο FFHQ.

‘Για όλα τα σύνολα δεδομένων, τα δείγματα με τις μικρότερες NNDs δείχνουν αντιπροσωπευτικές και τυπικές εικόνες. Αντίθετα, τα δείγματα με τις μεγαλύτερες NNDs έχουν ισχυρή ατομικότητα και είναι σημαντικά διαφορετικά από τις τυπικές εικόνες με τις μικρότερες NNDs.’

Θεωρητικά, χρησιμοποιώντας αυτή τη νέα μετρική ως δισκρίμη, ή τουλάχιστον συμπεριλαμβάνοντάς την σε μια πιο σύνθετη αρχιτεκτονική δισκρίμη, ένα γενετικό σύστημα θα μπορούσε να οδηγηθεί μακριά από την απλή μίμηση προς μια πιο εφευρετική αλγόριθμο, ενώ διατηρεί την απαραίτητη συνεκτικότητα των εννοιών που μπορεί να είναι κρίσιμες για την αυθεντική παραγωγή εικόνας (π.χ. ‘άνθρωπος’, ‘γυναίκα’, ‘αυτοκίνητο’, ‘εκκλησία’, κ.λπ.).

Συγκρίσεις και Πειράματα

Σε πειράματα, οι ερευνητές διεξήγαγαν μια σύγκριση της απόδοσης του Βαθμού Σπανιότητας με την Truncation Trick και το Βαθμό Πραγματικότητας της NVIDIA του 2019, και βρήκαν ότι σε eine ποικιλία από πλαισιά και σύνολα δεδομένων, η προσέγγιση είναι σε θέση να αναγνωρίσει ‘μοναδικά’ αποτελέσματα.

Αν και τα αποτελέσματα που παρουσιάζονται στο έγγραφο είναι πολύ εκτενή για να συμπεριληφθούν εδώ, οι ερευνητές φαίνεται να έχουν αποδείξει την ικανότητα της νέας μεθόδου να αναγνωρίσει σπανιότητα και στις πηγαίες (πραγματικές) και στις γενηθείσες (ψευδείς) εικόνες σε μια γενετική διαδικασία:

Επιλεγμένα παραδείγματα από τα εκτενή οπτικά αποτελέσματα που αναπαράγονται στο έγγραφο (δείτε την πηγή URL παραπάνω για περισσότερες λεπτομέρειες). Στο αριστερό μέρος, γνήσιες εικόνες από το FFHQ που έχουν πολύ λίγους κοντινούς γείτονες (δηλ. είναι καινούριες και ασυνήθιστες) στην αρχική βάση δεδομένων. Στο δεξί μέρος, ψευδείς εικόνες που παράγονται από το StyleGAN, τις οποίες η νέα μετρική έχει αναγνωρίσει ως πραγματικά καινούριες.

Ο νέος Βαθμό Σπανιότητας δεν επιτρέπει μόνο την αναγνώριση ‘καινούριων’ γενετικών εξόδων σε μια seule αρχιτεκτονική, αλλά και, όπως ισχυρίζονται οι ερευνητές, επιτρέπει τις συγκρίσεις μεταξύ γενετικών μοντέλων διαφορετικών αρχιτεκτονικών (π.χ. autoencoder, VAE, GAN, κ.λπ.).

Πέρα από τους Περιορισμένους Καθορισμούς

Αν και οι ερευνητές του νέου εγγράφου έχουν διεξαγάγει πειράματα σε περιορισμένους τομείς (όπως συνδυασμοί γεννήτορα/βάσης δεδομένων που έχουν σχεδιαστεί για να παράγουν εικόνες ανθρώπων ή γατών, για παράδειγμα), ο Βαθμό Σπανιότητας μπορεί потенτικά να εφαρμοστεί σε οποιαδήποτε τυχαία διαδικασία σύνθεσης εικόνας όπου είναι επιθυμητό να αναγνωριστούν γενηθείσες εικόνες που χρησιμοποιούν τις κατανομές που προέρχονται από τα εκπαιδευμένα δεδομένα, αντί να αυξάνουν την αυθεντικότητα (και να μειώνουν την ποικιλία) με την επέμβαση ξένων κατανομών ή την εξάρτηση από άλλα ‘συντόμευση’ που συμβιβάζουν την καινοτομία με την αυθεντικότητα.

Επίδραση, τέτοια μετρική θα μπορούσε να διακρίνει πραγματικά καινούριες εξόδους σε συστήματα όπως η σειρά DALL-E, χρησιμοποιώντας την αναγνωρισμένη απόσταση μεταξύ μιας φαινομενικής ‘εξαιρετικής’ εικόνας, των δεδομένων εκπαίδευσης και των αποτελεσμάτων από παρόμοιες εισόδους (π.χ. εικόνες-εισόδους).

Στην πράξη, και στην απουσία μιας σαφούς κατανόησης του βαθμού στον οποίο το σύστημα έχει πραγματικά ενσωματώσει οπτικές και σεμαντικές έννοιες (συχνά εμποδισμένες από περιορισμένες γνώσεις σχετικά με τα δεδομένα εκπαίδευσης), αυτό θα μπορούσε να είναι ένας βιώσιμος τρόπος για να αναγνωρίσει μια πραγματική ‘στιγμή έμπνευσης’ σε ένα γενετικό σύστημα – το σημείο στο οποίο ένας επαρκής αριθμός εισόδων εννοιών και δεδομένων έχει οδηγήσει σε κάτι πραγματικά εφευρετικό, αντί για κάτι υπερβολικά παραγωγικό ή κοντά στα δεδομένα πηγής.

* Οι μετατροπές μου των εσωτερικών αναφορών των συγγραφέων σε υπερσύνδεσμους.

Πρώτη δημοσίευση 20ης Ιουνίου 2022.