Τα μοντέλα βαθιάς μάθησης μπορεί να δυσκολευτούν να αναγνωρίσουν εικόνες που έχουν δημιουργηθεί από την τεχνητή νοημοσύνη

Νέα έρευνα δείχνει ότι τα μοντέλα της τεχνητής νοημοσύνης είναι σημαντικά λιγότερο ικανά να αναγνωρίσουν και να ερμηνεύσουν εικόνες που έχουν δημιουργηθεί από την τεχνητή νοημοσύνη, σε σύγκριση με τους ανθρώπους, γεγονός που μπορεί να είναι ανησυχία σε ένα επερχόμενο κλίμα όπου τα μοντέλα της μηχανικής μάθησης εκπαιδεύονται ολοένα και περισσότερο σε συνθετικές δεδομένα και όπου δεν θα είναι πάντα γνωστό αν τα δεδομένα είναι “πραγματικά” ή όχι.

Εδώ βλέπουμε το μοντέλο προβλέψεων resnext101_32x8d_wsl να δυσκολεύεται στην κατηγορία ‘μπαγκέλ’. Σε τους тестes, μια αποτυχία αναγνώρισης θεωρήθηκε ότι έχει συμβεί εάν το βασικό στόχο λέξη (στην περίπτωση αυτή ‘μπαγκέλ’) δεν ήταν στην πρώτη πεντάδα των προβλεπόμενων αποτελεσμάτων. Πηγή: https://arxiv.org/pdf/2208.10760.pdf

Η νέα έρευνα εξέτασε δύο κατηγορίες πλαισίων αναγνώρισης με βάση την υπολογιστική όραση: αναγνώριση αντικειμένων και οπτικές ερωτήσεις και απαντήσεις (VQA).

Στο αριστερό μέρος, επιτυχίες και αποτυχίες από ένα σύστημα αναγνώρισης αντικειμένων. Στο δεξί μέρος, εργασίες VQA που σχεδιάστηκαν για να διερευνήσουν την κατανόηση της τεχνητής νοημοσύνης για τις σκηνές και τις εικόνες με πιο εξερευνητικό και σημαντικό τρόπο. Πηγές: https://arxiv.org/pdf/2105.05312.pdf και https://arxiv.org/pdf/1505.00468.pdf

Από τα δέκα μοντέλα που εξετάστηκαν, το καλύτερο μοντέλο ήταν σε θέση να επιτύχει μόνο 60% και 80% στην πρώτη πεντάδα των αποτελεσμάτων, ενώ το ImageNet, που εκπαιδεύτηκε σε μη συνθετικά δεδομένα, μπορεί να επιτύχει 91% και 99% στις ίδιες κατηγορίες, ενώ η απόδοση των ανθρώπων είναι συνήθως σημαντικά υψηλότερη.

Η μελέτη αντιμετωπίζει θέματα γύρω από την μετατόπιση κατανομής (aka ‘μετατόπιση μοντέλου’, όπου τα μοντέλα προβλέψεων βιώνουν μειωμένη προβλεπτική ικανότητα όταν μεταφέρονται από τα δεδομένα εκπαίδευσης στα ‘πραγματικά’ δεδομένα), και ο συγγραφέας αναφέρει:

‘Οι άνθρωποι είναι σε θέση να αναγνωρίσουν τις συνθετικές εικόνες και να απαντήσουν σε ερωτήσεις σχετικά με αυτές με ευκολία. Συμπεραίνουμε ότι α) τα βαθιά μοντέλα δυσκολεύονται να κατανοήσουν το συνθετικό περιεχόμενο και μπορεί να κάνουν καλύτερα μετά την εκπαίδευση, και β) υπάρχει μια μεγάλη μετατόπιση κατανομής μεταξύ των συνθετικών εικόνων και των πραγματικών φωτογραφιών. Η μετατόπιση κατανομής φαίνεται να είναι εξαρτημένη από την κατηγορία.’

Δεδομένου του όγκου των συνθετικών εικόνων που ήδη πλημμυρίζουν το διαδίκτυο, μετά την απελευθέρωση του Stable Diffusion μοντέλου, η πιθανότητα ότι τα ‘ψευδή’ εικόνες θα πλημμυρίσουν τις βιομηχανικές βάσεις δεδομένων, όπως η Common Crawl, και θα επηρεάσουν σημαντικά την ακρίβεια των μοντέλων κατά τα χρόνια, είναι μεγάλη.

Αν και τα συνθετικά δεδομένα έχουν θεωρηθεί ως ο potencial σωτήρας του τομέα της υπολογιστικής όρασης, ο οποίος συχνά лишεται πόρων και προϋπολογισμού για την υπερ-εκπαίδευση, η νέα πηγή συνθετικών εικόνων (μαζί με την γενική αύξηση των συνθετικών εικόνων από την έλευση και την εμπορική εκμετάλλευση του DALL-E 2) είναι απίθανο να έρθουν με ετικέτες, αναnotations και hashtags που τις διακρίνουν ως ‘ψευδείς’ στο σημείο που τα μοντέλα της μηχανικής όρασης θα τις συλλέξουν από το διαδίκτυο.

Η ταχύτητα ανάπτυξης των ανοικτών πλαισίων συνθετικής εικόνας έχει ξεπεράσει σημαντικά την ικανότητά μας να κατηγοριοποιήσουμε εικόνες από αυτά τα συστήματα, οδηγώντας σε αυξανόμενο ενδιαφέρον για συστήματα ανίχνευσης ‘ψευδών’ εικόνων, παρόμοια με τα συστήματα ανίχνευσης deepfake, αλλά με την任务 να αξιολογούν ολόκληρες εικόνες αντί για τμήματα προσώπων.

Η νέα μελέτη έχει τον τίτλο Πόσο καλά είναι τα βαθιά μοντέλα στην κατανόηση των συνθετικών εικόνων και προέρχεται από τον Ali Borji της εταιρείας μηχανικής μάθησης Quintic AI.

Δεδομένα

Η μελέτη προηγήθηκε της κυκλοφορίας του Stable Diffusion και τα πειράματα χρησιμοποιούν δεδομένα που έχουν δημιουργηθεί από τα DALL-E 2 και Midjourney σε 17 κατηγορίες, συμπεριλαμβανομένων ελέφαντα, μανιτάρι, πίτσα, πρέτζελ, τρακτέρ και κουνέλι.

Παραδείγματα εικόνων από τις οποίες τα συστήματα αναγνώρισης και VQA επιχείρησαν να αναγνωρίσουν την πιο σημαντική έννοια-κλειδί.

Οι εικόνες προέρχονται από αναζητήσεις στο διαδίκτυο και από το Twitter, και, σύμφωνα με την πολιτική του DALL-E 2 (τουλάχιστον, στην εποχή), δεν περιλαμβάνουν εικόνες με ανθρώπινες προσωπικότητες. Επιλέχθηκαν μόνο εικόνες που είναι αναγνωρίσιμες από τους ανθρώπους.

Δυο σύνολα εικόνων δημιουργήθηκαν, ένα για την αναγνώριση αντικειμένων και ένα για την VQA.

Ο αριθμός εικόνων που υπάρχουν σε κάθε κατηγορία για την αναγνώριση αντικειμένων.

Δοκιμές αναγνώρισης αντικειμένων

Για τις δοκιμές αναγνώρισης αντικειμένων, δέκα μοντέλα, όλα εκπαιδευμένα στο ImageNet, εξετάστηκαν: AlexNet, ResNet152, MobileNetV2, DenseNet, ResNext, GoogleNet, ResNet101, Inception_V3, Deit, και ResNext_WSL.

Ορισμένες από τις κατηγορίες στα εξεταζόμενα συστήματα ήταν πιο λεπτομερείς από τις άλλες, απαιτώντας την εφαρμογή μέσων προσεγγίσεων. Για παράδειγμα, το ImageNet περιλαμβάνει τρεις κατηγορίες που σχετίζονται με ‘ρολόγια’, και ήταν απαραίτητο να οριστεί κάποιος τύπος μετρητή, όπου η ένταξη οποιουδήποτε ‘ρολογιού’ σε οποιαδήποτε κατηγορία θεωρήθηκε ως επιτυχία σε αυτή την περίπτωση.

Επιδόσεις ανά μοντέλο σε 17 κατηγορίες.

Το καλύτερο μοντέλο σε αυτή τη δοκιμή ήταν το resnext101_32x8d_ws, το οποίο έφτασε κοντά στο 60% για την πρώτη θέση (δηλαδή, οι φορές που η προτιμώμενη πρόβλεψη από τις πέντε επιλογές ήταν η σωστή έννοια που ενσωματώνεται στην εικόνα) και 80% για την πρώτη πεντάδα (δηλαδή, η επιθυμητή έννοια ήταν τουλάχιστον στην πρώτη πεντάδα των προβλεπόμενων αποτελεσμάτων).

Ο συγγραφέας υποστηρίζει ότι η καλή απόδοση του μοντέλου οφείλεται στο γεγονός ότι εκπαιδεύτηκε για την προβλέψη ετικετών σε κοινωνικές πλατφόρμες. Ωστόσο, αυτά τα αποτελέσματα, ο συγγραφέας σημειώνει, είναι σημαντικά χαμηλότερα από αυτά που το ImageNet μπορεί να επιτύχει σε πραγματικά δεδομένα, δηλαδή 91% και 99%. Υποστηρίζει ότι αυτό οφείλεται σε μια μεγάλη απόσταση μεταξύ της κατανομής του ImageNet και των συνθετικών εικόνων.

Οι πέντε πιο δύσκολες κατηγορίες για το σύστημα, με σειρά δυσκολίας, ήταν αερόστατο, χελώνα, σκίουρος, γυαλιά ηλίου και κράνος. Η μελέτη σημειώνει ότι η κατηγορία αερόστατο συχνά συγχέεται με μπαλόνι, παρασκήνιο και ομπρέλα, αν και αυτές οι διακρίσεις είναι εύκολες για τους ανθρώπινους παρατηρητές.

Ορισμένες κατηγορίες, συμπεριλαμβανομένων αερόστατο και χελώνα, προκάλεσαν καθολική αποτυχία σε όλα τα μοντέλα, ενώ άλλες (π.χ. πρέτζελ και τρακτέρ) οδήγησαν σε σχεδόν καθολική επιτυχία σε όλα τα μοντέλα.

Πολωτικές κατηγορίες: ορισμένες από τις κατηγορίες που επιλέχθηκαν είτε απένειμαν όλα τα μοντέλα, είτε ήταν σχετικά εύκολες για όλα τα μοντέλα να αναγνωρίσουν.

Ο συγγραφέας υποστηρίζει ότι αυτά τα ευρήματα δείχνουν ότι όλα τα μοντέλα αναγνώρισης αντικειμένων μπορεί να μοιράζονται παρόμοιες δυνάμεις και αδυναμίες.

Δοκιμές οπτικών ερωτήσεων και απαντήσεων

Στη συνέχεια, ο συγγραφέας εξέτασε τα μοντέλα VQA σε ανοιχτές και ελεύθερες ερωτήσεις VQA, με δυαδικές ερωτήσεις (δηλαδή ερωτήσεις στις οποίες η απάντηση μπορεί να είναι μόνο ‘ναι’ ή ‘όχι’). Η μελέτη σημειώνει ότι τα πρόσφατα μοντέλα VQA είναι σε θέση να επιτύχουν 95% ακρίβεια στο VQA-v2 dataset.

Για αυτή τη φάση της δοκιμής, ο συγγραφέας δημιούργησε 50 εικόνες και έθεσε 241 ερωτήσεις γύρω από αυτές, 132 από τις οποίες είχαν θετικές απαντήσεις και 109 αρνητικές. Ο μέσος όρος του μήκους των ερωτήσεων ήταν 5,12 λέξεις.

Αυτή η φάση χρησιμοποιούσε το OFA model, ένα πλαίσιο που είναι αδιάκριτο ως προς την εργασία και τη modalidade, για να δοκιμάσει την ολοκληρωμένη εργασία. Το OFA είχε επιτύχει 77,27% ακρίβεια στις συνθετικές εικόνες, σε σύγκριση με το 94,7% που είχε επιτύχει στο VQA-v2 test-std set.

Παραδείγματα ερωτήσεων και αποτελεσμάτων από το τμήμα VQA των δοκιμών. ‘GT” είναι ‘Γνωστή Αλήθεια’, δηλαδή η σωστή απάντηση.

Ο συγγραφέας υποστηρίζει ότι μέρος του λόγου μπορεί να είναι ότι οι συνθετικές εικόνες περιέχουν σημασιολογικές έννοιες που δεν υπάρχουν στο VQA-v2 dataset, και ότι οι ερωτήσεις που γράφτηκαν για τις δοκιμές VQA μπορεί να είναι πιο απαιτητικές από τον γενικό τύπο των ερωτήσεων VQA-v2, αν και πιστεύει ότι ο πρώτος λόγος είναι πιο πιθανός.

LSD στο ρεύμα δεδομένων;

Γνώμη

Η νέα πληθώρα συνθετικών εικόνων, που μπορεί να παρουσιάσει άμεσες συνδέσεις και αφηρημένες έννοιες που δεν υπάρχουν στη φύση, και που θα ήταν απίστευτα χρονοβόρες να παραχθούν με συμβατικά μέσα, μπορεί να παρουσιάσει ένα ιδιαίτερο πρόβλημα για τα συστήματα弱ης εποπτείας, τα οποία μπορεί να μην είναι σε θέση να αποτυγχάνουν με ευγένεια – κυρίως επειδή δεν σχεδιάστηκαν για να χειρίζονται μεγάλους όγκους, μη ετικετεμένων συνθετικών δεδομένων.

Σε τέτοιες περιπτώσεις, μπορεί να υπάρχει κίνδυνος ότι αυτά τα συστήματα θα συλλέξουν ένα ποσοστό ‘παράξενων’ συνθετικών εικόνων σε λανθασμένες κατηγορίες, απλώς και μόνο επειδή οι εικόνες περιέχουν ξεχωριστά αντικείμενα που δεν ανήκουν πραγματικά μαζί.

‘Αστροναύτης που καβαλάει ένα άλογο’ έχει vielleicht γίνει το πιο εμβληματικό οπτικό για τη νέα γενιά συστημάτων συνθέσεως εικόνων – αλλά αυτές οι ‘μη πραγματικές’ σχέσεις θα μπορούσαν να εισέλθουν σε πραγματικά συστήματα ανίχνευσης, εκτός αν ληφθούν προφυλάξεις. Πηγή: https://twitter.com/openai/status/1511714545529614338?lang=en

Εάν αυτό δεν μπορεί να αποτραπεί στο στάδιο της προεπεξεργασίας πριν από την εκπαίδευση, αυτά τα αυτόματα pipelines θα μπορούσαν να οδηγήσουν σε απίστευτες ή ακόμη και απαίσια συνδέσεις που θα εκπαιδεύονταν στα μοντέλα της μηχανικής μάθησης, μειώνοντας την αποτελεσματικότητά τους και κινδυνεύοντας να μεταφέρουν υψηλού επιπέδου συνδέσεις σε κατωτέρω συστήματα και υποκατηγορίες.

Εναλλακτικά, οι διασυνδεδεμένες συνθετικές εικόνες θα μπορούσαν να έχουν ένα ‘ψυχρό’ αποτέλεσμα στην ακρίβεια των μεταγενέστερων συστημάτων, στην περίπτωση που νέες ή τροποποιημένες αρχιτεκτονικές θα εμφανιστούν που θα προσπαθούν να λάβουν υπόψη τις ‘ad hoc’ συνθετικές εικόνες και θα ρίχνουν ένα πολύ široκό δίκτυο.

Σε κάθε περίπτωση, οι συνθετικές εικόνες στην εποχή μετά το Stable Diffusion θα μπορούσαν να αποδειχθούν ένα πρόβλημα για τον τομέα της υπολογιστικής όρασης, του οποίου οι προσπάθειες έφεραν αυτές τις περίεργες δημιουργίες και ικανότητες – όχι τουλάχιστον επειδή απειλούν την ελπίδα ότι η συλλογή και η διοργάνωση των δεδομένων θα μπορούσε τελικά να γίνει πολύ πιο αυτόματη και φθηνή από ό,τι είναι σήμερα.

Πρώτη δημοσίευση 1ης Σεπτεμβρίου 2022.