Τα Συστήματα Όρασης του AI Συχνά Δεν “Βλέπουν” Πραγματικά

Τα συστήματα όρασης του AI μπορεί να εξηγούν εικόνες με στερεότυπα αντί για αυτό που πραγματικά βλέπουν. Αφαιρέστε το λεζάντα και οι υποτιθέμενες οπτικές εξηγήσεις τους καταρρέουν.

Από τη στιγμή που οι πλωτές πλατφόρμες του AI χάνουν συνεχώς χρήματα με την ελπίδα ενός ορίζοντα γεγονότων του AI, οι μικρές οικονομίες στις προμήθειες και τις υπηρεσίες τους ισοδυναμούν με τεράστια αποταμίευση: για παράδειγμα, κάθε φορά που ένα LLM μπορεί να παρέχει μια απάντηση από τη δική του εκπαιδευμένη матриça αντί να κάνει μια RAG-βασισμένη διαδρομή στο διαδίκτυο για να λάβει τρέχουσα πληροφορία που θα χρειαστεί να εξαγνιστεί και να βελτιωθεί, απαντά πιο γρήγορα και εξοικονομεί χρήματα στον παρόχο.

Βέβαια, είναι πιο πιθανό να οραματίζεται, χωρίς να ξοδεύει επιπλέον token και ενέργεια για την контекουαλιζάρισή του και τον έλεγχο των υποθέσεών του.

Ομοίως, ακόμη και όταν ένα LLM φτάσει στο διαδίκτυο, θα評価 συχνά αόριστες, ανάρμοστες ή ακόμη και άσχετες και μη σχετικές URLs, επειδή εξοικονομούσε ενέργεια評価 μόνο τα μεταδεδομένα για αυτές τις σελίδες, αντί να τις διαβάσει πραγματικά.

Αν ανεβάσετε ένα PDF σε ένα LLM και θέλετε να συζητήσετε το περιεχόμενό του, το LLM μπορεί τελικά να διαγράψει το περιεχόμενο του PDF από τη μνήμη του και να χρησιμοποιήσει μόνο σπάνια μεταδεδομένα γι’ αυτό, χωρίς να δηλώσει ότι πρέπει να το ανεβάσετε ξανά – οδηγώντας σε λάθη, λανθασμένες υποθέσεις και ακόμη περισσότερες οραματισμούς.

Βιομηχανικές Δοκιμές

Αυτές είναι πρακτικές, αν και όχι εντελώς ειλικρινείς οικονομίες που επιβάλλονται στον χρήστη για επιχειρηματικούς λόγους. Στο αντίστροφο κόσμο της συλλογής δεδομένων και της εκπαίδευσης μοντέλων, όπου εκατομμύρια – ακόμη και εκατοντάδες εκατομμύρια – εικόνες πρέπει να επεξεργαστούν εν masse και δεν μπορούν να αναλυθούν χειροκίνητα από ανθρώπους, η πίεση για ελαχιστοποίηση της ενέργειας και του χρόνου είναι εξίσου έντονη.

Ένα τέτοιο “συντόμευμα” είναι η χρήση ενός μεσολαβικού Μοντέλου Γλώσσας Όρασης όπως το Contrastive Language Image Pretraining (CLIP), το οποίο χαρτογραφεί και τις εικόνες και τον κείμενο σε ένα κοινό σημασιολογικό χώρο, ώστε οι οπτικές έννοιες να μπορούν να συγκριθούν χρησιμοποιώντας γλώσσα, αντί για ρητές ετικέτες.

Τι σημαίνει αυτό; Νόμιζε ότι ένα παιδί μαθαίνει από εκατομμύρια εικόνες με λεζάντες μέχρι να αναπτύξει μια unge sense of ποια εικόνες και λέξεις φυσικά πηγαίνουν μαζί.

Το πρόβλημα είναι ότι οι λεζάντες συχνά γράφονται από ιδιοκτήτες ιστοσελίδων και άλλους αυτοεξυπηρετούμενους οντότητες που ήταν περισσότερο ενδιαφερόμενοι για καλό SEO παρά για καλές ετικέτες, οδηγώντας σε πολλή “θόρυβο” ή ανακριβείς ετικέτες.

Ωστόσο, η κλίμακα στην οποία μια έννοια και μια σχετική λέξη επαναλαμβάνονται σε τεράστιους συνόλους δεδομένων συνήθως σημαίνει ότι οι βασικές λέξεις θα συνδεθούν με την σωστή εικόνα,既然 το μικρότερο αριθμό “ανοησιών” ετικετών θα αναγκάζεται συνήθως σε μια εξόριστη γκέτο και δεν θα αποκτήσει σύνδεση με την εικόνα. Έτσι, λειτουργεί σχεδόν πάντα.

Η ετικέτα δεδομένων γίνεται με αυτόν τον τρόπο επειδή είναι φθηνή και ελάχιστα λειτουργική, όχι επειδή είναι καλό.

Εξω-Ετικέτα

Σε αυτήν την προβληματική κατάσταση έρχεται μια νέα εργασία από το Carnegie Mellon, που εικονογραφεί σαφώς ότι πολλές λεζάντες που έχουν ανατεθεί σε εικόνες – για παράδειγμα από το CLIP – είναι απλώς στερεότυπα που βασίζονται στην αναφορά της ετικέτας της εικόνας (κείμενο-βασισμένης) αντί να βλέπουν ενεργά την εικόνα selbst.

Σε ένα εντυπωσιακό παράδειγμα από το έγγραφο, το CLIP είναι ζευγαρωμένο με περιγραφείς που παράγονται από το όνομα κλάσης ImageNet strawberry, και στη συνέχεια δοκιμάζεται στο ImageNet-Sketch, όπου κάθε φράουλα είναι μια μαύρη και λευκή ζωγραφική – ωστόσο, οι περιγραφείς vẫn επιμένουν ότι το φρούτο είναι ‘κόκκινο’ και ‘ωριμάζω’:

Οι περιγραφείς του ονόματος κλάσης αποτυγχάνουν στο ImageNet-Sketch: οι γλωσσικές προτεραιότητες λένε ‘κόκκινο’ και ‘ωριμάζω’, ενώ οι εικόνα-εστιασμένες ιδιότητες ταιριάζουν με τη μαύρη και λευκή ζωγραφική. Πηγή

Εδώ, το CLIP είναι ζευγαρωμένο με περιγραφείς που παράγονται μόνο από το όνομα κλάσης strawberry, μέσω GPT-3 ή εξωτερικής γνώσης. Αυτά δεν βλέπουν την εικόνα, οπότε προεπιλέγουν κανονικές ιδιότητες όπως κόκκινο και φυλλώδες. Όταν εφαρμόζονται στις μονοχρωματικές γραμμικές εικονογραφίες στο ImageNet-Sketch, η διαδικασία αποτυγχάνει.

Αντίθετα, οι ιδιότητες που προέρχονται από τις εικόνες selbst επιλέγουν χαρακτηριστικά που παραμένουν αληθινά υπό την αλλαγή, όπως τετράγωνο ή καρδιοσχηματισμένο.

Έτσι, μπορούμε να δούμε ότι το αντικείμενο που αναγνωρίζεται διαφημίζεται όχι για αυτό που είναι, αλλά, όπως θα λέγαμε, ‘με φήμη’; τα επιθέματα ‘κόκκινο’ και ‘φυλλώδες’ είναι ακριβή για το υποτομέα strawberry, αλλά υπερβαίνουν τα όρια της εικόνας (παράδειγμα) που εξετάζεται.

Οι συγγραφείς της νέας εργασίας – με τίτλο Οι ιδιότητες πρέπει να προέρχονται από εικόνες, όχι από ονόματα κλάσεων: Distribution-Conditioned Attribute Selection για Μοντέλα Όρασης-Γλώσσας – επιχειρηματολογούν ότι αυτό είναι ένα μόνιμο και ευρύ πρόβλημα, και προτείνουν την επιλογή ιδιοτήτων直接 από τις εικόνες selbst, ώστε να αντανακλούν τι είναι πραγματικά ορατό υπό αλλαγή κατανομής, αντί να βασίζονται σε προτεραιότητες ονόματος κλάσης.

Οι συγγραφείς δηλώνουν:

‘Μια δημοφιλής οδός για ερμηνεύσιμη ταξινόμηση μηδενικού πυροβολισμού ζητά από ένα μεγάλο μοντέλο γλώσσας (LLM) να περιγράψει κάθε όνομα κλάσης και να προτρέπει το CLIP με τους αντίστοιχους περιγραφείς. Αποδεικνύουμε ότι αυτοί οι περιγραφείς φέρουν λίγη οπτική απόδειξη για τους ίδιους: η αφαίρεση του ονόματος κλάσης από την προτροπή καταρρέει την ακρίβεια του ImageNet από 59,5% σε 15,5%.

‘Η διάγνωση είναι ότι οι περιγραφείς προέρχονται από το όνομα κλάσης και όχι από τις εικόνες, οπότε περιγράφουν την έννοια γενικά και εξαπατούν ακριβώς όταν τα δεδομένα αλλάζουν: ένα LLM επιμένει ότι οι φράουλες είναι κόκκινες, αλλά κάθε φράουλα στο ImageNet-Sketch είναι μια αχρωμάτιστη γραμμική ζωγραφική.

‘Επομένως, επιλέγουμε ιδιότητες από τη στόχευση εικόνας αντί: σκοράρουμε μια μεγάλη πηγή ιδιοτήτων εναντίον των εικόνων στο κοινό ενσωματωμένο χώρο του CLIP και διατηρούμε μόνο τις ιδιότητες που ταιριάζουν πραγματικά με τις εικόνες.’

Η προτεινόμενη λύση τους είναι ότι το μοντέλο παραμένει το ίδιο, αλλά αντί να βασίζεται σε περιγραφείς ονόματος κλάσης, ελέγχει μια πηγή υποψήφιων ιδιοτήτων εναντίον των εικόνων και διατηρεί μόνο αυτές που πραγματικά ταιριάζουν με ό,τι είναι ορατό.

Το κόστος αυτού είναι επιβεβλημένο,既然 δεν προτείνει να επανακαλέσει την αποθηκευμένη ενέργεια των “απατηλών” μεθόδων που οδήγησαν στο ζήτημα από την αρχή. Αντίθετα, προσθέτει μια διαδικασία σκοραρίσματος πάνω από υποψήφιες ιδιότητες ανά κλάση, ώστε η καθυστέρηση να αυξάνεται ελαφρώς – αλλά πολύ λιγότερο από την επανεκπαίδευση ή πλήρεις διαδικασίες RAG-στυλ. Θεωρητικά, το κόστος ενέργειας θα ήταν αποδεκτό, ζυγιζόμενο ενάντια στη βελτίωση της ευθυγράμμισης.

Μέθοδος

Από τη στιγμή που η μεθοδολογία των πειραμάτων των συγγραφέων είναι ιδιαίτερα ακαδημαϊκές, και από τη στιγμή που ελάχιστη πρόσθετη χρήσιμη εικόνα θα κερδιζόταν εξετάζοντας τις σε βάθος, θα εξετάσουμε, αντίθετα, μια συντομευμένη επισκόπηση της προσέγγισής τους.

Η εργασία χαρακτηρίζει το κεντρικό ζήτημα ως Συγχύση Ονόματος Κλάσης: μια κατάσταση όπου η απόδοση φαίνεται να προέρχεται από σημαντικές περιγραφείς, αλλά στην πραγματικότητα εξαρτάται από το όνομα κλάσης selbst, με τις περιγραφείς να προσθέτουν λίγο – και να αποτυγχάνουν ngay μόλις αυτή η υποστήριξη αφαιρεθεί

Το έγγραφο τότε επιχειρηματολογεί ότι αυτή η αποτυχία είναι αναπόφευκτη,既然 οι περιγραφείς που παράγονται από ένα όνομα κλάσης μπορούν να περιγράψουν μόνο τι μια вещ nhìn 通常 μοιάζει, αντί για τι είναι πραγματικά παρόν σε μια συγκεκριμένη εικόνα. Όταν τα δεδομένα απομακρύνονται από αυτές τις προσδοκίες, οι περιγραφείς γίνονται όχι μόνο ανύποφτες αλλά και ενεργά παραπλανητικοί, ψηφίζοντας ουσιαστικά ενάντια στην σωστή απάντηση.

Οι ερευνητές επίσης εξέτασαν αν το CLIP μπορεί να ήταν απλώς κακό στο να ανιχνεύσει ιδιότητες χωρίς τη βοήθεια ετικετών κλάσης, ή αν οι περιγραφείς που παράγονται από το GPT ήταν πολύ γενικοί για να είναι χρήσιμοι. Ωστόσο, τα επόμενα πειράματά τους θα αντικρούσουν και τις δύο εξηγήσεις.

Για να αντιμετωπίσουν αυτό το ζήτημα, ένα παγωμένο μοντέλο CLIP χρησιμοποιήθηκε για να συγκρίνει εικόνες με μια μεγάλη πηγή υποψήφιων περιγραφέων που προέρχονται από VAW, LSA και GPT-3 outputs, διατηρώντας μόνο τις ιδιότητες που ταιριάζουν καλύτερα με τις εικόνες, χωρίς να απαιτείται καμία επανεκπαίδευση ή πρόσθετη εικόνα-κείμενο επιτήρηση:

Μια επισκόπηση του προτεινόμενου συστήματος: ένα παγωμένο μοντέλο CLIP κωδικοποιεί και τις εικόνες και μια μεγάλη πηγή υποψήφιων περιγραφέων, χρησιμοποιώντας ομοιότητα cosine για να μετρήσει πόσο ισχυρά κάθε περιγραφέας ταιριάζει με το οπτικό περιεχόμενο. Οι περιγραφείς με τα υψηλότερα σκορ διατηρούνται ανά κλάση, παράγοντας ένα ερμηνεύσιμο σύνολο προτρήσεων ενώ διατηρούνται και οι εικόνα και οι κωδικοποιητές κειμένου σταθεροί καθ’ όλη τη διάρκεια της διαδικασίας.

Δεδομένα και Δοκιμές

Τα πειράματα των συγγραφέων χρησιμοποιούν το CLIP με ένα ResNet-50 πλάτη και αξιολογούν την απόδοση στο ImageNet μαζί με τέσσερις μετατοπισμένες παραλλαγές: ImageNetV2; ImageNet-Sketch; ImageNet-A; και ImageNet-R.

Οι ιδιότητες επιλέχθηκαν χρησιμοποιώντας μόνο τις αρχικές εικόνες εκπαίδευσης του ImageNet – επιτρέποντας τις μετατοπισμένες βάσεις δεδομένων να χρησιμεύσουν ως εξω-κατανομή δοκιμής για να δούμε αν οι ιδιότητες που προέρχονται από εικόνες παραμένουν χρήσιμες όταν οι οπτικές εμφανίσεις αλλάζουν:

Ακρίβεια ταξινόμησης Top-1 σε ImageNet και τέσσερις μετατοπισμένες βάσεις δεδομένων. Τα αποτελέσματα δείχνουν ότι η απόδοση παραμένει γενικά παρόμοια όταν τα ονόματα κλάσης περιλαμβάνονται στις προτροπές, αλλά καταρρέει όταν οι περιγραφείς αναγκάζονται να σταθούν μόνοι τους, υποδεικνύοντας ότι μεγάλο μέρος της φαινομενικής αποτελεσματικότητάς τους προέρχεται από το όνομα κλάσης selbst. Αντίθετα, οι ιδιότητες που επιλέγονται直接 από τις εικόνες παραμένουν σημαντικά πιο ενημερωτικές σε όλες τις βάσεις δεδομένων που δοκιμάστηκαν.

Η επαναεπιλογή ιδιοτήτων από την ίδια πηγή GPT, αλλά υπό την επιρροή εικόνων του ImageNet, ανέβασε την ακρίβεια χωρίς όνομα κλάσης από 15,5% σε 19,4%.既然 το μοντέλο, η πηγή ιδιοτήτων και το πρωτόκολλο αξιολόγησης παρέμειναν αμετάβλητα, η κέρδη μπορούσαν να αποδοθούν εξ ολοκλήρου στην επιλογή που βασίζεται σε εικόνες.

Το αποτέλεσμα επίσης δείχνει ότι το CLIP μπορεί να αναγνωρίσει ιδιότητες χωρίς ετικέτες κλάσης, και ότι η πηγή GPT περιέχει ήδη χρήσιμους περιγραφείς. Η κύρια αποτυχία φαίνεται να βρίσκεται στη γενετική υπό όνομα κλάσης, η οποία συχνά αποτυγχάνει να αποκαλύψει τις ιδιότητες που είναι πιο σχετικές με τις εικόνες selbst.

Αν και οι συγγραφείς συνεχίζουν με μια σειρά εκτεταμένων επιπλέον πειραμάτων, πρέπει να αναφερθούμε τον αναγνώστη στο αρχικό υλικό για περαιτέρω λεπτομέρειες αυτών,既然 δεν επεκτείνουν το πεδίο των αποτελεσμάτων, αλλά επιβεβαιώνουν μόνο τις κεντρικές υποθέσεις που περιγράφηκαν μέχρι τώρα – ότι η εξάρτηση από ετικέτες μπορεί να υπονομεύσει το πραγματικό οπτικό δεδομένο σε σύγχρονες εφαρμογές όρασης υπολογιστή, με φθηνή εξάρτηση από “ρεπुटασιακή” πιθανότητα να είναι κίνδυνος για την ακρίβεια των αποτελεσμάτων.

Συμπέρασμα

Είναι ενδιαφέρον να σκεφτούμε το χρέος που οφείλει το σύγχρονο γεννητικό AI στα εκατομμύρια χειρογραφικά περιγραφημένων εικόνων που καταναλώθηκαν σε τεράστιες τράπεζες δεδομένων όπως το Common Crawl, στην αρχή της εποχής της υπερκλίμακας.

Κάθε φορά που ένα σύστημα αναγνώρισης εικόνων ή αυτο-ετικέτας προσπαθεί να ταξινομήσει ή να επανα-ετικετάσει μια παλιά ή νέα εικόνα, η προέλευση αυτής της γνώσης οδηγεί πίσω σε κάποιον που έγραψε ‘Ζεστό περιοδικό της δεκαετίας του ’70!’ στη λεζάντα alt μιας λίστας στο eBay το 2004, ή κάτι παρόμοιο.

Αν και πολλοί πιστεύουν ότι η χρυσή εποχή της πλημμύρας κλειδιών λήγει με τον πιο εξελιγμένο αλγόριθμο PageRank της Google σχεδόν τρεις δεκαετίες πριν, η τοιχογραφία κειμένου, ας ελπίσουμε ότι κάτι θα κολλήσει προσέγγιση παραμένει πολύ ζωντανή: χθες, στην κορυφή του HTML της σελίδας εκκίνησης του μοντέλου Qwen-Image-3.0, ήταν μια παλιά έκρηξη τρέλας κλειδιών (μπορεί να είναι ακόμη εκεί!):

Ο κώδικας HTML για την εκκίνηση του Qwen Image 3 είναι ένα τοίχωμα κειμένου που δεν είναι εντελώς ασφαλές, τουλάχιστον, την ώρα της γραφής. Πηγή

Είτε αυτό το χείμαρρο κλειδιών στο HTML της σελίδας Qwen Image 3 είναι συστηματικά_drawn από λίστες-στόχων ή χειρογραφημένο από ειδικούς SEO, αυτό είναι ένα πρώτο παράδειγμα των ριζών του σύγχρονου γεννητικού AI, με τη σημασία να μεταφέρει συχνά ένα τεράστιο φορτίο αυτοεξυπηρέτησης που θα πρέπει να αφαιρεθεί ή να ληφθεί υπόψη με κάποιον τρόπο, όταν τέτοιες όροι παρεμβαίνουν ή εμποδίζουν ρητές συστήματα και εφαρμογές.

Πρώτη δημοσίευση Τετάρτη, 22 Ιουλίου 2026