Η Αλλαγή Χρωμάτων Γραμματοσειράς Μπορεί Να Καταλάβει τη Λογική της ΤΝ

Μια νέα μελέτη διαπιστώνει ότι η συνηθισμένη μορφοποίηση μπορεί αθόρυβα να κατευθύνει τη λογική της ΤΝ, προκαλώντας την να παραβλέπει λέξεις, να ερμηνεύει λανθασμένα το νόημα και να φτάνει σε διαφορετικά συμπεράσματα – χωρίς να αλλάζει το κείμενο.

Η πολιτιστική κωδικοποίηση του χρώματος από τους ανθρώπους μπορεί να διαφέρει παγκοσμίως, αλλά οι δυτικές αντιλήψεις – δηλαδή το κόκκινο για «κίνδυνο», το πράσινο για «εντάξει» – τείνουν να κυριαρχούν ακόμη και σε Ασιατικά Μοντέλα Όρασης‑Γλώσσας (VLMs), για διάφορους στρατηγικούς και/ή τυχαίους λόγους.

Δεν διαφέρουμε· η χρωματισμός των «κακών» πραγμάτων με θετικά χρώματα και των «καλών» με αρνητικά χρώματα, κάνει τους ανθρώπους να αντιδρούν διαφορετικά σε αυτά. Το ίδιο ισχύει και για την αλλαγή της φωτεινότητας και της αντίθεσης.

Μια νέα ερευνητική συνεργασία διερεύνησε το βαθμό στον οποίο αυτό ισχύει και για μοντέλα ΤΝ, αποκαλύπτοντας προκαταρκτικές ενδείξεις ότι τα VLMs μπορούν να επηρεαστούν με τη διαχείριση του χρώματος του κειμένου, καθώς και με την αλλαγή της σχετικής αντίθεσης και φωτεινότητας.

«Τα πειράματά μας παρέχουν μια συστηματική ανάλυση του πώς η χαμηλού επιπέδου οπτική μορφοποίηση του κειμένου παραμορφώνει τις σημασιολογικές αναπαραστάσεις μέσα στον κωδικοποιητή όρασης ενός VLM. Επιπλέον, εξετάζουμε πώς αυτές οι μετατοπίσεις του λανθάνοντος χώρου εκδηλώνονται ως αλλαγές στη συμπεριφορά των end-to-end VLMs σε τόσο υποκειμενικές (ανάλυση συναισθήματος) όσο και αντικειμενικές (απαντήσεις σε ερωτήσεις) εργασίες.

«Αυτά τα αποτελέσματα δείχνουν ότι η οπτική μορφοποίηση αποκαλύπτει μια κρίσιμη, προηγουμένως ανεξερεύνητη ευπάθεια στα VLMs, και συζητάμε τις συνέπειές της για την ανθεκτικότητα και την ασφάλεια των αλυσίδων VLM.»

Από την ιστοσελίδα του νέου έργου, μια εικονογράφηση του πώς το μόνο χρώμα του κειμένου μπορεί να αλλάξει την εσωτερική ερμηνεία μιας λέξης από την ΤΝ. Το παράδειγμα δείχνει τη λέξη «bad» να αποτυπώνεται σε διαφορετικά χρώματα, με το πράσινο να μετατοπίζει την σημασιολογική της αναπαράσταση προς μια πιο θετική ερμηνεία, παρά το ότι το κείμενο παραμένει αμετάβλητο.Source

Χρωματίστε με Έκπληξη

Αυτή τη στιγμή, για τα δισεκατομμύρια επιχειρήσεων και ατόμων των οποίων η ζωτική κίνηση αναζητήσεων έχει μειωθεί βίαια από την εμφάνιση των AI περιλήψεων στα αποτελέσματα αναζήτησης, καθώς και από τη μετάβαση σε LLM ως προφήτη αναζήτησης, οι επιφάνειες επίθεσης αυτού του είδους είναι επί του παρόντος πολύ ελκυστικές.

Δεδομένου ότι η συνεχής φλόγα ανθρώπινων συζητήσεων στο Reddit είναι ζωτικής σημασίας για τη διατήρηση της γνώσης της ΤΝ ενημερωμένης, αυτή η πλατφόρμα κοινωνικής δικτύωσης έχει γίνει κύριος στόχος για επιχειρήσεις και άτομα που θέλουν να συμπεριληφθούν στη γνώση των LLMs· έχουν ήδη εμφανιστεί οδηγίες για το «παιχνίδι» με το Reddit ως μεσολαβητική μέθοδο επιρροής των LLMs.

Σε παρόμοιο πνεύμα, υπάρχει η παλιά τεχνική της ένταξης κειμένου που βλέπουν μόνο οι μηχανές, ώστε να περάσετε κρυφές, αυτοσυμβατικές οδηγίες σε ένα LLM, για να κερδίσετε ένα ακαδημαϊκό τουρνουά ή να επηρεάσετε τα αποτελέσματα εξετάσεων.

Πρόσφατα, το περιοδικό Time άρχισε να τοποθετεί διαφημίσεις σε μια «μυστική» έκδοση του ιστότοπού του που είναι ορατή μόνο στους ανιχνευτές ιστού AI που σαρώνουν συνεχώς τις ιστοσελίδες για νέα δεδομένα, επιτρέποντας έτσι στους διαφημιστές να αγοράσουν μεγαλύτερη προβολή (ή πιο θετική ερμηνεία) στις απαντήσεις της AI.

Ως εκ τούτου, οποιαδήποτε νέα αδυναμία των LLM/VLM, όπως οι χρωματικά κωδικοποιημένες απαντήσεις που μπορούν να «εναλλάσσονται» για να χειραγωγήσουν τα αποτελέσματα, αποτελεί προφανή στόχο για έναν κόσμο που προσπαθεί απεγνωσμένα να επανακτήσει τον έλεγχο της αφηγήσεως των μέσων από την πρωτοποριακή AI.

Για παράδειγμα, μια εταιρεία που επιδιώκει να κατασκευάσει ένα ρυπογόνο εργοστάσιο, πιθανώς να μειώσει την ποιότητα του τοπικού νερού, θα μπορούσε να προσθέσει χρωματική κωδικοποίηση στο λεξικό της προπαγάνδας, σε υλικά μάρκετινγκ ή δελτία τύπου, ως πρόσθετη απόκρυψη ειδήσεων που οι περισσότεροι θα θεωρούσαν «αρνητικές».

Η στρατηγική χρήση CSS και/ή τεχνικών SEO θα μπορούσε ακόμη και να κρύψει τις χρωματικές παρεμβάσεις από τυχαίους ανθρώπινους αναγνώστες, παρέχοντας μόνο-για‑AI φύλλα στυλ που επιβάλλουν χρωματικές εντονότητες στο κείμενο που κρύβονται από τους ανθρώπους, οι οποίοι θα βλέπουν μόνο μαύρο κείμενο.

Οι συγγραφείς του νέου έργου δηλώνουν:

«Αυτές οι ευαισθησίες υποδηλώνουν κίνδυνο αξιοπιστίας και ασφάλειας για τις αλυσίδες VLM που επεξεργάζονται έγγραφα ή στιγμιότυπα UI: η αθώα ή εχθρική μορφοποίηση μπορεί να κατευθύνει τις αποφάσεις του μοντέλου χωρίς να αλλάζει το υποκείμενο κείμενο.»

«Πρακτικά μέτρα ασφαλείας περιλαμβάνουν την κανονικοποίηση του αποδιδόμενου κειμένου πριν από την επαγωγή, τον έλεγχο των απαντήσεων βάσει εικόνας με κείμενο εξαγόμενο από OCR, και την προσθήκη ελέγχων αμεταβλητότητας του στυλ στα σύνολα αξιολόγησης.»

Το νέο έργο έχει τίτλο Seeing Red, Thinking Bad: Color Bias in Vision Language Models, και προέρχεται από πέντε ερευνητές από το Εθνικό Ινστιτούτο Προηγμένης Βιομηχανικής Επιστήμης και Τεχνολογίας της Ιαπωνίας (AIST), το Πανεπιστήμιο Tsukuba, το Πανεπιστήμιο Τεχνολογίας Νυρεμβέργης και το Πανεπιστήμιο του Όξφορντ. Η πρωτοβουλία συνοδεύεται από αποθετήριο GitHub και ιστοσελίδα έργου.

Μέθοδος

Για να διαπιστωθεί πόσο η μόνο η οπτική παρουσίαση μπορεί να επηρεάσει τα μοντέλα, οι ερευνητές ανέπτυξαν τα «Stealth Visual Prompts» – αλλαγές στη μορφοποίηση του κειμένου που φαίνονται συνηθισμένες, χωρίς να περιέχουν ρητή οδηγία προς την ΤΝ.

Αυτό θα μπορούσε να είναι τόσο απλό όσο η αλλαγή του χρώματος θετικών ή αρνητικών λέξεων, ή η ανάδειξη μιας λανθασμένης απάντησης ώστε να ξεχωρίζει πιο καθαρά από τη σωστή, ενώ η ίδια η διατύπωση παραμένει αμετάβλητη.

Δημιουργήθηκε διαφορετικό κείμενο για κάθε εργασία, με τις δοκιμές συναισθήματος να χρησιμοποιούν ουδέτερα πρότυπα γεμάτα θετικές και αρνητικές λέξεις, ενώ οι δοκιμές Visual Question Answering (VQA) αντλήθηκαν από ζεύγη ερώτησης‑πλαισίου από το SQuAD:

Παραδείγματα ερωτήσεων για μηχανές από το σύνολο δεδομένων SQuAD που χρησιμοποιήθηκαν στο νέο έργο. Source

Η προκύπτουσα επιμελημένη συλλογή ονομάστηκε VQA Stealth Set.

Το κείμενο αποδόθηκε σε καμβά 800x600px με τυποποιημένη διάταξη, ώστε να αλλάζει μόνο η στοχευμένη οπτική μορφοποίηση. Το χρώμα και η αντίθεση χειρίστηκαν ανεξάρτητα, με τη δοκιμή χρώματος να εξετάζει τις μάθειες σημασιολογικές συσχετίσεις, και τη δοκιμή αντίθεσης τη οπτική σαφήνεια.

Επιλεγμένες λέξεις επαναχρωματίστηκαν, και ολόκληρα αποσπάσματα αποδόθηκαν με χαμηλότερη αντίθεση· ή, στη ρύθμιση Saliency Competition, οι λανθασμένες απαντήσεις έγιναν οπτικά πιο έντονες από τις σωστές.

Οποιαδήποτε αλλαγή στις αποκρίσεις του μοντέλου θα μπορούσε επομένως να αποδοθεί αποκλειστικά στη οπτική μορφοποίηση και όχι σε αλλαγές του υποκείμενου κειμένου.

Δεδομένα και Δοκιμές

Δημιουργήθηκαν τρία διαφορετικά σύνολα δοκιμών για να αντιπροσωπεύσουν διαφορετικούς τρόπους με τους οποίους τα VLMs επεξεργάζονται κείμενο που παρουσιάζεται ως εικόνες:

Εικονογράφηση των τριών σχεδίων οπτικών δοκιμών. Τα παραδείγματα δείχνουν τα ερεθίσματα που χρησιμοποιήθηκαν για να ελεγχθεί εάν η μόνο η οπτική παρουσίαση μπορεί να επηρεάσει τη λογική του μοντέλου: (α) κείμενο μεικτής συναισθηματικότητας με επιλεγμένες λέξεις επαναχρωματισμένες για δοκιμή χρωματικής προκατάληψης· (β) μεγαλύτερο απόσπασμα που χωρίζει θετική και αρνητική γλώσσα για αξιολόγηση εάν η δομή του εγγράφου αλλάζει το αποτέλεσμα· και (γ), παράδειγμα Visual Question Answering όπου μια λανθασμένη αλλά σημασιολογικά παρόμοια απάντηση-παραπλάνηση («είκοσι μίλια») γίνεται πιο οπτικά έντονη μέσω υψηλότερης αντίθεσης. Source

Το Short‑sentence Sentiment Set δοκιμάζει τη χρωματική προκατάληψη σε επίπεδο λέξης χρησιμοποιώντας 100 σύντομες προτάσεις που δημιουργήθηκαν από ουδέτερα πρότυπα με θετικές ή αρνητικές λέξεις. Κάθε πρόταση αποδόθηκε σε 37 οπτικές εκδοχές, περιλαμβάνοντας μια βάση μαύρου κειμένου συν συνδυασμούς έξι χρωμάτων (κόκκινο, πράσινο, μπλε, κίτρινο, κυανό και ματζέντα), σε τρία επίπεδα έντασης.

Το Long‑sentence Sentiment Set χρησιμοποίησε μεγαλύτερα αποσπάσματα, στα οποία η θετική και η αρνητική γλώσσα χωρίστηκαν σε διαφορετικά τμήματα του κειμένου. Αυτό είχε ως στόχο να προσδιορίσει εάν η ευρύτερη δομή του εγγράφου και τα θέσης‑βασισμένα φαινόμενα, όπως η προτεραιότητα ή η πρόσφατη ανάκληση (προκαταλήψεις βάσει θέσης, όπου οι πληροφορίες που εμφανίζονται νωρίτερα ή αργότερα σε ένα έγγραφο μπορούν να λάβουν μεγαλύτερο βάρος), θα υπερισχύσουν οποιασδήποτε χρωματικής προκατάληψης. Εφαρμόστηκαν οι ίδιες 37 συνθήκες χρώματος.

Στο VQA Stealth Set, οι ερωτήσεις και το σχετικό τους πλαίσιο αποδόθηκαν ως εικόνες, μετά από τις οποίες δοκιμάστηκαν δύο συνθήκες βασισμένες στην αντίθεση: στην Global Contrast, η αναγνωσιμότητα ολόκληρου του εγγράφου μειώθηκε αποδίδοντάς το σε σταδιακά χαμηλότερα επίπεδα αντίθεσης· και στην Saliency Competition, είτε η σωστή απάντηση είτε μια σημασιολογικά παρόμοια λέξη‑παραπλάνηση (επιλεγμένη με χρήση ομοιότητας CLIP) αποδόθηκε με υψηλή αντίθεση, ενώ το υπόλοιπο κείμενο εξασθενήθηκε – επιτρέποντας στην οπτική έμφαση να ανταγωνίζεται τα αποδεικτικά στοιχεία στο κείμενο.

Μετρικές

Κάθε παράδειγμα ταξινομήθηκε ως ΘΕΤΙΚΟ, ΟΥΤΙΣΤΙΚΟ ή ΑΡΝΗΤΙΚΟ. Οι προκύπτουσες ταξινομήσεις συγκρίθηκαν με μια βάση ολοκληρωμένου μαύρου (μαύρο κείμενο σε λευκό φόντο) για να προσδιοριστεί το μέγεθος με το οποίο το μόνο χρώμα μετατόπισε τις προβλέψεις προς πιο θετικά ή πιο αρνητικά αποτελέσματα.

Τα πειράματα VQA αξιολογήθηκαν μέσω του μετρικού F1 σε επίπεδο διακριτών (token), όπου οι προβλεπόμενες απαντήσεις συγκρίθηκαν με τις αποδεκτές απαντήσεις‑αλήθεια.

Ο Δείκτης Επαγωγικού Σφάλματος (IER), ένα νέο μέτρο, εισήχθη ειδικά για τη δοκιμή Saliency Competition, και αποσκοπούσε στη μέτρηση του πόσο συχνά μια οπτικά επισημασμένη απάντηση‑παραπλάνηση επιλέγεται (αντί για τη σωστή απάντηση), όταν η ορατότητα του κειμένου μειώνεται.

Επιπλέον, χρησιμοποιήθηκε μια έρευνα αναπαράστασης CLIP για να μετρηθεί πώς οι αλλαγές στο χρώμα τροποποίησαν τη σημασιολογική αναπαράσταση μιας λέξης μέσα στο χώρο ενσωμάτωσης του CLIP.

Επιπλέον, ένας VLM‑βασισμένος διαμεσολαβητής Optical Character Recognition (OCR) χρησιμοποιήθηκε για να εκτιμηθεί πόσο αξιόπιστα μπορούν να διαβαστούν μεμονωμένες λέξεις σε σταδιακά χαμηλότερα επίπεδα αντίθεσης, επιτρέποντας την εκτίμηση του σημείου όπου το αποδιδόμενο κείμενο γίνεται ουσιαστικά αδιάβαστο.

Η αξιολόγηση πραγματοποιήθηκε χρησιμοποιώντας τέσσερα ανοιχτού κώδικα VLMs: LLaVA‑v1.6‑Mistral‑7B· LLaVA‑v1.6‑Vicuna‑7B· Qwen2‑VL‑7B‑Instruct· και IDEFICS2‑8B. Οι συγγραφείς τονίζουν ότι επιλέχθηκαν μοντέλα ανοιχτού κώδικα για να διασφαλιστεί ότι τα πειράματα μπορούν να αναπαραχθούν με σταθερά prompts, ρυθμίσεις απόδοσης και ντετερμινιστική αποκωδικοποίηση.

Αποτελέσματα

Οι συγγραφείς αρχικά αξιολόγησαν τις χρωματικές προτροπές στο Short‑Sentence Sentiment Set, αξιοποιώντας τη χρωματική προκατάληψη σε επίπεδο λέξης, όπου οι λέξεις που φέρουν συναίσθημα διασκορπίζονταν:

Αποτελέσματα δοκιμών που δείχνουν τις μεγαλύτερες μεταβολές συναισθήματος που προκλήθηκαν από τη χρωματική μορφοποίηση σε τέσσερα Vision Language Models. Οι τιμές μετριούνται σε σχέση με τη βάση ολοκληρωμένου μαύρου, με τις στήλες θετικού και αρνητικού να δείχνουν τη μεγαλύτερη κίνηση σε κάθε κατεύθυνση, ενώ η περιοχή συνοψίζει τη συνολική ευαισθησία κάθε μοντέλου στην προκατάληψη που προέρχεται από το χρώμα.

«Το Qwen2‑VL‑7B παρουσιάζει τη μεγαλύτερη θετική του προκατάληψη όταν οι θετικές λέξεις χρωματίζονται πράσινο/μπλε (μέχρι +0.42), και τη μεγαλύτερη αρνητική του προκατάληψη όταν οι αρνητικές λέξεις χρωματίζονται κόκκινο (μέχρι -0.48).»

«Η συνολική ευαισθησία διαφέρει σημαντικά ανά μοντέλο: το Qwen2‑VL‑7B παρουσιάζει το μεγαλύτερο Συνολικό Εύρος (0.90), ακολουθούμενο από το IDEFICS2‑8B (0.52), ενώ οι παραλλαγές LLaVA εμφανίζουν πολύ μικρότερα εύρη (0.04–0.12), υποδεικνύοντας συγκριτικά πιο αδύναμη ευαισθησία στη χρωματική μορφοποίηση σε επίπεδο λέξης σε αυτή τη ρύθμιση.»

«Παρατηρούμε ένα σαφές φάσμα ευαισθησίας: το Qwen2‑VL‑7B παρουσιάζει τις μεγαλύτερες μεταβολές που προέρχονται από το χρώμα, ενώ οι παραλλαγές LLaVA είναι συγκριτικά ανθεκτικές.»

Περαιτέρω αποτελέσματα παρακάτω δείχνουν ότι το χρωματικό αποτέλεσμα δεν είναι ομοιόμορφο: το Qwen2‑VL‑7B αποδείχθηκε το πιο ευαίσθητο, με το πράσινο και το μπλε κείμενο να ωθούν σταθερά το συναίσθημα προς πιο θετικές κρίσεις όταν επισημαίνονταν θετικές λέξεις, ενώ το κόκκινο κείμενο έσυρε τις προβλέψεις σε πιο αρνητική κατεύθυνση όταν επισημαίνονταν αρνητικές λέξεις:

Αποτελέσματα δοκιμών που συγκρίνουν τις μεταβολές συναισθήματος που προέρχονται από το χρώμα σε τέσσερα Vision Language Models. Τα γραφήματα δείχνουν πώς διαφορετικά χρώματα κειμένου άλλαξαν τις προβλέψεις συναισθήματος σε σχέση με τη βάση ολοκληρωμένου μαύρου, με τον κατακόρυφο άξονα να υποδεικνύει το μέγεθος και την κατεύθυνση κάθε μεταβολής. Το Qwen2‑VL‑7B εμφάνισε τη μεγαλύτερη ευαισθησία στο χρώμα, ενώ και τα δύο μοντέλα LLaVA παρέμειναν συγκριτικά σταθερά.

Η μεγαλύτερη ένταση χρώματος γενικά ενίσχυε αυτά τα φαινόμενα, όπως αναφέρει το άρθρο: το IDEFICS2‑8B παρουσίασε παρόμοιο μοτίβο, αν και σε μικρότερο βαθμό, ενώ και οι δύο παραλλαγές LLaVA παρέμειναν κοντά στη βάση τους σε περισσότερα χρώματα και εντάσεις, υποδεικνύοντας πολύ μεγαλύτερη αντίσταση στην χρωματική χειραγώγηση.

Οι ερευνητές στη συνέχεια δοκίμασαν μεγαλύτερα αποσπάσματα χωρίζοντας τη θετική και αρνητική γλώσσα σε διαφορετικά μισά του Long‑sentence Sentiment Set, επιτρέποντας τη μέτρηση της δομής του εγγράφου παράλληλα με τη χρωματική προκατάληψη. Τα πειράματα καθόρισαν εάν κάθε μοντέλο βασίζεται περισσότερο στην αρχή (πρωτοτυπία) ή στο τέλος (εγγύτητα) ενός αποσπάσματος.

Η δομή του εγγράφου συχνά υπερέβαινε τις χρωματικές ενδείξεις: το Qwen2‑VL‑7B και το LLaVA‑Mistral‑7B προτιμούσαν το δεύτερο μισό του κειμένου, ενώ το IDEFICS2‑8B και το LLaVA‑Vicuna‑7B συχνότερα βασίζονταν στο πρώτο:

Αποτελέσματα δοκιμών που δείχνουν πώς τέσσερα Vision Language Models βασίστηκαν στη θέση του εγγράφου κατά την ανάλυση μεγαλύτερων αποσπασμάτων. Η ‘Στρατηγική Θέσης’ υποδεικνύει εάν οι προβλέψεις ακολούθησαν το πρώτο μισό (πρωτοτυπία) ή το δεύτερο μισό (εγγύτητα) του κειμένου· η ‘Συμμόρφωση’ δείχνει πόσο συνεπώς ακολουθήθηκε αυτή η στρατηγική· και το ‘Εύρος Χρωματικής Προκατάληψης’ μετρά την υπόλοιπη επίδραση του χρώματος του κειμένου υπό αυτές τις δομημένες συνθήκες.

Το χρώμα εξακολουθούσε να επηρεάζει ορισμένα μοντέλα, ιδιαίτερα το IDEFICS2‑8B, αλλά γινόταν λιγότερο επιδραστικό σε δομημένο κείμενο.

Για να κατανοήσουν γιατί οι αλλαγές χρώματος θα μπορούσαν να μεταβάλλουν το συναίσθημα χωρίς να αλλάζουν τις λέξεις, οι ερευνητές εξέτασαν πώς το χρώμα επηρέαζε τις εσωτερικές οπτικές αναπαραστάσεις των μοντέλων χρησιμοποιώντας ανάλυση προβολής σημασιολογίας CLIP. Όπως φαίνεται παρακάτω, η αλλαγή της απόχρωσης μιας λέξης μετατόπιζε σταθερά τη σημασιολογική της αναπαράσταση σε πολλές εννοιολογικές διαστάσεις:

Αποτελέσματα δοκιμών που δείχνουν πώς το χρώμα του κειμένου άλλαξε την εσωτερική σημασιολογική αναπαράσταση έξι λέξεων. Τα γραφήματα παρακολουθούν τις λέξεις «warm», «cold», «safe», «dangerous», «good» και «bad» κατά τις άξονες ασφάλειας, αξίας, θερμοκρασίας και συναισθήματος, αποδεικνύοντας ότι η αλλαγή μόνο του χρώματος μετατόπιζε συστηματικά τις εσωτερικές τους αναπαραστάσεις, παρόλο που το κείμενο παρέμεινε αμετάβλητο.

Οι μεγαλύτερες αλλαγές εμφανίστηκαν στον άξονα «good» έναντι «bad». Όπως φαίνεται παραπάνω, η απλή αλλαγή μιας λέξης από μαύρο σε πράσινο τείνει να μετακινεί το εσωτερικό της νόημα προς μια πιο θετική κατεύθυνση, ενώ το μπλε τείνει να το μετακινεί αντίστροφα – παρόλο που η λέξη δεν άλλαξε ποτέ. Μικρότερες αλλά συνεπείς μετατοπίσεις εμφανίστηκαν επίσης για τα συναισθήματα, την ασφάλεια και τη θερμοκρασία.

Το CLIP χρησιμοποιήθηκε μόνο για την εξέταση αυτών των εσωτερικών αναπαραστάσεων, όχι για να εξηγήσει ακριβώς πώς λειτουργεί κάθε Vision Language Model. Παρόλα αυτά, το ίδιο μοτίβο που παρατηρείται μέσα στο CLIP ταιριάζει στενά με τις χρωματικά‑προκαλούμενες αλλαγές συναισθήματος που παρατηρήθηκαν στα προηγούμενα πειράματα.

Οι ερευνητές στη συνέχεια διερεύνησαν εάν η αλλαγή της αντίθεσης του κειμένου, αντί του χρώματος, θα μπορούσε επίσης να παραπλανήσει τα Vision Language Models κατά τη διάρκεια Visual Question Answering (VQA). Μια λογική αλλά λανθασμένη «απάντηση‑παραπλάνηση» επισημάνθηκε ενώ το περιβάλλον κείμενο εξασθενήθηκε:

Αποτελέσματα δοκιμών που συγκρίνουν την απόδοση του Visual Question Answering υπό τρεις συνθήκες οπτικής σαφήνειας κειμένου. Τα αποτελέσματα είναι μέσοι όροι έξι επιπέδων χαμηλής αντίθεσης σε κλίμακα γκρι, και η μόνη διαφορά μεταξύ των στηλών είναι εάν δεν υπήρχε κείμενο, η σωστή απάντηση ή η απάντηση‑παραπλάνηση αποδιδόταν σε υψηλή αντίθεση μαύρου. Η επισήμανση της σωστής απάντησης αύξησε σταθερά τις βαθμολογίες F1, ενώ η επισήμανση της παραπλανητικής μείωσε τις βαθμολογίες.

Τα παραπάνω αποτελέσματα δείχνουν ότι η επισήμανση της σωστής απάντησης βελτίωσε την ακρίβεια, ενώ η έμφαση στην παραπλανητική την μείωσε. Αυτό το φαινόμενο μετρήθηκε στη συνέχεια μέσω του προαναφερθέντος IER:

Αποτελέσματα δοκιμών που δείχνουν πόσο συχνά κάθε Vision Language Model επέλεξε μια οπτικά έντονη αλλά λανθασμένη απάντηση. Οι στήλες δείχνουν έξι επίπεδα χαμηλής αντίθεσης σε κλίμακα γκρι που εφαρμόστηκαν στο περιβάλλον κείμενο στην κατάσταση ‘Decoy Salient’, με υψηλότερες τιμές να υποδεικνύουν χαμηλότερη ορατότητα. Καθώς το περιβάλλον κείμενο γινόταν πιο δύσκολο στην ανάγνωση, τα ποσοστά επαγόμενου σφάλματος γενικά αυξάνονταν, ενώ το Qwen2‑VL‑7B παρέμεινε σταθερά πιο ανθεκτικό από τα άλλα μοντέλα.

Συμπέρασμα

Θα είναι ενδιαφέρον να δούμε αν αυτή η συγκεκριμένη αδυναμία θα εκμεταλλευτεί, όχι μόνο επειδή θα ήταν ενδιαφέρον να δούμε πώς η «χρωματική παραπλάνηση» θα μπορούσε να ενσωματωθεί χωρίς να γίνεται προφανής στους ανθρώπινους αναγνώστες.

Αν και τα AI web scrapers που πραγματικά αποδίδουν τις σελίδες μπορούν να λάβουν «εναλλακτικό» CSS που θα αλλάζει τα χρώματα σε επιλεγμένα τμήματα κειμένου, πολλά εξαρτώνται από την οξύτητα του scraper· εάν ο scraper απλώς εξάγει το HTML αναζητώντας κώδικα (HTML) και κείμενο (περιεχόμενο σελίδας), μπορεί να αγνοήσει το CSS και να μην γνωρίζει ποτέ το χρώμα. Ωστόσο, ο άπληστος scraper πιθανότατα θα θέλει και νέο CSS, επιτρέποντας την απόδοση και την επαναχρωματισμό.

Εναλλακτικά, βιβλία ή περιοδικά με επιλεκτικά επαναχρωματισμένο κείμενο θα μπορούσαν να ανεβούν σε αξιόπιστες αποθήκες όπως το The Internet Archive (ένα πολύ δημοφιλές στόχο), ακόμη και ως σάρωση παλαιότερων έργων. Υπάρχουν πολλές οδούς έγχυσης υπό τις τρέχουσες πρακτικές, και όχι μόνο για αυτή τη νέα και ιδιαίτερα χρωματική προσέγγιση.

Πρώτη δημοσίευση Δευτέρα, 17 Αυγούστου 2026