Cambiare i colori dei caratteri può dirottare il ragionamento dell’IA

Un nuovo studio scopre che una formattazione ordinaria può guidare silenziosamente il ragionamento dell’IA, facendola trascurare parole, fraintendere il significato e giungere a conclusioni diverse – senza modificare il testo stesso.

La codifica culturale del colore da parte degli esseri umani può variare in tutto il mondo, ma le concezioni occidentali – ad esempio, rosso per ‘pericolo’, verde per ‘ok’ – tendono a predominare anche nei Modelli di Visione Linguistica (VLM), per vari motivi strategici e/o circostanziali.

Non siamo diversi; colorare le cose ‘cattive’ con colori positivi e le cose ‘buone’ con colori negativi fa reagire gli esseri umani in modo diverso. Lo stesso vale per la modifica della luminosità e del contrasto.

Una nuova collaborazione di ricerca ha esplorato fino a che punto ciò si applichi anche ai modelli di IA, scoprendo indicazioni preliminari che i VLM possono essere influenzati manipolando il colore del testo, oltre a modificare contrasto e luminosità relativi.

Gli autori dichiarano:

‘I nostri esperimenti forniscono un’analisi sistematica di come lo styling visivo a basso livello del testo distorca le rappresentazioni semantiche all’interno dell’encoder visivo di un VLM. Inoltre, esaminiamo come questi spostamenti nello spazio latente si manifestino come cambiamenti comportamentali nei VLM end-to-end sia in compiti soggettivi (analisi del sentiment) sia in compiti oggettivi (risposta a domande).’

‘Questi risultati mostrano che lo styling visivo espone una vulnerabilità critica, finora poco esplorata, nei VLM, e discutiamo le sue implicazioni per la robustezza e la sicurezza delle pipeline VLM.’

Dal sito del nuovo progetto, un’illustrazione di come il colore del testo da solo possa alterare l’interpretazione interna di un’IA di una parola. L’esempio mostra la parola ‘bad’ resa in diversi colori, con il verde che sposta la sua rappresentazione semantica verso un’interpretazione più positiva, nonostante il testo stesso rimanga invariato. Source

Colorami Sorprendente

Al momento, per i miliardi di aziende e individui il cui traffico di ricerca vitale è stato brutalmente ridotto dall’avvento dei riassunti AI nei risultati di ricerca, così come dal LLM come oracolo di ricerca, le superfici di attacco di questa natura sono attualmente molto attraenti.

Poiché il continuo fermento delle discussioni umane su Reddit è fondamentale per mantenere aggiornate le conoscenze dell’IA, quella piattaforma di social media è diventata un bersaglio privilegiato per aziende e individui che desiderano essere inclusi nella conoscenza dei LLM; sono già emerse guide su come giocare su Reddit come metodo proxy per influenzare i LLM.

In una vena simile, esiste il vecchio trucco di includere testo che solo le macchine vedranno, così da poter trasmettere istruzioni nascoste e auto‑serventi a un LLM, per vincere un torneo accademico, o influenzare i risultati degli esami.

Più recentemente, la rivista Time ha iniziato a inserire annunci in una versione ‘segreta’ del suo sito visibile solo ai crawler web AI che stanno costantemente setacciando i siti per nuovi dati, consentendo così agli inserzionisti di acquistare una maggiore visibilità (o una percezione più positiva) nelle risposte dell’IA.

Pertanto, qualsiasi nuova vulnerabilità dei LLM/VLM, come risposte codificate a colori che possono essere ‘attivate’ per manipolare i risultati, è un obiettivo evidente per un mondo che cerca disperatamente di riprendere il controllo della narrazione mediatica dall’IA di frontiera.

Ad esempio, un’azienda che intende costruire una fabbrica inquinante, probabilmente riducendo la qualità dell’acqua locale, potrebbe aggiungere una codifica a colori al proprio lessico di spin, nei materiali di marketing o nei comunicati stampa, come ulteriore deviazione di notizie che la maggior parte considererebbe ‘negative’.

L’uso strategico di CSS e/o tecniche SEO potrebbe persino nascondere le manipolazioni di colore ai lettori umani occasionali, servendo fogli di stile esclusivi per l’IA che impongono enfasi di colore nel testo nascoste agli umani, i quali vedranno solo testo nero.

Gli autori del nuovo lavoro dichiarano:

‘Queste sensibilità implicano un rischio di affidabilità e sicurezza per le pipeline VLM che ingeriscono documenti o screenshot UI: uno styling benigno o avversario può orientare le decisioni del modello senza modificare il testo di base.’

‘Le contromisure pratiche includono la normalizzazione del testo renderizzato prima dell’inferenza, il controllo incrociato delle risposte basate su immagini con il testo estratto tramite OCR, e l’aggiunta di verifiche di invarianza stilistica alle suite di valutazione.’

Il nuovo lavoro è intitolato Seeing Red, Thinking Bad: Color Bias in Vision Language Models, e proviene da cinque ricercatori del National Institute of Advanced Industrial Science and Technology (AIST) del Giappone, dell’Università di Tsukuba, dell’Università di Tecnologia di Norimberga e dell’Università di Oxford. L’iniziativa è accompagnata da un repository GitHub e da un sito del progetto.

Metodo

Per scoprire quanto la sola presentazione visiva potesse influenzare i modelli, i ricercatori hanno sviluppato i ‘Prompt Visivi Stealth’ – modifiche dall’aspetto ordinario alla formattazione del testo, che non contengono istruzioni esplicite per l’IA.

Ciò potrebbe essere semplice come cambiare il colore di parole positive o negative, o far risaltare una risposta errata più chiaramente rispetto a quella corretta, lasciando intatto il wording effettivo.

Testi diversi sono stati generati per ciascun compito, con i test di sentiment che utilizzavano modelli neutri popolati con parole positive e negative, mentre i test di Visual Question Answering (VQA) attingevano a coppie domanda-contesto da SQuAD:

Esempi di domande rivolte alle macchine dal dataset SQuAD utilizzato per il nuovo lavoro. Source

La collezione curata risultante è stata intitolata VQA Stealth Set.

Il testo è stato renderizzato su una tela standardizzata 800x600px, con un layout fisso, in modo che solo lo styling visivo mirato venisse modificato. Colore e contrasto sono stati manipolati indipendentemente, con i test di colore che valutavano le associazioni semantiche apprese, e i test di contrasto che valutavano la salienza visiva.

Le parole selezionate sono state ricodificate, e interi passaggi renderizzati a contrasto più basso; oppure, nell’impostazione della Competizione di Salienza, le risposte errate sono state rese visivamente più prominenti rispetto a quelle corrette.

Qualsiasi cambiamento risultante nelle risposte del modello potrebbe quindi essere attribuito esclusivamente allo styling visivo piuttosto che a modifiche del testo di base.

Dati e Test

Sono stati creati tre set di test distinti per rappresentare i diversi modi in cui i VLM elaborano il testo presentato come immagini:

Illustrazione dei tre progetti di test visivi. Gli esempi mostrano gli stimoli usati per verificare se la sola presentazione visiva possa influenzare il ragionamento del modello: (a) testo a sentiment misto con parole selezionate ricodificate per testare il bias di colore; (b) un passaggio più lungo che separa linguaggio positivo e negativo per valutare se la struttura del documento cambi l’effetto; e (c), un esempio di visual question answering in cui una risposta ingannevole ma semanticamente simile (‘venti miglia’) è resa più visivamente prominente tramite contrasto più alto.Source

Il Short-sentence Sentiment Set testa il bias di colore a livello di parola usando 100 frasi brevi generate da modelli neutri contenenti parole positive o negative. Ogni frase è stata renderizzata in 37 versioni visive, comprendenti una baseline di testo nero più combinazioni di sei colori (rosso, verde, blu, giallo, ciano e magenta), a tre livelli di intensità.

Il Long-sentence Sentiment Set ha utilizzato passaggi più lunghi, in cui il linguaggio positivo e negativo era separato in diverse parti del testo. Questo era inteso a determinare se la struttura più ampia del documento e gli effetti posizionali, come primacy o recency (bias basati sulla posizione, in cui le informazioni che compaiono prima o dopo in un documento possono ricevere maggiore peso), superassero qualsiasi bias indotto dal colore. Sono state applicate le stesse 37 condizioni di colore.

Nel VQA Stealth Set le domande e il loro contesto associato sono stati renderizzati come immagini, dopodiché sono state testate due condizioni basate sul contrasto: in Global Contrast, la leggibilità dell’intero documento è stata ridotta renderizzandolo a livelli di contrasto progressivamente più bassi; e nella Saliency Competition, o la risposta corretta o una parola ingannevole semanticamente simile (selezionata usando la similarità CLIP) è stata renderizzata ad alto contrasto, mentre il resto del testo è stato sbiadito – consentendo all’enfasi visiva di competere con le evidenze nel testo.

Metriche

Ogni esempio è stato classificato come POSITIVO, NEUTRO o NEGATIVO. Le classificazioni risultanti sono state poi confrontate con una baseline tutta nera (testo nero su sfondo bianco) per determinare in che misura il solo colore spostasse le previsioni verso risultati più positivi o più negativi.

Gli esperimenti VQA sono stati valutati tramite il punteggio F1 a livello di token, in cui le risposte predette sono state confrontate con le risposte di verità a terra accettate.

Il Tasso di Errore Indotto (IER), una metrica nuova, è stato introdotto specificamente per il test Saliency Competition, ed è stato inteso a misurare quanto spesso una risposta ingannevole evidenziata visivamente venisse selezionata (invece della risposta corretta), quando la visibilità del testo era ridotta.

Inoltre, è stata utilizzata una sonda di rappresentazione CLIP per misurare come le variazioni di colore alterassero la rappresentazione semantica di una parola all’interno dello spazio di embedding di CLIP.

Inoltre, è stato impiegato un proxy di Riconoscimento Ottico dei Caratteri (OCR) basato su VLM per valutare quanto affidabilmente le singole parole potessero essere lette a livelli di contrasto progressivamente più bassi, consentendo di stimare il punto in cui il testo renderizzato diventava effettivamente illeggibile.

La valutazione è stata eseguita utilizzando quattro VLM open-source: LLaVA-v1.6-Mistral-7B; LLaVA-v1.6-Vicuna-7B; Qwen2-VL-7B-Instruct; e IDEFICS2-8B. Gli autori sottolineano che i modelli open-source sono stati scelti per garantire che gli esperimenti potessero essere riprodotti con prompt fissi, impostazioni di rendering e decodifica deterministica.

Risultati

Gli autori hanno inizialmente valutato i prompt di colore sul Short-Sentence Sentiment Set, sfruttando il bias di colore a livello di parola, dove le parole portatrici di sentiment erano intercalate:

Risultati dei test che mostrano i maggiori spostamenti di sentiment causati dalla formattazione del colore su quattro Vision Language Models. I valori sono misurati rispetto alla baseline tutta nera, con le colonne positivo e negativo che mostrano il maggior movimento in ciascuna direzione, mentre l’intervallo riassume la suscettibilità complessiva di ciascun modello al bias indotto dal colore.

Di questi risultati, gli autori affermano:

‘Qwen2-VL-7B mostra il suo più grande bias positivo quando le parole positive sono colorate in verde/blu (fino a +0.42), e il suo più grande bias negativo quando le parole negative sono colorate in rosso (fino a -0.48).’

‘La suscettibilità complessiva differisce notevolmente tra i modelli: Qwen2-VL-7B mostra il più ampio Total Range (0.90), seguito da IDEFICS2-8B (0.52), mentre le varianti LLaVA presentano intervalli molto più piccoli (0.04–0.12), indicando una sensibilità comparativamente più debole allo styling di colore a livello di parola in questo contesto.’

‘Osserviamo uno spettro chiaro di suscettibilità: Qwen2-VL-7B presenta i più grandi spostamenti indotti dal colore, mentre le varianti LLaVA sono comparativamente robuste.’

Ulteriori risultati di seguito mostrano che l’effetto del colore è tutt’altro che uniforme: Qwen2-VL-7B si è dimostrato il più suscettibile, con il testo verde e blu che spinge costantemente il sentiment verso giudizi più positivi quando le parole positive erano evidenziate, mentre il testo rosso spingeva le previsioni in una direzione più negativa quando le parole negative erano evidenziate:

Risultati dei test che confrontano gli spostamenti di sentiment indotti dal colore su quattro Vision Language Models. I grafici mostrano come i diversi colori del testo abbiano modificato le previsioni di sentiment rispetto a una baseline tutta nera, con l’asse verticale che indica la dimensione e la direzione di ciascuno spostamento. Qwen2-VL-7B ha mostrato la più forte sensibilità al colore, mentre entrambi i modelli LLaVA sono rimasti comparativamente stabili.

Una maggiore intensità del colore ha generalmente amplificato questi effetti, secondo quanto riportato dal documento: IDEFICS2-8B ha mostrato un pattern simile, sebbene in misura minore, mentre entrambe le varianti LLaVA sono rimaste vicine alla loro baseline per la maggior parte dei colori e delle intensità, indicando una resistenza molto maggiore alla manipolazione basata sul colore.

I ricercatori hanno poi testato passaggi più lunghi separando il linguaggio positivo e negativo in diverse metà del Long-sentence Sentiment Set, permettendo di misurare la struttura del documento insieme al bias di colore. Gli esperimenti hanno determinato se ciascun modello si affidasse più all’inizio (primacy) o alla fine (recency) di un passaggio.

La struttura del documento spesso superava gli indizi di colore: Qwen2-VL-7B e LLaVA-Mistral-7B favorivano la seconda metà del testo, mentre IDEFICS2-8B e LLaVA-Vicuna-7B si affidavano più spesso alla prima:

Risultati dei test che mostrano come quattro Vision Language Models si siano affidati alla posizione del documento nell’analisi di passaggi più lunghi. ‘Strategia Posizionale’ indica se le previsioni hanno seguito la prima metà (primacy) o la seconda metà (recency) del testo; ‘Aderenza’ mostra quanto costantemente è stata seguita quella strategia; e ‘Intervallo di Bias di Colore’ misura l’influenza residua del colore del testo in queste condizioni strutturate.

Il colore ha ancora influenzato alcuni modelli, in particolare IDEFICS2-8B, ma è diventato meno influente nel testo strutturato.

Per capire perché le variazioni di colore potessero alterare il sentiment senza modificare le parole stesse, i ricercatori hanno esaminato come il colore influenzasse le rappresentazioni visive interne dei modelli usando un’analisi di proiezione semantica CLIP. Come mostrato di seguito, cambiare la tonalità di una parola spostava costantemente la sua rappresentazione semantica su diverse dimensioni concettuali:

Risultati dei test che mostrano come il colore del testo abbia modificato la rappresentazione semantica interna di sei parole. I grafici tracciano le parole ‘warm’, ‘cold’, ‘safe’, ‘dangerous’, ‘good’ e ‘bad’ attraverso gli assi di sicurezza, valenza, temperatura ed emozione, dimostrando che cambiare solo il colore spostava sistematicamente le loro rappresentazioni interne, anche se il testo stesso rimaneva invariato.

I cambiamenti più evidenti sono apparsi sull’asse ‘good’ versus ‘bad’. Come dimostrato sopra, cambiare semplicemente una parola da nero a verde tendeva a spostare il suo significato interno in una direzione più positiva, mentre il blu tendeva a spostarlo nell’altro verso – nonostante la parola stessa non cambi mai. Spostamenti più piccoli ma coerenti sono comparsi anche per emozione, sicurezza e temperatura.

CLIP è stato usato solo per esaminare queste rappresentazioni interne, non per spiegare esattamente come funzionino tutti i Vision Language Model. Tuttavia, lo stesso pattern osservato all’interno di CLIP corrispondeva strettamente ai cambiamenti di sentiment indotti dal colore osservati nei precedenti esperimenti.

I ricercatori hanno poi indagato se modificare il contrasto del testo, anziché il colore, potesse anche fuorviare i Vision Language Models durante il Visual Question Answering (VQA). Una risposta plausibile ma errata è stata evidenziata mentre il testo circostante è stato sbiadito:

Risultati dei test che confrontano le prestazioni del Visual Question Answering sotto tre condizioni di salienza del testo. I risultati sono mediati su sei livelli di scala di grigi a basso contrasto, e l’unica differenza tra le colonne è se nessun testo, la risposta corretta o la risposta ingannevole è stata renderizzata in nero ad alto contrasto. Evidenziare la risposta corretta ha aumentato costantemente i punteggi F1, mentre evidenziare l’ingannevole li ha ridotti.

I risultati sopra indicano che evidenziare la risposta corretta ha migliorato l’accuratezza, mentre enfatizzare l’ingannevole l’ha ridotta. Questo effetto è stato poi misurato tramite il suddetto IER:

Risultati dei test che mostrano quanto spesso ciascun Vision Language Model abbia selezionato una risposta visivamente prominente ma errata. Le colonne mostrano sei livelli di scala di grigi a basso contrasto applicati al testo circostante nella condizione ‘Decoy Salient’, con valori più alti che indicano minore visibilità. Man mano che il testo circostante diventava più difficile da leggere, i tassi di errore indotto generalmente aumentavano, mentre Qwen2-VL-7B rimaneva costantemente più resistente rispetto agli altri modelli.

Conclusione

Sarà interessante vedere se questa particolare sfumatura verrà sfruttata, soprattutto perché sarebbe interessante osservare come la ‘disinformazione cromatica’ possa essere iniettata senza diventare evidente ai lettori umani.

Sebbene gli scraper web AI che effettivamente renderizzano le pagine possano ricevere CSS ‘alternativi’ che cambierebbero i colori in parti selezionate del testo, molto dipende dall’acuità dello scraper; se lo scraper si limita a estrarre l’HTML alla ricerca di codice (HTML) e testo (contenuto della pagina), potrebbe ignorare il CSS e non conoscere mai la colorazione. Tuttavia, lo scraper avido probabilmente vorrà anche nuovi CSS, consentendo il rendering e la ricodifica.

In alternativa, libri o riviste con testo ricodificato selettivamente potrebbero essere caricati in repository affidabili come The Internet Archive (un obiettivo molto popolare), anche spacciandoli per scansioni di opere più antiche. Esistono molte vie di iniezione con le pratiche attuali, e non solo per questo nuovo e particolarmente colorato approccio.

Pubblicato per la prima volta lunedì 17 agosto 2026