Schimbarea culorilor fontului poate deturna raționamentul AI

Un nou studiu arată că formatarea obișnuită poate ghida în tăcere raționamentul AI, determinându-l să ignore cuvinte, să interpreteze greșit sensul și să ajungă la concluzii diferite – fără a modifica textul în sine.

Codificarea culturală a culorii la oameni poate varia în întreaga lume, dar conceptele occidentale – adică roșu pentru „pericol”, verde pentru „în regulă” – tind să domine chiar și în Modelele de Limbaj Vizual (VLM) asiatice, din diverse motive strategice și/sau întâmplătoare.

Nu suntem diferiți; colorarea lucrurilor „rele” în culori pozitive și a celor „bune” în culori negative face oamenii să reacționeze diferit la acele lucruri. La fel se întâmplă și prin schimbarea luminozității și contrastului.

O nouă colaborare de cercetare a investigat în ce măsură acest fenomen se aplică și modelelor AI, descoperind indicații preliminare că VLM-urile pot fi influențate prin manipularea culorii textului, precum și prin modificarea contrastului și luminozității relative.

The authors state:

„Experimentele noastre oferă o analiză sistematică a modului în care stilizarea vizuală de nivel inferior a textului distorsionează reprezentările semantice în encoderul vizual al unui VLM. În plus, examinăm cum aceste deplasări în spațiul latent se manifestă ca schimbări comportamentale în VLM-urile end-to-end, atât în sarcini subiective (analiza sentimentelor), cât și în sarcini obiective (răspuns la întrebări).”

„Aceste rezultate arată că stilizarea vizuală expune o vulnerabilitate critică, anterior neexplorată, în VLM-uri, și discutăm implicațiile pentru robustețea și siguranța conductelor VLM.”

De pe site‑ul proiectului nou, o ilustrație a modului în care culoarea textului singură poate modifica interpretarea internă a unui cuvânt de către AI. Exemplul arată cuvântul „bad” redat în diferite culori, verde deplasând reprezentarea semantică spre o interpretare mai pozitivă, deși textul în sine rămâne neschimbat. Source

Color Me Surprised

În prezent, pentru miliardele de afaceri și persoane fizice ale căror trafic esențial de căutare a fost tăiat brutal de apariția sintezelor AI în rezultatele căutării, precum și de trecerea la LLM ca oracol de căutare, suprafețele de atac de acest tip sunt în prezent foarte atractive.

Deoarece discuțiile continue de pe Reddit sunt vitale pentru menținerea cunoștințelor AI actualizate, această platformă de social media a devenit o țintă principală pentru afaceri și indivizi care doresc să fie incluși în cunoașterea LLM; ghiduri au apărut deja pentru „jocul” Reddit ca metodă de influențare a LLM‑urilor.

În același spirit, există vechiul truc de a include text pe care doar mașinile îl pot vedea, astfel încât să poți transmite instrucțiuni ascunse și auto‑servitoare unui LLM, pentru a câștiga un turneu academic sau a influența rezultatele unui examen.

Recent, revista Time a început să plaseze reclame într-o versiune „secretă” a site‑ului său vizibilă doar pentru crawler‑ele web AI care trasează constant site‑urile în căutarea de date noi, permițând astfel advertiserilor să își cumpere o vizibilitate mai mare (sau o interpretare mai pozitivă) în răspunsurile AI.

Prin urmare, orice nouă slăbiciune a LLM/VLM, cum ar fi răspunsurile codate pe culori care pot fi „comutate” pentru a manipula rezultatele, reprezintă o țintă evidentă pentru o lume ce încearcă disperat să recâștige controlul asupra narațiunii media de la AI‑urile de frontieră.

De exemplu, o companie ce dorește să construiască o fabrică poluantă ce ar reduce calitatea apei locale ar putea adăuga codare pe culori în lexiconul său de spin, în materiale de marketing sau comunicate de presă, ca o deflecție suplimentară a știrilor pe care majoritatea le-ar considera „negative”.

Utilizarea strategică a CSS‑ului și/sau a tehnicilor SEO ar putea chiar ascunde manipulările de culoare de cititorii umani ocazionali, prin livrarea a foilor de stil doar pentru AI care impun accente de culoare în text ascunse de oameni, aceștia văzând doar text negru.

The authors of the new work state:

„Aceste sensibilităţi implică un risc de fiabilitate și siguranță pentru conductele VLM care prelucrează documente sau capturi de ecran UI: stilizarea benignă sau adversarială poate direcționa deciziile modelului fără a schimba textul de bază.”

„Măsuri practice includ normalizarea textului redat înainte de inferență, verificarea răspunsurilor bazate pe imagini cu text extras prin OCR și adăugarea de verificări de invariabilitate a stilului în suitele de evaluare.”

Noua lucrare intitulată Seeing Red, Thinking Bad: Color Bias in Vision Language Models, provine de la cinci cercetători din Institutul Național Japonez de Știință și Tehnologie Industrială Avansată (AIST), Universitatea Tsukuba, Universitatea Tehnică din Nürnberg și Universitatea Oxford. Inițiativa este însoțită de un repozitoriu GitHub și de un site de proiect.

Method

Pentru a afla în ce măsură prezentarea vizuală singură ar putea influența modelele, cercetătorii au dezvoltat „Prompturi Vizuale Stealth” – modificări aparent obișnuite ale formatării textului, care nu conțin nicio instrucțiune explicită pentru AI.

Aceasta ar putea fi atât de simplă precum schimbarea culorii cuvintelor pozitive sau negative, sau evidențierea unui răspuns greșit pentru a-l face mai vizibil decât cel corect, lăsând însă formularea exactă neschimbată.

Text diferit a fost generat pentru fiecare sarcină, testele de sentiment utilizând șabloane neutre populate cu cuvinte pozitive și negative, în timp ce testele de Visual Question Answering (VQA) s-au bazat pe perechi întrebare‑context din SQuAD:

Exemple de întrebări adresate mașinilor din setul de date SQuAD utilizat în noua lucrare. Source

Colecția curată rezultată a fost denumită VQA Stealth Set.

Textul a fost redat pe o pânză standardizată de 800 × 600 px, cu un layout fix, astfel încât doar stilizarea vizuală țintită să fie modificată. Culoarea și contrastul au fost manipulate independent, testarea culorii pe baza asocierilor semantice învățate, iar testarea contrastului pe baza salienței vizuale.

Cuvintele selectate au fost recolorate, iar pasaje întregi au fost redat cu contrast scăzut; sau, în setarea Saliency Competition, răspunsurile incorecte au fost făcute vizual mai proeminente decât cele corecte.

Orice schimbare rezultată în răspunsurile modelului ar putea fi astfel atribuită exclusiv stilizării vizuale, nu modificărilor textului de bază.

Data and Tests

Au fost create trei seturi de teste distincte pentru a reprezenta diferite moduri în care VLM‑urile procesează textul prezentat ca imagini:

Ilustrarea celor trei designuri de teste vizuale. Exemplele arată stimulii folosiți pentru a testa dacă prezentarea vizuală singură poate influența raționamentul modelului: (a) text cu sentiment mixt și cuvinte selectate recolorate pentru a testa biasul de culoare; (b) un pasaj mai lung care separă limbajul pozitiv de cel negativ pentru a evalua dacă structura documentului modifică efectul; și (c), un exemplu de Visual Question Answering în care un răspuns fals, dar semantic similar („twenty miles”), este făcut mai vizual proeminent prin contrast ridicat. Source

Setul de Sentiment cu Fraze Scurte testează biasul de culoare la nivel de cuvânt folosind 100 de fraze scurte generate din șabloane neutre ce conțin cuvinte pozitive sau negative. Fiecare frază a fost redată în 37 de versiuni vizuale, incluzând un baseline cu text negru plus combinații din șase culori (roșu, verde, albastru, galben, cyan și magenta), la trei niveluri de intensitate.

Setul de Sentiment cu Fraze Lungi a folosit pasaje mai lungi, în care limbajul pozitiv și cel negativ au fost separate în părți diferite ale textului. Scopul a fost să se determine dacă structura mai largă a documentului și efectele poziționale, cum ar fi primacitatea sau recența (biasuri bazate pe poziție, în care informația apărută mai devreme sau mai târziu într-un document poate primi o pondere mai mare), ar depăși orice bias indus de culoare. Aceleași 37 de condiții de culoare au fost aplicate.

În Setul VQA Stealth, întrebările și contextul asociat au fost redat ca imagini, după care au fost testate două condiții bazate pe contrast: în Contrast Global, lizibilitatea întregului document a fost redusă prin redarea lui la niveluri progresiv mai scăzute de contrast; și în Competiția Salienței, fie răspunsul corect, fie un cuvânt fals, semantic similar (selectat cu ajutorul CLIP), a fost redat cu contrast ridicat, în timp ce restul textului a fost estompat – permițând evidențierii vizuale să concureze cu dovezile din text.

Metrics

Fiecare exemplu a fost clasificat ca POSITIVE, NEUTRAL sau NEGATIVE. Clasificările rezultate au fost apoi comparate cu un baseline complet negru (text negru pe fundal alb) pentru a determina în ce măsură culoarea singură a deplasat predicțiile spre rezultate mai pozitive sau mai negative.

Experimentele VQA au fost evaluate prin scorul F1, unde răspunsurile prezise au fost comparate cu răspunsurile de referință acceptate.

Rata de Eroare Indusă (IER), o metrică nouă, a fost introdusă special pentru testul Competiția Salienței și a avut scopul de a măsura cât de des a fost selectat un răspuns fals evidențiat vizual (în locul răspunsului corect), când vizibilitatea textului a fost redusă.

În plus, a fost folosită o sondă de reprezentare CLIP pentru a măsura cum modificările de culoare au alterat reprezentarea semantică a unui cuvânt în spațiul de încorporare al CLIP.

Mai mult, un proxy de Recunoaștere Optică a Caracterelor (OCR) bazat pe VLM a fost utilizat pentru a evalua cât de fiabil pot fi citite cuvintele individuale la niveluri progresiv mai scăzute de contrast, permițând estimarea punctului la care textul redat devine efectiv ilizibil.

Evaluarea a fost realizată cu patru VLM‑uri open‑source: LLaVA‑v1.6‑Mistral‑7B; LLaVA‑v1.6‑Vicuna‑7B; Qwen2‑VL‑7B‑Instruct; și IDEFICS2‑8B. Autorii subliniază că modelele open‑source au fost alese pentru a asigura reproducibilitatea experimentelor sub prompturi, setări de redare și decodare deterministă fixe.

Results

Autorii au evaluat inițial prompturile de culoare pe Setul de Sentiment cu Fraze Scurte, valorificând biasul de culoare la nivel de cuvânt, unde cuvintele cu sentiment au fost intercalate:

Rezultatele testelor care arată cele mai mari deplasări de sentiment cauzate de formatarea în culori la patru Modele de Limbaj Vizual. Valorile sunt măsurate relativ la baseline-ul complet negru, cu coloanele pozitive și negative indicând cea mai mare mișcare în fiecare direcție, în timp ce intervalul rezumă susceptibilitatea globală a fiecărui model la biasul indus de culoare.

Din aceste rezultate, autorii afirmă:

„Qwen2‑VL‑7B prezintă cel mai mare bias pozitiv când cuvintele pozitive sunt colorate verde/albastru (până la +0,42) și cel mai mare bias negativ când cuvintele negative sunt colorate roșu (până la -0,48).”

„Susceptibilitatea totală diferă substanțial între modele: Qwen2‑VL‑7B are cel mai mare Interval Total (0,90), urmat de IDEFICS2‑8B (0,52), în timp ce variantele LLaVA prezintă intervale mult mai mici (0,04–0,12), indicând o sensibilitate comparativ mai slabă la stilizarea de culoare la nivel de cuvânt în acest context.”

„Observăm un spectru clar de susceptibilitate: Qwen2‑VL‑7B prezintă cele mai mari deplasări induse de culoare, în timp ce variantele LLaVA sunt comparativ robuste.”

Rezultatele suplimentare de mai jos arată că efectul culorii este departe de a fi uniform: Qwen2‑VL‑7B s‑a dovedit a fi cel mai susceptibil, cu text verde și albastru împingând constant sentimentul spre judecăți mai pozitive când cuvintele pozitive erau evidențiate, în timp ce textul roșu împingea predicțiile într-o direcție mai negativă când cuvintele negative erau evidențiate:

Rezultatele testelor care compară deplasările de sentiment induse de culoare la patru Modele de Limbaj Vizual. Graficele arată cum diferite culori ale textului au modificat predicțiile de sentiment în raport cu un baseline complet negru, axa verticală indicând mărimea și direcția fiecărei deplasări. Qwen2‑VL‑7B a arătat cea mai mare sensibilitate la culoare, în timp ce ambele modele LLaVA au rămas comparativ stabile.

Intensitatea mai mare a culorii a amplificat în general aceste efecte, conform raportului: IDEFICS2‑8B a afișat un tipar similar, deși într-o măsură mai redusă, în timp ce ambele variante LLaVA au rămas aproape de baseline în majoritatea culorilor și intensităților, indicând o rezistență mult mai mare la manipularea prin culoare.

Cercetătorii au testat apoi pasaje mai lungi prin separarea limbajului pozitiv și negativ în jumătăți diferite ale Setului de Sentiment cu Fraze Lungi, permițând măsurarea structurii documentului alături de biasul de culoare. Experimentele au determinat dacă fiecare model se bazează mai mult pe începutul (primacitatea) sau pe sfârșitul (recența) unui pasaj.

Structura documentului a depășit adesea indiciile de culoare: Qwen2‑VL‑7B și LLaVA‑Mistral‑7B au favorizat a doua jumătate a textului, în timp ce IDEFICS2‑8B și LLaVA‑Vicuna‑7B s‑au bazat mai des pe prima:

Rezultatele testelor care arată cum patru Modele de Limbaj Vizual s‑au bazat pe poziția în document la analiza pasajelor mai lungi. „Strategia pozițională” indică dacă predicțiile au urmat prima jumătate (primacitate) sau a doua jumătate (recență) a textului; „Aderența” arată cât de consecvent a fost urmată acea strategie; și „Intervalul biasului de culoare” măsoară influența rămasă a culorii textului în aceste condiții structurate.

Culoarea a continuat să afecteze unele modele, în special IDEFICS2‑8B, dar a devenit mai puțin influentă în texte structurate.

Pentru a înțelege de ce schimbările de culoare pot altera sentimentul fără a modifica cuvintele, cercetătorii au examinat cum culoarea a afectat reprezentările vizuale interne ale modelelor printr-o analiză de proiecție semantică CLIP. După cum se arată mai jos, schimbarea nuanței unui cuvânt a deplasat în mod constant reprezentarea sa semantică pe mai multe dimensiuni conceptuale:

Rezultatele testelor care arată cum culoarea textului a schimbat reprezentarea semantică internă a șase cuvinte. Graficele urmăresc cuvintele „warm”, „cold”, „safe”, „dangerous”, „good” și „bad” pe axele de siguranță, valență, temperatură și emoție, demonstrând că schimbarea culorii singure a deplasat sistematic reprezentările interne, chiar dacă textul în sine a rămas neschimbat.

Cele mai mari schimbări au apărut pe axa „good” versus „bad”. Așa cum se arată mai sus, simpla trecere a unui cuvânt de la negru la verde a tendat să mute semnificația internă spre o direcție mai pozitivă, în timp ce albastru a făcut invers – deși cuvântul în sine nu s‑a schimbat. Schimbări mai mici, dar consecvente, au apărut și pentru emoție, siguranță și temperatură.

CLIP a fost folosit doar pentru a examina aceste reprezentări interne, nu pentru a explica exact cum funcționează fiecare Model de Limbaj Vizual. Totuși, același tipar observat în CLIP a corespuns îndeaproape schimbărilor de sentiment induse de culoare observate în experimentele anterioare.

Cercetătorii au investigat apoi dacă modificarea contrastului textului, în loc de culoare, ar putea de asemenea să inducă modele VLM în eroare în timpul Visual Question Answering (VQA). Un răspuns fals, dar plausibil, a fost evidențiat în timp ce textul înconjurător a fost estompat:

Rezultatele testelor care compară performanța Visual Question Answering sub trei condiții de saliență a textului. Rezultatele sunt mediate pe șase niveluri de gri cu contrast scăzut, iar singura diferență între coloane este dacă niciun text, răspunsul corect sau răspunsul fals a fost redat în negru cu contrast înalt. Evidențierea răspunsului corect a crescut constant scorurile F1, în timp ce evidențierea răspunsului fals le-a redus.

Rezultatele de mai sus indică faptul că evidențierea răspunsului corect a îmbunătățit acuratețea, în timp ce accentuarea răspunsului fals a scăzut-o. Acest efect a fost apoi măsurat prin IER‑ul menționat anterior:

Rezultatele testelor care arată cât de des fiecare Model de Limbaj Vizual a selectat un răspuns vizual proeminent, dar incorect. Coloanele prezintă șase niveluri de gri cu contrast scăzut aplicate textului înconjurător în condiția „Decoy Salient”, cu valori mai mari indicând vizibilitate mai scăzută. Pe măsură ce textul înconjurător a devenit mai greu de citit, ratele de eroare indusă au crescut în general, în timp ce Qwen2‑VL‑7B a rămas constant mai rezistent decât celelalte modele.

Conclusion

Va fi interesant să vedem dacă această particularitate va fi exploatată, nu în ultimul rând pentru că ar fi interesant să observăm cum „dezinformarea prin culoare” ar putea fi injectată fără a deveni evidentă cititorilor umani.

Deși scraper‑ele web AI care redau efectiv paginile pot primi CSS „alternativ” care să schimbe culorile în părți selectate ale textului, foarte mult depinde de acuitatea scraper‑ului; dacă scraper‑ul extrage doar HTML‑ul în căutarea de cod (HTML) și text (conținutul paginii), ar putea ignora CSS‑ul și să nu știe de colorare. Totuși, scraper‑ul avar ar dori probabil și CSS nou, permițând redarea și recolorarea.

Alternativ, cărți sau reviste cu text recolorat selectiv ar putea fi încărcate în depozite de încredere precum The Internet Archive (o țintă foarte populară), chiar pretinzând a fi scanări ale unor lucrări mai vechi. Există multe căi de injecție în practicile curente, și nu doar pentru această abordare nouă și deosebit de colorată.

First published Monday, 17 august 2026