Zmiana kolorów czcionki może przejąć kontrolę nad rozumowaniem AI

Nowe badanie wykazuje, że zwykłe formatowanie może cicho kierować rozumowaniem AI, powodując pomijanie słów, błędną interpretację znaczenia i wyciąganie innych wniosków – bez zmiany samego tekstu.

Kulturowe kodowanie koloru przez ludzi może się różnić na całym świecie, ale zachodnie konwencje – tj. czerwony oznacza „niebezpieczeństwo”, zielony oznacza „ok” – przeważają nawet w azjatyckich Modelach Wizji i Języka (VLM), z różnych strategicznych i/lub przypadkowych powodów.

Nie różnimy się; kolorowanie „złych” rzeczy w pozytywnych kolorach i „dobrych” rzeczy w negatywnych kolorach, sprawia, że ludzie reagują inaczej na te rzeczy. To samo robi zmiana jasności i kontrastu.

Nowa współpraca badawcza zbadała, w jakim stopniu dotyczy to również modeli AI, odkrywając wstępne wskazówki, że VLM mogą być wpływane poprzez manipulację kolorem tekstu, a także zmianą względnego kontrastu i jasności.

‘Nasze eksperymenty dostarczają systematycznej analizy, w jaki sposób niskopoziomowe wizualne stylizowanie tekstu zniekształca semantyczne reprezentacje w enkoderze wizualnym VLM. Dodatkowo badamy, jak te przesunięcia w przestrzeni ukrytej przejawiają się jako zmiany zachowań w pełnych VLM zarówno w zadaniach subiektywnych (analiza sentymentu), jak i obiektywnych (odpowiadanie na pytania).’

‘Wyniki te pokazują, że wizualne stylizowanie ujawnia krytyczną, dotąd mało zbadane podatność VLM, a my omawiamy jej implikacje dla odporności i bezpieczeństwa pipeline’ów VLM.’

Z witryny projektu nowej pracy, ilustracja tego, jak sam kolor tekstu może zmienić wewnętrzną interpretację słowa przez AI. Przykład pokazuje słowo „bad” wyświetlone w różnych kolorach, przy czym zielony przesuwa jego semantyczną reprezentację w kierunku bardziej pozytywnej interpretacji, mimo że sam tekst pozostaje niezmieniony. Źródło

Zaskocz mnie kolorem

Obecnie, dla miliardów firm i osób, których kluczowy ruch wyszukiwania został drastycznie ograniczony przez pójście AI w kierunku streszczeń w wynikach wyszukiwania, a także przejście na LLM jako wyrocznię wyszukiwania, powierzchnie ataku tego rodzaju są obecnie bardzo atrakcyjne.

Ponieważ nieustanne dyskusje na Reddit są niezbędne, aby utrzymać aktualną wiedzę AI, platforma ta stała się głównym celem dla firm i osób, które chcą być uwzględnione w wiedzy LLM; pojawiły się już przewodniki dotyczące „gier” na Reddit jako metody pośredniej wpływania na LLM.

W podobnym duchu istnieje stara sztuczka polegająca na wstawianiu tekstu widocznego tylko dla maszyn, aby przekazać ukryte, samolubne instrukcje LLM, aby wygrać turniej akademicki lub wpłynąć na wyniki egzaminów.

Ostatnio magazyn Time zaczął umieszczać reklamy w „tajnej” wersji swojej strony widocznej tylko dla robotów sieciowych AI, które nieustannie przeszukują witryny w poszukiwaniu nowych danych, co potencjalnie pozwala reklamodawcom kupić sobie większą widoczność (lub bardziej pozytywne podejście) w odpowiedziach AI.

W związku z tym każde nowe słabość LLM/VLM, takie jak odpowiedzi kodowane kolorami, które można „przełączyć”, aby manipulować wynikami, jest oczywistym celem dla świata desperacko starającego się odzyskać kontrolę nad narracją medialną przed frontowymi AI.

Na przykład firma planująca budowę zanieczyszczającej fabryki, prawdopodobnie obniżającej jakość wody lokalnej, może dodać kodowanie kolorami do swojego słownictwa propagandy, w materiałach marketingowych lub komunikatach prasowych, jako dodatkowe odwrócenie uwagi od wiadomości, które większość uznałaby za „negatywne”.

Strategiczne użycie CSS i/lub technik SEO może nawet ukrywać manipulacje kolorami przed przypadkowymi czytelnikami, poprzez serwowanie arkuszy stylów wyłącznie dla AI, które nakładają podkreślenia kolorystyczne w tekście niewidoczne dla ludzi, którzy zobaczą jedynie czarny tekst.

‘Te wrażliwości sugerują ryzyko niezawodności i bezpieczeństwa dla pipeline’ów VLM, które przetwarzają dokumenty lub zrzuty ekranu UI: nieszkodliwa lub wrogie stylizacja może kierować decyzjami modelu bez zmiany podstawowego tekstu.’

‘Praktyczne zabezpieczenia obejmują normalizację renderowanego tekstu przed wnioskowaniem, weryfikację odpowiedzi opartych na obrazie przy użyciu tekstu wyodrębnionego metodą OCR oraz dodanie kontroli niezmienności stylu do zestawów oceny.’

Nowe opracowanie zostało zatytułowane Seeing Red, Thinking Bad: Color Bias in Vision Language Models i pochodzi od pięciu badaczy z Narodowego Instytutu Zaawansowanej Nauki i Technologii (AIST) w Japonii, Uniwersytetu Tsukuba, Uniwersytetu Technologicznego w Norymberdze oraz Uniwersytetu Oksfordzkiego. Inicjatywa jest udostępniona w repozytorium GitHub oraz na stronie projektu.

Metoda

Aby dowiedzieć się, jak bardzo sama prezentacja wizualna może wpływać na modele, badacze opracowali „Stealth Visual Prompts” – zmiany formatowania tekstu wyglądające zwyczajnie, które nie zawierają żadnych wyraźnych instrukcji dla AI.

Może to być tak proste, jak zmiana koloru pozytywnych lub negatywnych słów, lub sprawienie, by błędna odpowiedź wyróżniała się wyraźniej niż prawidłowa, przy zachowaniu niezmienionego brzmienia.

Różny tekst został wygenerowany dla każdego zadania, przy czym testy sentymentu używały neutralnych szablonów wypełnionych pozytywnymi i negatywnymi słowami, natomiast testy Visual Question Answering (VQA) korzystały z par pytanie‑kontekst z SQuAD:

Przykłady pytań skierowanych do maszyny z zestawu danych SQuAD użyte w nowej pracy. Źródło

Powstała wyselekcjonowana kolekcja została nazwana VQA Stealth Set.

Tekst został wyrenderowany na standardowym płótnie 800 × 600 px, z ustalonym układem, tak aby jedynie docelowa stylizacja wizualna była zmieniana. Kolor i kontrast manipulowano niezależnie, przy czym testy koloru badały wyuczone skojarzenia semantyczne, a testy kontrastu – uwidocznienie wizualne.

Wybrane słowa zostały ponownie pokolorowane, a całe fragmenty wyrenderowane przy niższym kontraście; lub, w ustawieniu Saliency Competition, niepoprawne odpowiedzi zostały uczynione wizualnie bardziej wyraźnymi niż prawidłowe.

Każda wynikająca zmiana w odpowiedziach modelu mogła więc być przypisana wyłącznie stylizacji wizualnej, a nie zmianom w podstawowym tekście.

Dane i testy

Stworzono trzy odrębne zestawy testowe, aby przedstawić różne sposoby, w jakie VLM przetwarzają tekst prezentowany jako obrazy:

Ilustracja trzech projektów testów wizualnych. Przykłady pokazują bodźce użyte do sprawdzenia, czy sama prezentacja wizualna może wpływać na rozumowanie modelu: (a) tekst o mieszanym sentymencie z wybranymi słowami ponownie pokolorowanymi w celu przetestowania uprzedzenia kolorystycznego; (b) dłuższy fragment oddzielający język pozytywny i negatywny, aby ocenić, czy struktura dokumentu zmienia efekt; oraz (c) przykład wizualnego pytania‑odpowiedzi, w którym niepoprawna, ale semantycznie podobna odpowiedź‑przynęta („dwadzieścia mil”) jest uczyniona bardziej widoczną dzięki wyższemu kontrastowi.Źródło

Zestaw Short-sentence Sentiment Set testuje uprzedzenie kolorystyczne na poziomie słowa, używając 100 krótkich zdań wygenerowanych z neutralnych szablonów zawierających pozytywne lub negatywne słowa. Każde zdanie zostało wyrenderowane w 37 wersjach wizualnych, obejmujących bazowy czarny tekst oraz kombinacje sześciu kolorów (czerwony, zielony, niebieski, żółty, cyjan i magenta) w trzech poziomach intensywności.

Zestaw Long-sentence Sentiment Set używał dłuższych fragmentów, w których język pozytywny i negatywny był rozdzielony na różne części tekstu. Miało to na celu określenie, czy szersza struktura dokumentu i efekty pozycyjne, takie jak pierwszeństwo lub świeżość (uprzedzenia oparte na położeniu, w których informacje pojawiające się wcześniej lub później w dokumencie mogą mieć większą wagę), przewyższą wpływ uprzedzenia kolorystycznego. Zastosowano te same 37 warunków kolorystycznych.

W zestawie VQA Stealth Set pytania i ich powiązany kontekst zostały wyrenderowane jako obrazy, po czym przetestowano dwa warunki oparte na kontraście: w Global Contrast czytelność całego dokumentu została zmniejszona poprzez renderowanie go przy stopniowo niższych poziomach kontrastu; oraz w Saliency Competition, gdzie poprawna odpowiedź lub semantycznie podobna odpowiedź‑przynęta (wybrana przy użyciu podobieństwa CLIP) została wyrenderowana w wysokim kontraście, a pozostały tekst przyciemniony – pozwalając wizualnemu podkreśleniu konkurować z dowodami w tekście.

Metryki

Każdy przykład został sklasyfikowany jako POZYTYWNY, NEUTRALNY lub NEGATYWNY. Uzyskane klasyfikacje porównano z bazą całkowicie czarną (czarny tekst na białym tle), aby określić, w jakim stopniu sam kolor przesuwa prognozy w kierunku bardziej pozytywnych lub bardziej negatywnych wyników.

Eksperymenty VQA oceniano za pomocą miary F1 na poziomie tokenów, w której przewidywane odpowiedzi porównywano z przyjętymi prawdziwymi odpowiedziami.

Induced Error Rate (IER), nowa metryka, została wprowadzona specjalnie dla testu Saliency Competition i miała mierzyć, jak często wizualnie wyróżniona odpowiedź‑przynęta była wybierana (zamiast poprawnej), gdy widoczność tekstu była obniżona.

Dodatkowo użyto sondy reprezentacji CLIP, aby zmierzyć, jak zmiany koloru modyfikują semantyczną reprezentację słowa w przestrzeni osadzania CLIP.

Ponadto użyto proxy opartego na OCR (Optical Character Recognition) w VLM, aby ocenić, jak wiarygodnie poszczególne słowa mogą być odczytywane przy stopniowo niższym kontraście, co pozwoliło oszacować punkt, w którym renderowany tekst staje się praktycznie nieczytelny.

Ewaluację przeprowadzono przy użyciu czterech otwarto‑źródłowych VLM: LLaVA-v1.6-Mistral-7B; LLaVA-v1.6-Vicuna-7B; Qwen2-VL-7B-Instruct; oraz IDEFICS2-8B. Autorzy podkreślają, że wybrano modele open‑source, aby zapewnić możliwość odtworzenia eksperymentów przy stałych podpowiedziach, ustawieniach renderowania i deterministycznym dekodowaniu.

Wyniki

Autorzy początkowo oceniali podpowiedzi kolorystyczne na zestawie Short‑Sentence Sentiment Set, wykorzystując uprzedzenie kolorystyczne na poziomie słowa, gdzie słowa niosące sentyment były rozmieszczone:

Wyniki testów pokazujące największe zmiany sentymentu wywołane formatowaniem kolorów w czterech modelach Vision Language. Wartości mierzone są względem bazowego czarnego tekstu, przy czym kolumny pozytywne i negatywne pokazują największy ruch w każdym kierunku, a zakres podsumowuje ogólną podatność każdego modelu na uprzedzenie wywołane kolorem.

Of these results, the authors state:

‘Qwen2-VL-7B wykazuje największe pozytywne uprzedzenie, gdy pozytywne słowa są pokolorowane na zielono/niebiesko (do +0.42), oraz największe negatywne uprzedzenie, gdy negatywne słowa są pokolorowane na czerwono (do -0.48).’

‘Ogólna podatność różni się znacznie w zależności od modelu: Qwen2-VL-7B wykazuje największy całkowity zakres (0,90), następnie IDEFICS2-8B (0,52), podczas gdy warianty LLaVA wykazują znacznie mniejsze zakresy (0,04–0,12), co wskazuje na stosunkowo słabszą wrażliwość na stylizację koloru na poziomie słowa w tym ustawieniu.’

‘Obserwujemy wyraźne spektrum podatności: Qwen2-VL-7B wykazuje największe zmiany wywołane kolorem, podczas gdy warianty LLaVA są stosunkowo odporne.’

Kolejne wyniki pokazują, że efekt koloru jest daleki od jednolitego: Qwen2-VL-7B okazał się najbardziej podatny, przy czym zielony i niebieski tekst konsekwentnie przesuwał sentyment w kierunku bardziej pozytywnych ocen, gdy podkreślano pozytywne słowa, natomiast czerwony tekst przesuwał prognozy w bardziej negatywnym kierunku, gdy podkreślano negatywne słowa:

Wyniki testów porównujące zmiany sentymentu wywołane kolorem w czterech modelach Vision Language. Wykresy pokazują, jak różne kolory tekstu zmieniały prognozy sentymentu względem bazowego czarnego tekstu, przy czym oś pionowa wskazuje wielkość i kierunek każdego przesunięcia. Qwen2-VL-7B wykazał największą wrażliwość na kolor, podczas gdy oba modele LLaVA pozostały stosunkowo stabilne.

Silniejsza intensywność koloru zazwyczaj wzmacniała te efekty, jak podaje artykuł: IDEFICS2-8B wykazał podobny wzorzec, choć w mniejszym stopniu, natomiast oba warianty LLaVA utrzymywały się blisko bazowego poziomu w większości kolorów i intensywności, co wskazuje na znacznie większą odporność na manipulację kolorem.

Badacze następnie przetestowali dłuższe fragmenty, rozdzielając język pozytywny i negatywny na różne połówki Long‑sentence Sentiment Set, co pozwoliło zmierzyć wpływ struktury dokumentu wraz z uprzedzeniem kolorystycznym. Eksperymenty określiły, czy każdy model bardziej polegał na początku (pierwszeństwo) czy na końcu (świeżość) fragmentu.

Struktura dokumentu często przewyższała wskazówki kolorystyczne: Qwen2-VL-7B i LLaVA‑Mistral‑7B preferowały drugą połowę tekstu, podczas gdy IDEFICS2-8B i LLaVA‑Vicuna‑7B częściej opierały się na pierwszej:

Wyniki testów pokazujące, jak cztery modele Vision Language wykorzystywały pozycję dokumentu przy analizie dłuższych fragmentów. „Strategia pozycyjna” wskazuje, czy prognozy podążały za pierwszą połową (pierwszeństwo) czy drugą połową (świeżość) tekstu; „Zgodność” pokazuje, jak konsekwentnie stosowano tę strategię; a „Zakres uprzedzenia kolorystycznego” mierzy pozostały wpływ koloru tekstu w tych ustrukturyzowanych warunkach.

Kolor nadal wpływał na niektóre modele, szczególnie IDEFICS2-8B, ale stał się mniej istotny w ustrukturyzowanym tekście.

Aby zrozumieć, dlaczego zmiany koloru mogą zmieniać sentyment bez zmiany samych słów, badacze przeanalizowali, jak kolor wpływa na wewnętrzne reprezentacje wizualne modeli przy użyciu analizy projekcji semantycznej CLIP. Jak pokazano poniżej, zmiana odcienia słowa konsekwentnie przesuwała jego semantyczną reprezentację w kilku wymiarach koncepcyjnych:

Wyniki testów pokazujące, jak kolor tekstu zmienił wewnętrzną semantyczną reprezentację sześciu słów. Wykresy śledzą słowa „warm” (ciepły), „cold” (zimny), „safe” (bezpieczny), „dangerous” (niebezpieczny), „good” (dobry) i „bad” (zły) wzdłuż osi bezpieczeństwa, walencji, temperatury i emocji, wykazując, że sama zmiana koloru systematycznie przesuwa ich wewnętrzne reprezentacje, mimo że sam tekst pozostał niezmieniony.

Największe zmiany pojawiły się na osi „dobry” kontra „zły”. Jak wykazano powyżej, prosta zmiana słowa z czarnego na zielony zwykle przesuwała jego wewnętrzne znaczenie w bardziej pozytywnym kierunku, podczas gdy niebieski przesuwał je w przeciwną stronę – mimo że samo słowo się nie zmieniło. Mniejsze, ale konsekwentne przesunięcia pojawiały się także w wymiarach emocja, bezpieczeństwo i temperatura.

CLIP został użyty wyłącznie do badania tych wewnętrznych reprezentacji, a nie do wyjaśniania dokładnie, jak działa każdy Vision Language Model. Mimo to, ten sam wzorzec obserwowany w CLIP ściśle odpowiada zmianom sentymentu wywołanym kolorem, zaobserwowanym w wcześniejszych eksperymentach.

Badacze następnie sprawdzili, czy zmiana kontrastu tekstu, a nie koloru, może również wprowadzać w błąd Vision Language Models podczas Visual Question Answering (VQA). Niepoprawna, ale przekonująca odpowiedź‑przynęta została podświetlona, podczas gdy otaczający tekst został przyciemniony:

Wyniki testów porównujące wydajność Visual Question Answering w trzech warunkach uwidocznienia tekstu. Wyniki są średnimi z sześciu poziomów niskiego kontrastu w skali szarości, a jedyną różnicą między kolumnami jest to, czy żaden tekst, poprawna odpowiedź, czy odpowiedź‑przynęta została wyrenderowana w wysokim kontraście czerni. Podświetlenie poprawnej odpowiedzi konsekwentnie zwiększało wyniki F1, natomiast podświetlenie przyciągającej uwagę odpowiedzi zmniejszało je.

Powyższe wyniki wskazują, że podświetlenie poprawnej odpowiedzi poprawiło dokładność, natomiast podkreślenie przyciągającej uwagę odpowiedzi ją obniżyło. Efekt ten został następnie zmierzony przy użyciu wspomnianego IER:

Wyniki testów pokazujące, jak często każdy Vision Language Model wybierał wizualnie wyróżnioną, ale niepoprawną odpowiedź. Kolumny przedstawiają sześć poziomów niskiego kontrastu w skali szarości zastosowanych do otaczającego tekstu w warunku „Decoy Salient”, przy czym wyższe wartości oznaczają niższą widoczność. W miarę jak otaczający tekst stawał się trudniejszy do odczytania, wskaźniki błędów indukowanych ogólnie rosły, podczas gdy Qwen2-VL-7B pozostawał konsekwentnie bardziej odporny niż pozostałe modele.

Wnioski

Będzie interesujące zobaczyć, czy ta konkretna podatność zostanie wykorzystana, zwłaszcza że byłoby ciekawie obserwować, jak „przekierowanie koloru” może być wstrzykiwane bez stawania się oczywistym dla ludzkich czytelników.

Choć skrapery internetowe AI, które faktycznie renderują strony, mogą otrzymać „alternatywny” CSS zmieniający kolory w wybranych fragmentach tekstu, wiele zależy od precyzji skrapera; jeśli skraper po prostu wyciąga HTML w poszukiwaniu kodu (HTML) i tekstu (zawartość strony), może zignorować CSS i nigdy nie dowiedzieć się o kolorowaniu. Jednakże zachłanny skraper prawdopodobnie będzie chciał także nowy CSS, umożliwiając renderowanie i ponowne kolorowanie.

Alternatywnie, książki lub czasopisma z selektywnie przefarbowanym tekstem mogłyby zostać przesłane do zaufanych repozytoriów, takich jak The Internet Archive (bardzo popularny cel), nawet podszywając się pod skany starszych dzieł. Istnieje wiele dróg wstrzyknięcia w ramach obecnych praktyk i nie tylko dla tego nowego, szczególnie kolorowego podejścia.

Pierwsze opublikowanie: poniedziałek, 17 sierpnia 2026