การเปลี่ยนสีฟอนต์สามารถขัดขวางการให้เหตุผลของ AI

การศึกษาฉบับใหม่พบว่าการจัดรูปแบบธรรมดาสามารถชี้นำการให้เหตุผลของ AI อย่างเงียบ ๆ ทำให้ AI มองข้ามคำ, ผิดพลาดในการอ่านความหมาย, และสรุปผลต่างออกไป – โดยไม่ต้องเปลี่ยนข้อความเอง.

การเข้ารหัสสีของมนุษย์ในวัฒนธรรม อาจแตกต่าง กันทั่วโลก, แต่แนวคิดตะวันตก – เช่น สีแดงหมายถึง “อันตราย”, สีเขียวหมายถึง “ปลอดภัย” – ยังคงครอบงำแม้ใน โมเดลภาษาแบบภาพ (VLMs) ของเอเชีย, ด้วย เหตุผลเชิงกลยุทธ์และ/หรือโดยบังเอิญหลายประการ.

เราก็เช่นเดียวกัน; การทำให้สิ่ง “แย่” มีสีที่เป็นบวก, และสิ่ง “ดี” มีสีที่เป็นลบ, ทำให้มนุษย์ตอบสนองต่อสิ่งเหล่านั้นต่างกัน. การ ปรับความสว่างและคอนทราสต์ ก็มีผลเช่นกัน.

การทำงานร่วมกันของนักวิจัยใหม่ได้สำรวจว่าปรากฏการณ์นี้ยังใช้กับโมเดล AI หรือไม่, ค้นพบเบื้องต้นว่ามีสัญญาณว่า VLMs สามารถได้รับอิทธิพล โดยการจัดการสีของข้อความ, รวมถึงการเปลี่ยนคอนทราสต์และความสว่างสัมพัทธ์.

The authors state:

‘การทดลองของเราให้การวิเคราะห์เชิงระบบว่าการจัดสไตล์ภาพระดับต่ำของข้อความทำให้การแทนความหมายเชิงเซมานติกภายในตัวเข้ารหัสภาพของ VLM ผิดเพี้ยนอย่างไร. นอกจากนี้, เราตรวจสอบว่าการเปลี่ยนแปลงในพื้นที่แฝงเหล่านี้ปรากฏเป็นการเปลี่ยนแปลงพฤติกรรมใน VLMs แบบครบวงจรในงานที่เป็นเชิงอัตวิภาค (การวิเคราะห์ความรู้สึก) และเชิงวัตถุ (การตอบคำถาม).

‘ผลลัพธ์เหล่านี้แสดงให้เห็นว่าการจัดสไตล์ภาพเปิดเผยช่องโหว่สำคัญที่ยังไม่ได้รับการสำรวจใน VLMs, และเราพิจารณาผลกระทบต่อความทนทานและความปลอดภัยของกระบวนการทำงานของ VLM.’

จากเว็บไซต์โครงการของงานใหม่, ภาพประกอบว่าการเปลี่ยนสีข้อความอย่างเดียวสามารถเปลี่ยนการตีความภายในของ AI ต่อคำได้อย่างไร. ตัวอย่างแสดงคำ ‘bad’ ที่แสดงด้วยสีต่าง ๆ, โดยสีเขียวทำให้การแทนความหมายเชิงเซมานติกของคำนี้เคลื่อนที่ไปในทิศทางบวกแม้ข้อความไม่ได้เปลี่ยนแปลง.Source

สีทำให้ฉันประหลาดใจ

At the moment, for the billions of businesses and individuals whose vital search traffic has been brutally cut-down by the advent of AI synopses in search results, as well as the shift to LLM as a search oracle, attack surfaces of this nature are currently very attractive.

Because Reddit’s constant sizzle of human discussion is vital to keep AI’s knowledge current, that social media platform has become a prime target for businesses and individuals that want to be included in LLM knowledge; guides have already emerged on ‘gaming’ Reddit as a proxy method of influencing LLMs.

In a similar vein, there’s the old trick of including text that only machines will see, so that you can pass hidden, self-serving instructions to an LLM, to win an academic tournament, or influence exam results.

Most recently, Time magazine began placing ads into a ‘secret’ version of its site only visible to the AI web crawlers that are constantly trammeling sites for new data, thus potentially allowing advertisers to buy their way into greater prominence (or a more positive take) in AI responses.

Therefore any new LLM/VLM weakness, such as color-coded responses that can be ‘switched’ to manipulate results, are an obvious target for a world trying desperately seeking to reclaim control of the media narrative from frontier AI.

For instance, a company seeking to build a polluting factory likely to reduce the quality of local water could add color-coding to its lexicon of spin, in marketing materials or press releases, as an added deflection of news that most would consider ‘negative’.

Strategic use of CSS and/or SEO techniques could even hide the color manipulations from casual human readers, by serving up AI-only stylesheets that impose color emphases in text that are hidden from humans, who will see only black text.

The authors of the new work state:

‘These sensitivities imply a reliability and safety risk for VLM pipelines that ingest documents or UI screenshots: benign or adversarial styling can steer model decisions without changing the underlying text.

‘Practical safeguards include normalizing rendered text before inference, cross-checking image-based answers with OCR-extracted text, and adding style-invariance checks to evaluation suites.’

The new work is titled Seeing Red, Thinking Bad: Color Bias in Vision Language Models, and comes from five researchers across Japan’s National Institute of Advanced Industrial Science and Technology (AIST), the University of Tsukuba, the University of Technology Nuremberg, and the University of Oxford. The initiative comes with a GitHub repository and a project site.

วิธีการ

To find out how much visual presentation alone could influence the models, the researchers developed ‘Stealth Visual Prompts’ – ordinary-looking changes to text formatting, that carry no explicit instruction to the AI.

This could be as simple as changing the color of positive or negative words, or making a wrong answer stand out more clearly than the correct one, while leaving the actual wording untouched.

Different text was generated for each task, with the sentiment tests using neutral templates populated with positive and negative words, while the Visual Question Answering (VQA) tests drew on question-context pairs from SQuAD:

ตัวอย่างคำถามที่มุ่งเน้นเครื่องจักรจากชุดข้อมูล SQuAD ที่ใช้ในงานใหม่. Source

The resulting curated collection was titled the VQA Stealth Set.

Text was rendered onto a standardized 800x600px canvas, with a fixed layout, so that only the targeted visual styling would be changed. Color and contrast were manipulated independently, with color testing learned semantic associations, and contrast testing visual salience.

Selected words were recolored, and entire passages rendered at lower contrast; or, in the Saliency Competition setting, incorrect answers were made visually more prominent than correct ones.

Any resulting change in model responses could therefore be attributed solely to visual styling rather than changes to the underlying text.

ข้อมูลและการทดสอบ

Three distinct test sets were created to represent different ways in which VLMs process text presented as images:

<img class=" wp-image-453179" src="https://www.unite.ai/wp-content/uploads/2026/08/figure-2-2.jpg" alt="ภาพอธิบายการออกแบบการทดสอบภาพสามแบบ. ตัวอย่างแสดงสิ่งกระตุ้นที่ใช้ทดสอบว่าการนำเสนอภาพอย่างเดียวสามารถมีอิทธิพลต่อการให้เหตุผลของโมเดลหรือไม่: (a) ข้อความผสมอารมณ์ที่มีคำที่เลือกสีใหม่เพื่อทดสอบอคติสี; (b) ย่อหน้าที่ยาวขึ้นแยกภาษาเชิงบวกและเชิงลบเพื่อประเมินว่าการจัดโครงสร้างเอกสารเปลี่ยนผลหรือไม่; และ (c) ตัวอย่างการตอบคำถามภาพที่คำตอบปลอมที่มีความหมายคล้าย ('twenty miles') ถูกทำให้เด่นขึ้นด้วยคอนทราสต์สูง.Source

The Short-sentence Sentiment Set tests word-level color bias using 100 short sentences generated from neutral templates that contain positive or negative words. Each sentence was rendered in 37 visual versions, comprising a black-text baseline plus combinations of six colors (red, green, blue, yellow, cyan and magenta), at three intensity levels.

The Long-sentence Sentiment Set used longer passages, in which positive and negative language was separated into different parts of the text. This was intended to determine whether broader document structure and positional effects, such as primacy or recency (position-based biases, in which information appearing earlier or later in a document can be given greater weight), would outweigh any color-induced bias. The same 37 color conditions were applied.

In the VQA Stealth Set questions and their associated context were rendered as images, after which two contrast-based conditions were tested: in Global Contrast, the readability of the entire document was reduced by rendering it at progressively lower contrast levels; and in Saliency Competition, either the correct answer, or a semantically similar decoy word (selected using CLIP similarity) was rendered in high contrast, while the remaining text was faded – allowing visual emphasis to compete with the evidence in the text.

เมตริก

Each example was classified as POSITIVE, NEUTRAL or NEGATIVE. The resulting classifications were then compared with an all-black baseline (black text on a white background) to determine the extent to which color alone shifted predictions toward more positive or more negative outcomes.

The VQA experiments were evaluated via token-level F1 score, wherein predicted answers were compared with the accepted ground truth answers.

Induced Error Rate (IER), a novel metric, was introduced specifically for the Saliency Competition test, and was intended to measure how often a visually-highlighted decoy answer was selected (instead of the correct answer), when text visibility was reduced.

Additionally, a CLIP representation probe was used to measure how changes in color altered a word’s semantic representation within CLIP’s embedding space.

Further, a VLM-based Optical Character Recognition (OCR) proxy was used to assess how reliably individual words could be read at progressively lower contrast levels, allowing the point at which rendered text became effectively unreadable to be estimated.

Evaluation was performed using four open-source VLMs: LLaVA-v1.6-Mistral-7B; LLaVA-v1.6-Vicuna-7B; Qwen2-VL-7B-Instruct; and IDEFICS2-8B. The authors emphasize that open-source models were selected to ensure that the experiments could be reproduced under fixed prompts, rendering settings, and deterministic decoding.

ผลลัพธ์

The authors initially evaluated color prompts on the Short-Sentence Sentiment Set, leveraging word-level color bias, where sentiment-bearing words were interspersed:

ผลการทดสอบแสดงการเปลี่ยนแปลงอารมณ์ที่ใหญ่ที่สุดที่เกิดจากการจัดรูปแบบสีในสี่โมเดลภาษาแบบภาพ. ค่าถูกวัดเทียบกับฐานสีดำทั้งหมด, โดยคอลัมน์บวกและลบแสดงการเคลื่อนที่ที่มากที่สุดในแต่ละทิศทาง, ส่วนช่วงสรุปความไวต่ออคติสีโดยรวมของแต่ละโมเดล.

Of these results, the authors state:

‘Qwen2-VL-7B แสดงอคติบวกที่ใหญ่ที่สุดเมื่อคำบวกถูกทำให้เป็นสีเขียว/น้ำเงิน (สูงสุด +0.42), และแสดงอคติลบที่ใหญ่ที่สุดเมื่อคำลบเป็นสีแดง (ต่ำสุด -0.48).’

‘ความไวต่ออคติโดยรวมแตกต่างอย่างมากตามโมเดล: Qwen2-VL-7B มีช่วงรวม (Total Range) สูงสุด (0.90), ตามด้วย IDEFICS2-8B (0.52), ในขณะที่รุ่น LLaVA มีช่วงที่เล็กกว่ามาก (0.04–0.12), บ่งบอกถึงความอ่อนไหวต่อการจัดสไตล์สีระดับคำที่ต่ำกว่าในสภาวะนี้.’

‘เราสังเกตเห็นสเปกตรัมความไวที่ชัดเจน: Qwen2-VL-7B มีการเปลี่ยนแปลงจากสีมากที่สุด, ในขณะที่รุ่น LLaVA มีความทนทานมากกว่า.’

Further results below show that the color effect is far from uniform: Qwen2-VL-7B proved the most susceptible, with green and blue text consistently pushing sentiment toward more positive judgments when positive words were highlighted, while red text pushed predictions in a more negative direction when negative words were highlighted:

ผลการทดสอบเปรียบเทียบการเปลี่ยนแปลงอารมณ์จากสีในสี่โมเดลภาษาแบบภาพ. กราฟแสดงว่าตัวสีข้อความต่าง ๆ เปลี่ยนการคาดการณ์อารมณ์เทียบกับฐานสีดำทั้งหมด, โดยแกนแนวตั้งบ่งบอกขนาดและทิศทางของการเปลี่ยนแปลง. Qwen2-VL-7B มีความไวต่อสีสูงสุด, ในขณะที่ทั้งสองรุ่น LLaVA คงที่กว่า.

ความเข้มของสีที่สูงกว่ามักทำให้ผลกระทบเหล่านี้เพิ่มขึ้น, งานวิจัยระบุว่า IDEFICS2-8B แสดงรูปแบบคล้ายกันแม้ระดับน้อยกว่า, ในขณะที่ทั้งสองรุ่น LLaVA ยังคงอยู่ใกล้ฐานสีในหลายสีและความเข้ม, แสดงถึงความต้านทานต่อการจัดการสีที่สูงกว่า.

นักวิจัยต่อมาทดสอบย่อหน้าที่ยาวขึ้นโดยแยกภาษาเชิงบวกและเชิงลบเป็นสองส่วนของ Long-sentence Sentiment Set, เพื่อให้สามารถวัดผลของโครงสร้างเอกสารพร้อมกับอคติสี. การทดลองกำหนดว่ารุ่นใดพึ่งพาตำแหน่งเริ่มต้น (primacy) หรือสิ้นสุด (recency) ของย่อหน้ามากกว่า.

โครงสร้างเอกสารมักมีอิทธิพลเหนือสัญญาณสี: Qwen2-VL-7B และ LLaVA-Mistral-7B นิยมส่วนที่สองของข้อความ, ในขณะที่ IDEFICS2-8B และ LLaVA-Vicuna-7B นิยมส่วนแรกมากกว่า;

ผลการทดสอบแสดงว่ารุ่นภาษาแบบภาพสี่รุ่นพึ่งพาตำแหน่งเอกสารเมื่อวิเคราะห์ย่อหน้าที่ยาว. ‘Positional Strategy’ ระบุว่าการคาดการณ์ตามครึ่งแรก (primacy) หรือครึ่งหลัง (recency) ของข้อความ; ‘Adherence’ แสดงความสม่ำเสมอของกลยุทธ์; และ ‘Color Bias Range’ วัดอิทธิพลของสีข้อความภายใต้เงื่อนไขโครงสร้างนี้.

สียังคงส่งผลต่อบางโมเดล, โดยเฉพาะ IDEFICS2-8B, แต่ความสำคัญของสีลดลงเมื่อข้อความมีโครงสร้าง.

เพื่อทำความเข้าใจว่าทำไมการเปลี่ยนสีถึงทำให้อารมณ์เปลี่ยนโดยที่คำไม่เปลี่ยน, นักวิจัยตรวจสอบว่าการเปลี่ยนสีมีผลต่อการแทนภาพภายในของโมเดลโดยใช้การวิเคราะห์การฉายภาพเชิงเซมานติกของ CLIP. ดังที่แสดงด้านล่าง, การเปลี่ยนเฉดสีของคำทำให้การแทนความหมายของคำนั้นเคลื่อนที่อย่างสม่ำเสมอในหลายมิติแนวคิด:

ผลการทดสอบแสดงว่าการเปลี่ยนสีข้อความทำให้การแทนความหมายเชิงเซมานติกของหกคำเปลี่ยนไป. กราฟติดตามคำ ‘warm’, ‘cold’, ‘safe’, ‘dangerous’, ‘good’ และ ‘bad’ บนแกนความปลอดภัย, ความรู้สึก, อุณหภูมิและอารมณ์, แสดงว่าการเปลี่ยนสีอย่างเดียวทำให้การแทนภายในเปลี่ยนอย่างเป็นระบบ แม้ว่าข้อความไม่ได้เปลี่ยน.

การเปลี่ยนแปลงที่ใหญ่ที่สุดปรากฏบนแกน ‘good’ กับ ‘bad’. อย่างที่แสดงข้างต้น, การเปลี่ยนคำจากสีดำเป็นสีเขียวมักทำให้ความหมายภายในเคลื่อนที่ไปในทิศทางบวก, ส่วนสีฟ้ามักทำให้เคลื่อนที่ในทิศทางตรงกันข้าม – แม้ว่าคำเองไม่เปลี่ยน. การเปลี่ยนแปลงที่เล็กกว่าแต่สม่ำเสมอยังพบใน emotion, safety และ temperature.

CLIP ถูกใช้เพื่อพิจารณาการแทนภายในเหล่านี้เท่านั้น, ไม่ได้ใช้เพื่ออธิบายการทำงานของทุกโมเดลภาษาแบบภาพ. อย่างไรก็ตาม, รูปแบบเดียวกันที่พบใน CLIP ตรงกับการเปลี่ยนแปลงอารมณ์จากสีที่สังเกตในการทดลองก่อนหน้า.

นักวิจัยต่อมาศึกษาว่าการเปลี่ยนคอนทราสต์ของข้อความแทนการเปลี่ยนสีจะทำให้โมเดลภาษาแบบภาพหลงได้หรือไม่ในงาน Visual Question Answering (VQA). คำตอบปลอมที่สมเหตุสมผลแต่ไม่ถูกต้องถูกทำให้เด่นโดยคอนทราสต์สูงในขณะที่ข้อความรอบข้างถูกทำให้จางลง:

ผลการทดสอบเปรียบเทียบประสิทธิภาพ Visual Question Answering ภายใต้สามเงื่อนไขความเด่นของข้อความ. ผลลัพธ์เป็นค่าเฉลี่ยจากหกระดับคอนทราสต์สีเทา, โดยความแตกต่างระหว่างคอลัมน์คือไม่มีข้อความ, คำตอบที่ถูกต้อง, หรือคำตอบปลอมที่แสดงด้วยสีดำคอนทราสต์สูง. การทำให้คำตอบที่ถูกต้องเด่นทำให้ค่า F1 เพิ่มขึ้น, ส่วนการทำให้คำตอบปลอมเด่นทำให้ค่า F1 ลดลง.

ผลลัพธ์ข้างต้นบ่งบอกว่าการทำให้คำตอบที่ถูกต้องเด่นช่วยเพิ่มความแม่นยำ, ส่วนการเน้นคำตอบปลอมทำให้ความแม่นยำลดลง. ผลนี้จึงถูกวัดด้วย IER ที่กล่าวถึงก่อนหน้านี้:

ผลการทดสอบแสดงความถี่ที่แต่ละโมเดลภาษาแบบภาพเลือกคำตอบที่เด่นแต่ไม่ถูกต้อง. คอลัมน์แสดงหกระดับคอนทราสต์สีเทาที่ใช้กับข้อความรอบข้างในเงื่อนไข ‘Decoy Salient’, โดยค่าที่สูงกว่าบ่งบอกการมองเห็นที่ยากขึ้น. เมื่อข้อความรอบข้างอ่านยากขึ้น, อัตราความผิดพลาดที่เกิดขึ้นโดยการเน้นสีมักเพิ่มขึ้น, ในขณะที่ Qwen2-VL-7B ยังคงต้านทานได้ดีกว่าโมเดลอื่น.

สรุป

It will be interesting to see if this particular wrinkle will be exploited, not least, because it would be interesting to see how ‘color misdirection’ could be injected without becoming obvious to human readers.

Though AI web scrapers that actually render pages can be served ‘alternative’ CSS that would change the colors in selected parts of text, a lot depends on the acuity of the web scraper; if the scraper just sucks out the HTML looking for code (HTML) and text (page content), it may ignore the CSS, and never know about the coloring. However, the greedy scraper is likely to want new CSS too, allowing for rendering and recoloring.

Alternatively, books or magazines with selectively recolored text could be uploaded to trusted repositories such as The Internet Archive (a very popular target), even posing as scans of older works. There are many avenues of injection under current practices, and not just for this new and particularly colorful approach.

First published Monday, 17 สิงหาคม 2026