更改字体颜色可能劫持 AI 推理

一项新研究发现，普通的格式设置可以悄然引导 AI 推理，使其忽略词语、误读含义并得出不同的结论——而无需更改文本本身。

人类对颜色的文化编码在全球可能各不相同，但西方的观念——例如红色代表“危险”，绿色代表“可以”——即使在亚洲的视觉语言模型（VLM）中也倾向占主导地位，原因涉及各种战略或偶然因素。

我们并无不同；将“坏”事物涂上积极的颜色、将“好”事物涂上消极的颜色，会让人类对其产生不同的反应。改变亮度和对比度亦是如此。

一项新的研究合作探讨了这一现象在 AI 模型中的适用程度，初步发现通过操控文本颜色以及改变相对对比度和亮度可以影响 VLM。

‘我们的实验系统性地分析了文本低层次视觉样式如何扭曲 VLM 视觉编码器中的语义表示。此外，我们还考察了这些潜在空间的偏移如何在端到端 VLM 中表现为行为变化，涵盖主观（情感分析）和客观（问答）任务。’

‘这些结果表明，视觉样式揭示了 VLM 中一个关键且此前未被充分探讨的脆弱性，我们讨论了其对 VLM 流水线鲁棒性和安全性的影响。’

新研究项目网站上的示意图展示了仅改变文字颜色就能如何影响AI对词语的内部解读。图中将“bad”（坏）这个词呈现为不同颜色；尽管文字本身没有变化，绿色仍使其语义表征向更积极的方向偏移。 来源

让我们惊讶的颜色

目前，随着 AI 摘要在搜索结果中的出现以及 LLM 作为搜索预言机的转变，数十亿企业和个人的关键搜索流量被残酷削减，这类攻击面目前极具吸引力。

由于 Reddit 持续的人类讨论对保持 AI 知识的时效性至关重要，该社交媒体平台已成为希望进入 LLM 知识库的企业和个人的主要目标；已有指南出现，介绍如何通过“操纵” Reddit 作为影响 LLM 的代理方法。

类似地，过去就有只让机器看到的文本技巧，可向 LLM 传递隐藏的自利指令，以赢得学术竞赛或影响考试成绩。

最近，Time 杂志开始在其仅对持续抓取新数据的 AI 网络爬虫可见的“秘密”版本网站投放广告，从而可能让广告商通过付费获得在 AI 回答中更高的曝光度（或更积极的表述）。

因此，任何新的 LLM/VLM 弱点，例如可“切换”以操纵结果的颜色编码响应，都是试图从前沿 AI 手中夺回媒体叙事控制权的世界的明显目标。

例如，某公司若计划建设一家可能降低当地水质的污染工厂，可能在营销材料或新闻稿中加入颜色编码的宣传词汇，以进一步转移公众对其“负面”新闻的关注。

通过策略性使用 CSS 和/或 SEO 技术，甚至可以向普通读者隐藏颜色操控，提供仅供 AI 使用的样式表，在文本中施加颜色强调，而人类只能看到黑色文字。

‘这些敏感性表明，摄取文档或 UI 截图的 VLM 流水线存在可靠性和安全性风险：良性或对抗性的样式可在不更改底层文本的情况下引导模型决策。’

‘实际的防护措施包括在推理前对渲染文本进行标准化、将基于图像的答案与 OCR 提取的文本进行交叉核对，以及在评估套件中加入样式不变性检查。’

这项新工作题为《Seeing Red, Thinking Bad：视觉语言模型中的颜色偏差》，由日本国立产业技术综合研究所（AIST）、筑波大学、纽伦堡技术大学以及牛津大学的五位研究者共同完成。该项目提供了 GitHub 仓库和项目网站。

方法

为了了解仅视觉呈现能在多大程度上影响模型，研究人员开发了“隐形视觉提示”——看似普通的文本格式更改，却不向 AI 传递任何明确指令。

这可能仅是将积极或消极词汇的颜色更改，或让错误答案比正确答案更显眼，同时保持实际文字不变。

为每项任务生成不同的文本，情感测试使用填入积极和消极词汇的中性模板，而视觉问答（VQA）测试则采用来自 SQuAD 的问答配对：

新研究使用的SQuAD数据集中，面向模型的示例问题。 来源

最终整理的集合被命名为 VQA 隐形集合。

文本被渲染到标准化的 800×600 像素画布上，采用固定布局，以便仅更改目标视觉样式。颜色和对比度独立操控，颜色测试学习语义关联，对比度测试视觉显著性。

选定词汇被重新着色，整段文字以较低对比度呈现；或者在显著性竞争设置中，使错误答案在视觉上比正确答案更突出。

因此，模型响应的任何变化都可归因于视觉样式，而非底层文本的更改。

数据与测试

创建了三套不同的测试集，以代表 VLM 处理图像文本的不同方式：

三种视觉测试设计的示意图。示例展示了用于检验视觉呈现本身是否会影响模型推理的刺激材料：（a）在包含混合情感的文本中改变选定词语的颜色，以测试颜色偏差；（b）在较长段落中将积极和消极措辞分开，以评估文档结构是否会改变这种影响；（c）一个视觉问答示例，通过提高对比度，让错误但语义相近的诱饵答案“twenty miles”（二十英里）在视觉上更突出。 来源

短句情感集通过 100 条由中性模板生成、包含积极或消极词汇的短句，测试词级别的颜色偏差。每条句子以 37 种视觉版本呈现，包括黑色文本基线以及六种颜色（红、绿、蓝、黄、青、品红）的组合，且每种颜色有三种强度。

长句情感集使用更长的段落，将积极和消极语言分布在文本的不同部分。此设计旨在判断更广的文档结构和位置效应（如首因效应或近因效应——基于位置的偏差，信息出现得更早或更晚会获得更大权重）是否会超过颜色引起的偏差。采用相同的 37 种颜色条件。

在 VQA 隐形集合中，问题及其关联上下文被渲染为图像，随后测试了两种基于对比度的条件：在全局对比度（Global Contrast）中，通过逐步降低对比度来降低整篇文档的可读性；在显著性竞争（Saliency Competition）中，将正确答案或一个语义相似的诱饵词（使用 CLIP 相似度选取）以高对比度呈现，而其余文本则淡化——使视觉强调与文本证据竞争。

指标

每个示例被分类为正面、 中性 或 负面。随后将这些分类与全黑基线（白底黑字）进行比较，以确定仅颜色因素将预测向更积极或更消极方向转移的程度。

VQA 实验通过 token 级别的 F1 分数进行评估，即将预测答案与公认的真实答案进行比较。

诱发错误率（IER）是一项专为显著性竞争测试引入的新指标，用于衡量在文本可见度降低时，视觉突出显示的诱饵答案被选中的频率（相对于正确答案）。

此外，还使用 CLIP 表征探针来衡量颜色变化如何改变词语在 CLIP 嵌入空间中的语义表示。

进一步，使用基于 VLM 的光学字符识别（OCR）代理，评估在逐步降低对比度的情况下，单词的可读性可靠性，从而估计渲染文本何时变得基本不可读。

评估使用了四个开源 VLM：LLaVA-v1.6-Mistral-7B、LLaVA-v1.6-Vicuna-7B、Qwen2-VL-7B-Instruct 和 IDEFICS2-8B。作者强调选择开源模型是为了确保在固定提示、渲染设置和确定性解码下能够复现实验。

结果

作者最初在短句情感集上评估颜色提示，利用词级颜色偏差，对情感词进行交叉呈现：

测试结果展示了四种视觉语言模型因颜色格式变化而产生的最大情感偏移。数值以全黑文字为基准；正向和负向列分别表示两个方向上的最大变化，范围则概括了各模型对颜色引发偏差的总体敏感程度。

‘Qwen2-VL-7B 在积极词汇被染为绿色/蓝色时表现出最大的正向偏差（最高 +0.42），而在消极词汇被染为红色时表现出最大的负向偏差（最低 -0.48）。’

‘总体易感性因模型而显著不同：Qwen2-VL-7B 的总范围最大（0.90），其次是 IDEFICS2-8B（0.52），而 LLaVA 变体的范围则明显更小（0.04–0.12），表明在该设置下对词级颜色样式的敏感度相对较弱。’

‘我们观察到易感性呈明显光谱分布：Qwen2-VL-7B 显示出最大的颜色诱导偏移，而 LLaVA 变体相对更为稳健。’

以下进一步结果显示颜色效应并非统一：Qwen2-VL-7B 最为易感，当积极词汇以绿色或蓝色突出显示时，情感倾向持续向更积极判断转移；而当消极词汇以红色突出时，预测则倾向更负面：

测试结果比较了四种视觉语言模型中由颜色引发的情感偏移。图表展示不同文字颜色如何改变相对于全黑文字基准的情感预测，纵轴表示每次偏移的大小和方向。Qwen2-VL-7B对颜色最为敏感，而两种LLaVA模型相对稳定。

论文报告称，颜色强度更高通常会放大这些效应：IDEFICS2-8B 显示出类似模式，但幅度较小，而两款 LLaVA 变体在大多数颜色和强度下仍接近基线，表明对基于颜色的操控具有更强抵抗力。

研究人员随后通过将积极和消极语言分别置于长句情感集的上下半段，测试更长段落，以便在评估颜色偏差的同时测量文档结构。实验旨在确定每个模型更依赖段落的开头（首因效应）还是结尾（近因效应）。

文档结构常常超过颜色提示的影响：Qwen2-VL-7B 和 LLaVA-Mistral-7B 更倾向于文本的后半段，而 IDEFICS2-8B 和 LLaVA-Vicuna-7B 则更常依赖前半段：

测试结果展示四种视觉语言模型在分析较长段落时如何依赖文档中的位置。“Positional Strategy”（位置策略）表示预测更依从文本前半部分的首因效应，还是后半部分的近因效应；“Adherence”（遵循程度）表示模型遵循该策略的一致性；“Color Bias Range”（颜色偏差范围）衡量在这些结构化条件下文字颜色仍然产生的影响。

颜色仍对部分模型产生影响，尤其是 IDEFICS2-8B，但在结构化文本中其影响力减弱。

为了解释颜色变化为何在不改变词语本身的情况下影响情感，研究人员使用 CLIP 语义投影分析检视颜色对模型内部视觉表征的影响。如下面所示，改变词语色相会在多个概念维度上持续地转移其语义表征：

测试结果展示文字颜色如何改变六个词的内部语义表征。图表追踪“warm”（温暖）、“cold”（寒冷）、“safe”（安全）、“dangerous”（危险）、“good”（好）和“bad”（坏）在安全性、效价、温度和情绪轴上的变化，表明即使文字本身不变，仅改变颜色也会系统性地使其内部表征发生偏移。

最大变化出现在“好”与“坏”轴上。如上所示，仅将词语从黑色改为绿色就倾向于将其内部意义向更积极方向移动，而蓝色则相反——尽管词语本身未改变。情感、安全和温度等维度也出现了较小但一致的偏移。

CLIP 仅用于检视这些内部表征，并非用来解释每个视觉语言模型的具体工作原理。尽管如此，CLIP 中观察到的相同模式与先前实验中颜色驱动的情感变化高度吻合。

研究人员随后探讨了改变文本对比度而非颜色是否也会在视觉问答（VQA）期间误导视觉语言模型。将一个看似合理却错误的“诱饵”答案突出显示，同时将周围文本淡化：

测试结果比较了三种文字显著性条件下的视觉问答表现。结果取六个低对比度灰度等级的平均值，各列之间唯一的区别是：没有任何文字、正确答案或诱饵答案是否以高对比度黑色呈现。突出正确答案始终会提高F1分数，而突出诱饵答案则会降低分数。

上述结果表明，突出显示正确答案可提升准确率，而强调诱饵则会降低准确率。随后通过前述的 IER 对此效应进行测量：

测试结果展示各视觉语言模型选择视觉上突出但内容错误的答案的频率。各列表示“Decoy Salient”（诱饵突出）条件下周围文字所采用的六个低对比度灰度等级，数值越高表示可见度越低。随着周围文字变得更难阅读，诱发错误率总体上升，而Qwen2-VL-7B始终比其他模型更能抵抗这种影响。

结论

值得关注的是，这一特殊漏洞是否会被利用，尤其是观察“颜色误导”如何在不被人类读者察觉的情况下被注入。

尽管实际渲染页面的 AI 网络爬虫可以接收“替代”CSS，从而改变文本特定部分的颜色，但这在很大程度上取决于爬虫的敏感度；如果爬虫仅提取 HTML 代码和页面文本，可能会忽略 CSS，从而不知晓颜色变化。然而，贪婪的爬虫也可能需要新的 CSS，以实现渲染和重新着色。

或者，将带有选择性重新着色文本的书籍或杂志上传至可信的存储库，如 Internet Archive（一个非常受欢迎的目标），甚至冒充旧作品的扫描件。目前的实践中存在多种注入途径，并非仅限于这种新颖且色彩丰富的方法。

首次发布于 2026 年 8 月 17 日星期一

原文参考来源: archive.is [1] · unite.ai [2] · pubmed.ncbi.nlm.nih.gov [3] · insula.sissa.it [4] · theguardian.com [5] · unite.ai [6] · unite.ai [7] · archive.is [8] · arxiv.org [9] · nature.com [10] · theregister.com [11] · unite.ai [12] · stackoverflow.com [13] · developers.cloudflare.com [14] · arxiv.org [15] · github.com [16] · aclanthology.org [17] · aclanthology.org [18] · archive.is [19] · arxiv.org [20] · deepai.org [21] · archive.is [22] · unite.ai [23] · huggingface.co [24] · huggingface.co [25] · huggingface.co [26] · huggingface.co [27] · fastcompany.com [28]

原文补充参考：proceedings.iclr.cc。