Anderson 视角

教 AI 读懂人类看得见的隐藏文字

mm
将 Unite.AI 添加到您在 Google 上的首选来源
A montage from John Carpenter's SF thriller 'They Live' (1988) shows John Nada (Roddy Piper) putting on sunglasses that reveal the hidden message ‘OBEY’ beneath a billboard advertising a transparent computing environment. © 1988 Universal Studios. All Rights Reserved.

大约 2-3 年前,有一种 AI 风潮迅速兴起,又很快退去:人们利用视觉语言模型(VLMs),将隐晦文字和“潜在图像”嵌入看似无害的生成图片中:

QR Code Monster ControlNet 的输出以视觉错觉和错视效果为特点。来源 - https://web.archive.org/web/20250903115135/https://civitai.com/articles/2413/hidden-faces-and-text-with-controlnet-qr-code-monster-by-thinkdiffusion

QR Code Monster ControlNet 的输出以视觉错觉和错视效果为特点。 来源

这是一种按需生成的错视效果,随着开源的QR Code Monster ControlNet框架而声名大噪。

一旦有足够多的人见识过这种技术,便几乎没有其他用途了;剩下的做法就是将它用于实用密码学,以便发送不会被视觉语言模型或光学字符识别(OCR)系统截获或解读的文字,并传递半潜意识信息:

一个广为人知的 AI 生成视觉错觉实例,与本文的主图一样,取材于约翰·卡朋特 1988 年科幻片《They Live》中的一个迷因。片中,一名男子发现世界充斥着来自潜伏外星种族的潜意识信息。来源 - https://arxiv.org/pdf/2507.22617

你看出其中的信息了吗?如果没有,请向下滚动查看答案。这是一个广为人知的 AI 生成视觉错觉实例,与本文的主图一样,取材于约翰·卡朋特 1988 年科幻片《They Live》中的一个迷因。片中,一名男子发现世界充斥着来自潜伏外星种族的潜意识信息。 来源

2025 年的研究《仇恨显而易见》,以及上个月发表的《隐藏于众目睽睽之下》等作品,清楚展现了这种方法在传播仇恨观点方面的潜力,也说明它总体上可用于隐写。

因此,如今学界主要将其视为一种可能带有恶意的技术,而非有趣的迷因生成器。

深入探讨

拦截此类侵入行为的一项挑战——姑且称之为AI 视觉错觉吧,毕竟似乎还没有统一的名称——是让多模态 AI 模型学会“见树又见林”。当我们眯起眼睛看,或把 AI 视觉错觉缩小到很小的尺寸时,潜意识文字的整体特征对我们来说就很容易辨认:

扩散模型的训练循序渐进,让 AI 从把概念视作“粗略草图”,逐渐学会呈现丰富细节(有点像把……猫头鹰的其余部分画完),因此,VLM理应很擅长辨识这类模式。然而,近期研究表明,事实并非如此:

2025 年的一项研究成果“SemVink”发现,即使是能力不俗的前沿 VLM,也无法识别 AI 视觉错觉中的潜意识文字。来源 - https://johnnyzeppelin.github.io/vlm-semvink/

2025 年的一项研究成果“SemVink”发现,即使是能力不俗的前沿 VLM,也无法识别 AI 视觉错觉中的潜意识文字。 来源

不过,中国近期发表的一篇论文提出了一个新框架,或许能帮助 VLM 识别 AI 视觉错觉。

这种新方法采用一种训练方式,让一个 AI 模型从另一个模型那里学习;训练时,后者会同时获得图像的缩小版本和正确的文字转录。研究人员报告称,这种方法能够直接从原始图像中读出隐藏信息,识别分数也远高于传统训练方法;相关代码现已发布:

所提出的 AI 训练方法示意图。图中展示了两个模型从同一张图像中学习。教师模型会获得额外线索,包括一个能让隐藏文字更容易辨认的缩小版本,以及正确答案。它提供的指导用于训练学生模型;最终,学生模型必须在没有这些线索的情况下识别文字。来源 - https://arxiv.org/pdf/2610.13465

所提出的 AI 训练方法示意图。图中展示了两个模型从同一张图像中学习。教师模型会获得额外线索,包括一个能让隐藏文字更容易辨认的缩小版本,以及正确答案。它提供的指导用于训练学生模型;最终,学生模型必须在没有这些线索的情况下识别文字。  来源

这种名为 SQUINT 的方法利用了知识蒸馏:训练过程中,一个 AI 模型学到的信息会传递给另一个模型。在这里,学生模型通过对教师模型和自身的响应进行数学比较,接受训练以复现教师模型的预测。训练完成后,可以弃用教师模型,只留下一个模型,在没有额外协助的情况下检查新图像。

在 SQUINT 的两个阶段中,首先将学生模型的预测与掌握信息更多的教师模型的预测进行比较,让学生模型从两者的差异中学习。第二阶段则通过奖励对隐藏文字的正确读取,进一步促使模型改进。

测试显示,SQUINT 能识别图像中的隐藏文字,而原始 AI 模型面对这些图像时大多无能为力;在多个独立基准测试中,SQUINT 的表现也更好。研究发现,隐藏文字往往即使无法读出,也能被检测到;当注意力转向图像中构成字母的部分时,识别效果会有所提升。

通过抑制精细细节和纹理,研究人员进一步提升了效果,使底层形状更容易区分:

三项测试探究了隐藏文字为何会被误读。左图:引导模型关注图像中的正确区域,显示找出字母是一项主要障碍。中图:去除细微的视觉细节,显示纹理可能会遮蔽更大的字母形状。右图:加入缩小后的视图,显示缩小图像有助于模型区分视觉上相似的字符。

三项测试探究了隐藏文字为何会被误读。左图:引导模型关注图像中的正确区域,显示找出字母是一项主要障碍。中图:去除细微的视觉细节,显示纹理可能会遮蔽更大的字母形状。右图:加入缩小后的视图,显示缩小图像有助于模型区分视觉上相似的字符。

数据与方法

研究发现,仅仅让模型接触更多 AI 视觉错觉图像并不足够,因为常规训练没有提供理由让模型从不同尺度观察图像。因此,SQUINT 在训练期间使用缩小后的图像版本,教会模型在看到原尺寸图像时应优先关注哪些视觉信息。

为此,研究人员需要两个数据集;SquintBench由 1,076 张图像组成,这些图像从一个未具体说明的生产环境内容审核流程中筛选而来。据作者称,所有图像均取自真实生产数据,似乎是包含隐藏文字的人物头像;人们几乎无需费力便能读出其中的隐藏文字,可见文字和隐藏文字均由人工标注员转录。

第二个数据集 SquintCtrl 包含使用 QR Code Monster v2 在场景图像中嵌入隐藏文字后生成的图像,生成所用模型是如今已颇为老旧的 Stable Diffusion 1.5(看来计算机视觉研究人员非得等它彻底过时才肯放手)。由于每张图像所用的生成文本事先已知,因此可以自动确定其确切位置,从而无需人工标注即可分析识别失败的情况。

SquintCtrl 分为四个子集:SquintCtrl-Pair使用 500 组分别含有和不含隐藏文字的配对图像,测试模型能否检测到隐藏文字;SquintCtrl-Glyph测试模型能否识别并定位单个汉字和拉丁字母;SquintCtrl-Strength在 200 个场景中改变隐藏文字的显著程度;SquintCtrl-Read则提供 200 张开放词汇图像,用于测试完整转录能力。

测试

研究人员使用 Qwen3.5-9B 开展诊断实验,并保持其权重不变,以揭示现有模型原本就能感知到哪些信息。

第一阶段训练 Squint OPSD 利用掌握信息更多的教师模型指导学生模型。教师模型接收原始图像、缩小后的图像版本以及正确转录文本,而学生模型只看到原始图像。随后,研究人员逐个词元比较两者的预测,让学生模型向教师模型学习,同时仍能仅凭原始图像完成任务。

训练使用了 5,905 条提示,其中包括 3,489 张合成隐藏文字图像、1,213 个 OCR 样本和 1,203 个视觉问答样本。SquintBench 用作主要评估集,而迁移能力则通过 Illusory VQA、AdvOCR 和 HC-Bench 进行衡量。研究人员还在 AI2D、DocVQA 和 OCRBench 上测试了更广泛的视觉语言能力。

作为比较,研究人员测试了原始预训练模型、增加缩小视图输入的版本、经过监督式微调(SFT)的版本,以及 DAPO。此外,还将 Claude Opus 5、Gemini 3.1 Pro、GPT-6 Astra 和 Qwen3-VL-235B-Thinking 作为外部参照进行评估。

测试结果对比了 Squint OPSD 与基线方法。Squint OPSD 的 SquintBench 得分最高,为 88.61;与监督式微调相比,它保留了显著更多的通用视觉语言能力。

测试结果对比了 Squint OPSD 与基线方法。Squint OPSD 的 SquintBench 得分最高,为 88.61;与监督式微调相比,它保留了显著更多的通用视觉语言能力。

如上表所示,Squint OPSD 将 SquintBench 得分从原始模型的 26.50 提高到 88.61,表现优于全部三种训练基线,同时基本保留了模型在通用视觉语言测试中的表现。

在接下来的测试中,研究人员使用三个外部隐藏文本基准测试对 Squint OPSD 进行了评估:

在 SquintBench 以及三个外部隐藏文本基准测试中,将 Squint OPSD 与另外五种模型进行比较的测试结果。向模型提供完整且未经修改的图像时,Squint OPSD 在每项测试中均表现最佳。对于 Illusory VQA,词错误率越低,表现越好。

在 SquintBench 以及三个外部隐藏文本基准测试中,将 Squint OPSD 与另外五种模型进行比较的测试结果。向模型提供完整且未经修改的图像时,Squint OPSD 在每项测试中均表现最佳。对于 Illusory VQA,词错误率越低,表现越好。

在 AdvOCR 上,分数从 3.7 升至 66.7;在 HC-Bench 上,从 1.8 升至 44.6;Illusory VQA 上的词错误率则从 178.10 降至 67.00。对于原始 SquintBench 图像,规模大得多的 Qwen3-VL-235B-Thinking 和 GPT-6 Astra 表现也不佳,分数分别为 24.44 和 8.33。

训练后,观察到模型对图像中隐藏的各个字符形成了清晰得多的内部区分。对于汉字,字符身份表征清晰度指标从 0.718 升至 0.975;拉丁字符的相应分数则从 0.612 升至 0.779。

对模型训练前后处理隐藏字符的方式变化进行的测试。左侧展示了模型的预测结果和注意力如何逐渐集中到构成隐藏字符的图像区域;这些区域受到干扰时,准确率会下降。右侧展示了模型对其他字符的预测如何越来越多地依据视觉相似性进行组织,同时保留基于语言的信息。

对模型训练前后处理隐藏字符的方式变化进行的测试。左侧展示了模型的预测结果和注意力如何逐渐集中到构成隐藏字符的图像区域;这些区域受到干扰时,准确率会下降。右侧展示了模型对其他字符的预测如何越来越多地依据视觉相似性进行组织,同时保留基于语言的信息。

模型也将更多注意力放在图像中实际构成隐藏字母的部分。当这些区域在模型内部的表征遭到刻意干扰时,准确率从 90.5% 降至 71.5%。相比之下,干扰数量相同、随机选取的背景区域,几乎没有造成任何变化。这表明,模型是通过相关视觉结构读取隐藏文本的。

结论

或许,这项新研究也体现出某种“分形近视”,并且这一现象会在其他 AI 领域不断重现。许多熟悉前沿大语言模型和视觉语言模型的用户都知道,它们常常只专注于文本、图像或视频生成中的某个小区域,却不从更广阔的角度考虑这些变化可能如何影响整体。

在许多情况下,问题与 AI 的不完美记忆有关(对于更长、通常由智能体执行的任务,还与其仍处于起步阶段的记忆压缩能力有关)。然而,有时就像这个案例所显示的那样,问题在于默认训练实践仍有不足,需要有针对性地加以处理。我们应该从这类案例中汲取多少教训,并考虑修订基本训练实践……又该在何时认定这一过程过于“专门化”、适用范围过于狭窄,以至于只能采用 LoRA 这类第三方方案?

 

首次发表于 2026 年 11 月 10 日,星期二

机器学习撰稿人,专注于人类图像合成的领域专家。曾任 Metaphysic.ai 的研究内容负责人,直至其并入 DNEG 的 Brahma.ai。
网站: martinanderson.ai
联系:martin@martinanderson.ai