AI가 사람이 알아볼 수 있는 숨겨진 글자를 읽도록 가르치기

2~3년 전쯤 빠르게 유행했다가 사그라든 AI 열풍 중 하나는 시각·언어 모델(VLM)을 사용해 암호 같은 글자와 ‘잠재 이미지’를 겉보기에는 무해한 생성 이미지에 삽입하는 것이었습니다. 한때 크게 유행했지만:

QR Code Monster ControlNet의 결과물은 착시와 트롱프뢰유 효과가 특징입니다. 출처

이는 필요할 때 만들어 내는 일종의 트롱프뢰유 효과로, 오픈 소스 QR Code Monster ControlNet 프레임워크를 통해 특히 널리 알려졌습니다.

이 기법이 작동하는 모습을 충분히 많은 사람이 본 뒤에는, VLM이나 광학 문자 인식(OCR) 시스템에 가로채이거나 해석되지 않을 글자를 보내거나 반잠재 메시지를 전달하는 실용적인 암호 기법으로 활용하는 것 외에는 사실상 다른 쓰임이 없습니다:

메시지가 보이나요? 잘 모르겠다면 아래로 스크롤해 답을 확인하세요. AI가 생성한 착시 이미지의 잘 알려진 사례입니다. 이 글의 대표 이미지와 마찬가지로, 존 카펜터가 1988년에 연출한 SF 영화 ‘They Live’의 밈을 가리킵니다. 이 영화에서는 한 남자가 세상 곳곳에 외계 종족이 심어 둔 잠재 메시지가 가득하다는 사실을 발견합니다. 출처

2025년 연구 대놓고 드러난 혐오와 지난달 발표된 눈에 잘 띄지 않게 숨겨진 것 같은 연구는 이 기법이 혐오 관점을 퍼뜨리는 데 활용될 수 있음을 보여 줍니다. 또한 일반적으로는 속기법으로도 쓰일 수 있습니다.

따라서 이제 연구 문헌에서는 이 기법을 재미있는 밈 생성 수단이라기보다 악의적으로 사용될 가능성이 있는 기법으로 주로 다룹니다.

자세히 살펴보기

이러한 침투를 막는 데 따르는 어려움 중 하나는, 일관되게 정착한 명칭이 없는 듯하므로 이를 AI Optical이라고 부르기로 하겠습니다. 다중 모달 AI 모델이 이른바 ‘나무만 보지 말고 숲을 보도록’ 하는 일입니다. 사람이 눈을 가늘게 뜨거나 AI Optical 이미지를 아주 작게 줄이면 잠재 텍스트의 전반적인 특징이 쉽게 드러납니다:

디퓨전 모델의 훈련은 AI가 개념을 ‘대략적인 스케치’로 보던 단계에서 정교한 세부 묘사를 구현하는 단계로 점진적으로 나아가게 합니다(마치 부엉이의 나머지 부분을 마저 그리는 것처럼). 따라서 VLM은 이런 패턴을 꽤 잘 알아볼 것으로 예상됩니다. 하지만 최근 연구에 따르면 실제로는 그렇지 않습니다:

2025년 발표된 ‘SemVink’ 연구는 다른 면에서는 성능이 뛰어난 최첨단 VLM도 AI Optical 이미지에 숨겨진 잠재 텍스트를 읽어 내지 못한다는 사실을 밝혔습니다. 출처

하지만 최근 중국에서 발표된 논문은 VLM이 AI Optical 이미지를 인식하는 데 도움이 될 새로운 프레임워크를 제안합니다.

코드가 공개된 이 새로운 접근법은 AI 모델이 다른 모델로부터 학습하는 훈련 방식을 사용합니다. 이때 모델에는 축소된 이미지와 올바른 전사 결과가 함께 제공됩니다. 연구진은 이 방식으로 원본 이미지에서 숨겨진 메시지를 직접 읽어 낼 수 있으며, 기존 훈련 방식보다 인식 점수가 크게 높아졌다고 보고합니다:

제안된 AI 훈련 방식의 도식. 두 모델이 동일한 이미지로 학습하는 모습이 나타나 있습니다. 교사 모델에는 추가 단서가 제공되는데, 여기에는 숨겨진 글자를 더 쉽게 알아볼 수 있도록 축소한 이미지와 정답이 포함됩니다. 교사 모델의 지침은 학생 모델을 훈련하는 데 사용되며, 학생 모델은 결국 이런 단서 없이도 글자를 알아봐야 합니다.  출처

SQUINT라는 이름의 이 방법은 지식 증류를 활용합니다. 지식 증류란 한 AI 모델이 학습한 정보를 훈련 중에 다른 모델로 전달하는 방식입니다. 이 경우 학생 모델은 두 모델의 응답을 수학적으로 비교해 교사 모델의 예측을 재현하도록 훈련됩니다. 훈련이 끝나면 교사 모델은 폐기할 수 있으며, 이후에는 하나의 모델만으로 추가 도움 없이 새로운 이미지를 분석할 수 있습니다.

SQUINT의 두 단계 학습에서는 먼저 학생 모델의 예측을 더 많은 정보를 가진 교사 모델의 예측과 비교해, 학생 모델이 그 차이를 통해 학습하도록 합니다. 두 번째 단계에서는 숨겨진 텍스트를 정확히 읽었을 때 보상을 제공해 추가적인 성능 향상을 유도합니다.

테스트에서 SQUINT는 기존 AI 모델이 거의 제대로 처리하지 못했던 이미지 속 숨겨진 글자를 인식했으며, 여러 독립 벤치마크에서도 더 나은 성능을 보였습니다. 숨겨진 텍스트는 읽을 수 없는 경우에도 흔히 감지할 수 있는 것으로 나타났으며, 글자를 이루는 이미지 부분에 주의를 기울이면 인식 성능이 향상됐습니다.

세부 묘사와 질감을 억제해 바탕이 되는 형태를 더 쉽게 구별하도록 함으로써 추가적인 성능 향상을 이끌어냈습니다:

숨겨진 텍스트를 잘못 읽는 원인을 조사한 세 가지 테스트. 왼쪽: 모델을 이미지의 올바른 영역으로 유도한 결과, 글자를 찾아내는 것이 큰 장애물임을 보여줍니다. 가운데: 시각적 세부 정보를 제거한 결과, 질감이 더 큰 글자 형태를 가릴 수 있음을 보여줍니다. 오른쪽: 축소된 화면을 추가한 결과, 이미지를 축소하면 모델이 시각적으로 비슷한 문자를 구별하는 데 도움이 됨을 보여줍니다.

데이터와 방법

모델에 AI Opticals 사례를 더 많이 보여주는 것만으로는 충분하지 않은 것으로 나타났습니다. 일반적인 학습 방식에서는 이미지의 다른 배율을 고려해야 할 이유를 제공하지 않기 때문입니다. 따라서 SQUINT는 학습 과정에서 축소된 버전을 사용해, 원본 크기 이미지를 접했을 때 어떤 시각 정보를 우선적으로 봐야 하는지 모델에 가르칩니다.

이를 위해 두 개의 데이터셋이 필요했습니다. SquintBench는 출처가 명시되지 않은 실제 콘텐츠 검토 파이프라인에서 선별한 이미지 1,076개로 구성됩니다. 저자들에 따르면 모두 실제 운영 데이터에서 가져온 이미지이며, 숨겨진 텍스트가 포함된 사람들의 프로필 사진으로 보입니다. 사람은 거의 힘들이지 않고 읽을 수 있는 이 텍스트와 드러난 텍스트를 모두 사람이 직접 전사했습니다.

두 번째 데이터셋인 SquintCtrl에는 이제는 꽤 오래된 Stable Diffusion 1.5에서 실행되는 QR Code Monster v2를 사용해 생성된 장면에 삽입한 숨겨진 텍스트가 포함됩니다(컴퓨터 비전 연구자들은 아마 이 모델을 차가운 시체가 될 때까지 손에서 놓지 않을 듯합니다). 각 이미지를 생성하는 데 사용한 텍스트를 미리 알고 있었기 때문에 정확한 위치를 자동으로 찾아낼 수 있었고, 이에 따라 사람의 주석 없이도 인식 실패를 살펴볼 수 있었습니다.

SquintCtrl은 네 개의 하위 데이터셋으로 나뉩니다. SquintCtrl-Pair는 숨겨진 텍스트가 있는 이미지와 없는 이미지로 구성된 짝 500개를 사용해 그 존재를 감지할 수 있는지 테스트합니다. SquintCtrl-Glyph는 중국어와 라틴 문자 하나하나를 식별하고 위치를 찾을 수 있는지 테스트했습니다. SquintCtrl-Strength는 장면 200개에서 숨겨진 텍스트의 강도를 달리했습니다. SquintCtrl-Read는 전체 텍스트를 전사하는 능력을 테스트하기 위해 개방형 어휘 이미지 200개를 제공했습니다.

테스트

기존 모델이 이미 무엇을 인식할 수 있는지 확인하기 위해 Qwen3.5-9B로 진단 실험을 진행했으며, 가중치는 변경하지 않았습니다.

첫 번째 학습 단계인 Squint OPSD에서는 더 많은 정보를 가진 교사 모델이 학생 모델을 이끕니다. 교사 모델에는 원본 이미지와 축소된 버전, 올바른 전사 결과를 제공하는 반면, 학생 모델에는 원본 이미지만 보여줍니다. 이후 두 모델의 예측을 토큰 단위로 비교해, 학생 모델이 원본 이미지만으로 작동하는 능력을 유지하면서 교사 모델로부터 학습하도록 합니다.

학습에는 프롬프트 5,905개를 사용했습니다. 여기에는 합성한 숨겨진 텍스트 이미지 3,489개, OCR 샘플 1,213개, 시각 질의응답 샘플 1,203개가 포함됩니다. 주요 평가 세트로는 SquintBench를 사용했으며, 전이 성능은 Illusory VQA, AdvOCR, HC-Bench에서 측정했습니다. 더 폭넓은 비전·언어 성능은 AI2D, DocVQA, OCRBench에서 테스트했습니다.

비교를 위해 추가로 축소된 화면을 제공한 모델 버전, 지도 미세 조정(SFT), DAPO와 기존 사전 학습 모델을 함께 테스트했습니다. 외부 비교 대상으로는 Claude Opus 5, Gemini 3.1 Pro, GPT-6 Astra, Qwen3-VL-235B-Thinking도 평가했습니다.

Squint OPSD와 기준 방법을 비교한 테스트 결과. Squint OPSD는 SquintBench에서 88.61점으로 가장 높은 점수를 기록했으며, 지도 미세 조정보다 일반적인 비전·언어 성능을 훨씬 더 많이 유지했습니다.

위 결과 표에서 볼 수 있듯이, Squint OPSD는 SquintBench 점수를 기존 모델의 26.50점에서 88.61점으로 끌어올렸습니다. 세 가지 학습 기준 방법보다 뛰어난 성능을 보이면서도 일반 비전·언어 테스트 성능은 대체로 유지했습니다.

다음 테스트에서는 외부 숨은 텍스트 벤치마크 3종을 대상으로 Squint OPSD를 평가했다:

SquintBench와 외부 숨은 텍스트 벤치마크 3종에서 Squint OPSD와 다른 모델 5종을 비교한 테스트 결과. 모델에 편집하지 않은 전체 이미지를 제공했을 때 Squint OPSD는 모든 테스트에서 가장 우수한 성능을 보였다. Illusory VQA에서는 단어 오류율이 낮을수록 성능이 좋다는 뜻이다.

AdvOCR 점수는 3.7에서 66.7로, HC-Bench 점수는 1.8에서 44.6으로 상승했고, Illusory VQA의 단어 오류율은 178.10에서 67.00으로 떨어졌다. 원본 SquintBench 이미지에서는 훨씬 더 큰 모델인 Qwen3-VL-235B-Thinking과 GPT-6 Astra도 각각 24.44점과 8.33점으로 저조한 성능을 보였다.

학습 후에는 이미지에 숨겨진 개별 문자 사이의 내부 구분이 훨씬 더 뚜렷해졌다. 문자 정체성이 얼마나 명확하게 표상되는지를 나타내는 점수는 한자에서 0.718에서 0.975로 올랐고, 라틴 문자에서는 이에 해당하는 점수가 0.612에서 0.779로 상승했다.

학습 후 모델의 숨겨진 문자 처리 방식이 어떻게 달라졌는지 살펴본 테스트. 왼쪽에는 숨겨진 문자를 이루는 이미지 영역에 모델의 예측과 주의가 점점 더 집중되는 모습이 나타나며, 해당 영역이 교란되면 정확도가 떨어진다. 오른쪽에는 언어에 기반한 정보를 유지하면서 모델의 대안 문자 예측이 시각적 유사성에 따라 더욱 뚜렷하게 정리되는 모습이 나타난다.

이미지에서 숨겨진 글자를 실제로 형성하는 부분에도 더 많은 주의가 쏠렸다. 이 영역에 대한 모델의 내부 표상을 의도적으로 교란하자 정확도는 90.5%에서 71.5%로 떨어졌다. 반면, 무작위로 선택한 배경 영역을 같은 수만큼 교란했을 때는 거의 변화가 없었다. 이는 숨겨진 텍스트를 관련 시각 구조를 바탕으로 읽어 내고 있었음을 보여 준다.

결론

이번 연구에서도 다른 AI 분야에서 되풀이되는 일종의 ‘프랙털 근시’가 나타나는 것일 수 있다. 최첨단 LLM과 VLM에 익숙한 사용자라면 이들이 더 큰 그림에 어떤 영향을 미칠지 폭넓게 고려하지 않은 채 텍스트, 이미지 또는 동영상 생성의 작은 일부에 집중하는 경우가 많다는 점을 알 것이다.

많은 경우 이 문제는 AI의 불완전한 기억력(그리고 더 길고 대개 에이전트형인 작업을 위해 자체 기억을 압축하는 아직 초기 단계인 능력)과 관련이 있을 것이다. 하지만 이번 사례처럼 기본 학습 방식에 아쉬운 점이 있고 이를 구체적으로 해결해야 하는 경우도 있다. 이런 사례에서 어느 정도까지 교훈을 얻어 기본 학습 방식을 개정할지, 그리고 어떤 경우에는 LoRA와 같은 제3자 접근법 외에는 적용하기 어려울 만큼 그 과정이 지나치게 ‘특화되고’ 중요성이 낮다고 볼 수 있을지가 관건이다…

최초 게시일: 2026년 11월 10일 화요일