Anderson의 관점
AI 비전 시스템은 실제로 ‘보는’ 것과 다를 수 있다

핵심 포인트AI 시각 시스템은 실제 이미지 내용보다 클래스명 고정관념에 의존하는 경우가 많아 분포 변화 하에서 실패를 초래한다.
더 보기
- AI 시각 시스템은 실제 이미지 내용보다 클래스명 고정관념에 의존하는 경우가 많아 분포 변화 하에서 실패를 초래한다.
- 프롬프트에서 클래스명을 제거하자 ImageNet 정확도가 59.5%에서 15.5%로 급감했으며, 이는 설명자가 시각적 증거를 거의 제공하지 않음을 보여준다.
- 클래스명 대신 이미지에서 직접 속성을 선택하면 정확도가 향상되고 오해의 소지가 있는 레이블 조건부 설명을 피할 수 있다.
AI 비전 시스템은 실제로 본 내용을 설명하는 대신 고정관념으로 이미지를 설명하고 있을 수 있습니다. 레이블을 제거하면 이른바 시각적 설명이 무너집니다.
최첨단 AI 플랫폼은 계속 막대한 손실을 감수하면서 AI의 임계점을 기다리고 있습니다. 따라서 서비스 제공 과정의 작은 절약도 엄청난 비용 절감으로 이어집니다. 예를 들어 LLM이 최신 정보를 얻기 위해 웹으로 RAG 기반 탐색을 하고, 그 결과를 추려 정제하는 대신 학습된 자체 행렬에서 답을 내놓을 때마다 응답은 더 빨라지고 제공자의 비용은 줄어듭니다.
물론 자신의 추정을 맥락화하고 확인하는 데 추가 토큰과 에너지를 쓰지 않으므로 환각할 가능성은 더 커집니다.
마찬가지로 LLM이 웹을 검색하더라도 실제 페이지를 읽지 않고 메타데이터만 평가해 에너지를 아끼기 때문에, 모호하거나 부적절하거나 심지어 의미 없고 무관한 URL을 인용하는 일이 매우 흔합니다.
비슷하게 PDF를 LLM에 업로드하고 그 내용을 논의할 때, LLM은 결국 PDF 내용을 메모리에서 지운 뒤 다시 업로드해야 한다는 말도 없이 희박한 메타데이터만으로 질문에 답할 수 있습니다. 이는 오류와 잘못된 추정, 더 많은 환각으로 이어집니다.
산업 규모의 시험
이는 운영상의 이유로 사용자에게 떠넘겨지는 실용적이지만 완전히 정직하지는 않은 절약 방식입니다. 수백만, 심지어 수억 장의 이미지를 한꺼번에 처리해야 하고 사람이 일일이 주석을 달 수 없는 데이터 수집과 모델 학습의 상류 단계에서도 에너지와 시간 지출을 최소화해야 한다는 압력은 똑같이 강합니다.
이러한 ‘지름길’ 중 하나는 대조 언어-이미지 사전학습(CLIP) 같은 중간 비전 언어 모델을 사용하는 것입니다. CLIP은 이미지와 텍스트를 공유 의미 공간에 매핑해, 명시적 레이블 대신 언어를 이용하여 시각적 개념을 비교할 수 있게 합니다.
무슨 뜻일까요? 수백만 장의 설명 달린 사진을 보며 어떤 이미지와 단어가 자연스럽게 어울리는지 대략 감을 익힌 아이를 상상해 보십시오.
문제는 설명문이 좋은 레이블보다 검색엔진 최적화에 더 관심이 많은 웹사이트 운영자와 이해관계자에 의해 작성된 경우가 많아, 상당한 ‘노이즈’와 부정확한 레이블이 생긴다는 점입니다.
그럼에도 방대한 데이터셋에서 개념과 관련 단어가 반복되는 규모 덕분에 핵심 단어는 대개 올바른 이미지와 연결됩니다. 소수의 ‘터무니없는’ 레이블은 보통 이상치 영역으로 밀려나 이미지와 연결되지 않습니다. 그래서 대부분은 어느 정도 작동합니다.
이런 방식으로 데이터에 주석을 다는 이유는 저렴하고 최소한의 기능을 하기 때문이지, 품질이 좋기 때문은 아닙니다.
레이블을 벗어나서
이 골치 아픈 상황에서 카네기멜런대학교의 새 논문은 많은 이미지 설명, 예를 들어 CLIP이 할당한 설명이 실제 이미지를 적극적으로 보고 만든 것이 아니라 이미지의 텍스트 레이블을 참조해 만든 단순한 고정관념임을 선명하게 보여줍니다.
논문의 인상적인 사례에서는 CLIP을 ImageNet 클래스명 딸기에서 생성한 설명과 짝지어, 모든 딸기가 흑백 그림인 ImageNet-Sketch에서 시험합니다. 그런데 설명은 여전히 과일이 ‘빨갛고’ ‘익었다’고 주장합니다.

클래스명 기반 설명은 ImageNet-Sketch에서 실패합니다. 언어적 사전지식은 ‘빨갛고’ ‘익었다’고 말하지만, 이미지 기반 속성은 흑백 그림과 일치합니다. 출처
여기서 CLIP은 GPT-3나 외부 지식이 오직 클래스명 딸기만 보고 만든 설명과 짝을 이룹니다. 설명 생성기는 이미지를 본 적이 없으므로 빨간색, 잎이 있음 같은 전형적 특성을 기본값으로 제시합니다. 이를 ImageNet-Sketch의 단색 선화에 적용하면 과정은 실패합니다.
반면 이미지 자체에서 얻은 속성은 점이 있음, 하트 모양처럼 이러한 변화 속에서도 참인 특징을 선택합니다.
즉 식별된 대상은 있는 그대로가 아니라 이른바 ‘평판’에 따라 설명됩니다. ‘빨간색’과 ‘잎이 있음’은 딸기라는 하위 영역에는 맞는 형용사지만, 해당 이미지라는 개별 사례의 경계를 넘어섭니다.
Attributes Should Come from Images, Not Class Names: Distribution-Conditioned Attribute Selection for Vision-Language Models라는 제목의 새 연구 저자들은 이것이 지속적이고 광범위한 문제라고 주장합니다. 이미지 자체에서 속성을 선택해 분포 변화가 일어나도 실제 보이는 내용을 반영하고, 클래스명 사전확률에는 의존하지 않아야 한다고 제안합니다.
저자들은 다음과 같이 말합니다.
“해석 가능한 제로샷 분류의 널리 쓰이는 방법은 대규모 언어 모델(LLM)에게 각 클래스명을 설명하게 하고, 그 결과인 설명문으로 CLIP을 프롬프트하는 것이다. 그러나 이 설명문 자체에는 시각적 증거가 거의 없다. 프롬프트에서 클래스명을 제거하면 ImageNet 정확도가 59.5%에서 15.5%로 붕괴한다.
“진단 결과, 설명문은 이미지가 아니라 레이블에 조건화되어 있다. 따라서 개념을 일반적으로 설명하고 데이터가 변하는 바로 그때 오도한다. LLM은 딸기가 빨갛다고 고집하지만 ImageNet-Sketch의 모든 딸기는 색이 없는 선화다.
“따라서 우리는 대상 이미지 모음에서 속성을 선택한다. CLIP의 공동 임베딩 공간에서 대규모 속성 후보군을 이미지에 대해 점수화하고, 클래스별로 가장 높은 점수의 속성을 유지한다.”
제안된 해결책에서는 모델 자체는 그대로 둡니다. 다만 클래스명 설명에 의존하지 않고 이미지에 대해 후보 속성군을 확인한 뒤, 실제로 보이는 것에 맞는 속성만 유지합니다.
그 비용은 받아들일 만해 보입니다. 애초 문제를 일으킨 ‘편법’이 아낀 에너지를 다시 모두 쓰자는 방안이 아니기 때문입니다. 대신 클래스별 후보 속성에 점수 계산 단계를 추가하므로 지연시간이 조금 늘지만, 재학습이나 완전한 RAG식 파이프라인보다 훨씬 적습니다. 이론적으로 정렬 개선 효과와 비교하면 에너지 비용도 수용할 수 있습니다.
방법
저자들의 시험 방법은 특히 난해하고 깊이 살펴도 추가로 얻을 유용한 통찰이 많지 않으므로, 이번에는 이례적으로 접근법의 축약된 개요만 살펴보겠습니다.
연구는 핵심 문제를 클래스명 교란으로 규정합니다. 성능이 의미 있는 설명문에서 나온 것처럼 보이지만 실제로는 클래스명 자체에 의존하고, 설명문이 더해 주는 것은 거의 없으며, 그 지지대를 제거하는 순간 실패하는 상황입니다.
논문은 이런 실패가 불가피하다고 주장합니다. 클래스명에서 만든 설명문은 특정 이미지에 실제로 무엇이 있는지가 아니라 어떤 사물이 보통 어떻게 생겼는지만 설명할 수 있기 때문입니다. 데이터가 기대에서 벗어나면 설명문은 도움이 되지 않는 정도를 넘어 적극적으로 오도하며, 사실상 정답에 반대표를 던집니다.
연구진은 CLIP이 클래스 레이블의 도움 없이 속성을 감지하는 데 서툰 것인지, GPT가 만든 설명문이 너무 일반적이라 쓸모가 없는 것인지도 검토했습니다. 그러나 후속 실험은 두 설명 모두 틀렸음을 보여줬습니다.
문제를 해결하기 위해 고정된 CLIP 모델을 사용해 이미지와 VAW, LSA, GPT-3 출력에서 가져온 대규모 후보 설명문 집합을 비교했습니다. 재학습이나 추가 이미지-텍스트 감독 없이 이미지와 가장 잘 맞는 속성만 유지했습니다.

제안된 시스템 개요. 고정된 CLIP 모델이 이미지와 대규모 후보 속성 텍스트를 모두 인코딩하고, 코사인 유사도로 각 설명이 시각적 내용과 얼마나 잘 맞는지 측정합니다. 이후 클래스별 최고 점수 속성을 유지해 해석 가능한 프롬프트 집합을 만들며, 이미지와 텍스트 인코더는 전 과정에서 고정됩니다.
데이터와 시험
저자들은 ResNet-50 백본의 CLIP을 사용하고 ImageNet과 분포가 달라진 네 변형, 즉 ImageNetV2, ImageNet-Sketch, ImageNet-A, ImageNet-R에서 성능을 평가했습니다.
속성은 원래 ImageNet 학습 이미지만 이용해 선택했습니다. 따라서 분포가 달라진 데이터셋은 시각적 외형이 바뀌어도 이미지에서 얻은 속성이 유용한지 평가하는 분포 외 시험 역할을 했습니다.

ImageNet과 분포가 달라진 네 벤치마크의 Top-1 분류 정확도. 프롬프트에 클래스명이 포함되면 성능은 대체로 비슷하지만 설명문만으로 판단하게 하면 급락해, 겉보기 효과의 상당 부분이 클래스 레이블에서 나온다는 점을 보여줍니다. 반면 이미지에서 직접 선택한 속성은 시험한 모든 데이터셋에서 훨씬 더 많은 정보를 제공합니다.
같은 GPT 생성 속성군을 사용하되 ImageNet 이미지에 조건화해 다시 선택하자 클래스명 없는 정확도가 15.5%에서 19.4%로 높아졌습니다. 모델, 속성군, 평가 절차가 그대로였으므로 이 향상은 전적으로 이미지 조건부 선택에서 비롯됐습니다.
이 결과는 CLIP이 클래스 레이블 없이도 속성을 식별할 수 있고, GPT 생성 속성군에도 이미 유용한 설명이 들어 있음을 보여줍니다. 핵심 실패는 대신 레이블 조건부 생성에 있었으며, 이 방식은 이미지 자체에 가장 관련된 속성을 자주 드러내지 못했습니다.
저자들은 광범위한 추가 실험을 계속하지만, 자세한 내용은 원문을 참조해야 합니다. 그 실험들은 결과의 범위를 확장하기보다 지금까지 설명한 핵심 가설을 확인합니다. 즉 레이블 의존성은 현대 컴퓨터 비전 응용에서 실제 이미지 데이터의 잠재력을 훼손할 수 있고, 값싼 ‘평판’ 기반 확률은 결과 정확도에 위험이 될 수 있습니다.
결론
초대형 규모 시대의 시작 무렵 Common Crawl 같은 거대한 수집 데이터셋에 들어간, 사람이 직접 설명한 수백만 장의 이미지에 현대 생성형 AI가 얼마나 빚지고 있는지 생각해 보면 흥미롭습니다.
이미지 인식이나 자동 레이블 시스템이 오래된 이미지나 새 이미지를 분류하거나 다시 레이블할 때마다, 그 지식의 기원은 2004년쯤 어느 eBay 판매자가 상품 이미지의 alt 레이블에 ‘멋진 1970년대 잡지!’라고 쓴 것 같은 사건으로 거슬러 올라갑니다.
많은 사람은 키워드 채우기의 황금기가 거의 30년 전 Google의 더 정교한 PageRank 알고리즘에 의해 끝났다고 믿지만, ‘텍스트를 벽처럼 쌓고 하나라도 걸리길 바라는’ 접근법은 여전히 건재합니다. 바로 전날 Qwen-Image-3.0 모델 공개 페이지의 HTML 상단에도 시대착오적인 키워드 채우기 폭발이 있었습니다. 지금도 남아 있을 수 있습니다.

작성 당시 Qwen Image 3 공개 페이지의 HTML 코드는 업무 환경에 완전히 적합하다고 보기 어려운 키워드 텍스트의 벽이었습니다. 출처
Qwen Image 3 페이지에 쏟아진, 종종 업무 환경에 부적절한 이 키워드들이 목표 목록에서 체계적으로 추출됐든 SEO 전문가가 직접 썼든, 이는 현대 생성형 AI 시스템의 원시적 기원을 잘 보여줍니다. 의미에는 훗날 제거하거나 최소한 고려해야 할 이해관계가 막대한 짐처럼 실리는 경우가 많으며, 그런 용어가 합리적인 시스템과 응용을 방해할 때 특히 그렇습니다.
2026년 7월 22일 수요일 최초 게시












