AI는 기기 브랜드에 따라 이미지 순위를 매길 수 있다, 내용이 아니라

새로운 연구에 따르면 인기 있는 이미지 중심 AI 시스템은 단순히 사진의 내용을 살펴보는 것이 아니라 사진이 촬영된 방법도 감지할 수 있다. 카메라 유형이나 이미지 품질과 같은 숨겨진 세부 정보는 조용히 AI가 무엇을 보는지에 영향을 줄 수 있어 잘못된 결과를 초래할 수 있다. 단순히 사진이 다른 기기에서 왔기 때문이다.

2012년 한 여행 웹사이트가 Apple 기기 사용자에게 더 높은 가격을 보여준다는 사실이 드러났습니다. Apple 브랜드를 높은 소비 능력과 연결한 것입니다. 이후 조사에서는 이러한 기기 기반 ‘지갑 탐지’가 전자상거래 사이트에서 거의 일상적인 관행이 됐다고 결론 내렸습니다.

유사하게, 특정 사진을 촬영한 스마트폰이나 캡처 장치를 감지할 수 있다. 이는 렌즈의 알려진 특성에 기반한 법의학적 수단을 통해 가능하다. 이러한 경우, 캡처 장치의 모델은 일반적으로 시각적 흔적에 의해 추정된다. 2012년의 사건과 마찬가지로, 이미지에 사용된 카메라 유형을 알 수 있다면 이는 잠재적으로 악용될 수 있는 특성이다.

촬영 기기는 이미지에 상당한 양의 메타데이터를 삽입하는 경우가 많지만 사용자가 이 기능을 끌 수 있습니다. 기능이 켜져 있더라도 소셜미디어 같은 배포 플랫폼은 운영이나 개인정보 보호 목적 또는 두 이유 모두로 메타데이터의 일부나 전부를 제거할 수 있습니다.

하지만 사용자가 올린 이미지의 메타데이터는 삭제되지 않고 다시 작성되거나 해석되거나, 보조 정보원으로 그대로 남는 경우가 많습니다. 이는 사진 속 내용이 아니라 사진을 촬영한 방식에 관한 정보입니다. 2012년 사례가 보여주듯 이러한 정보는 상업 플랫폼뿐 아니라 해커와 악의적 행위자에게도 유용할 수 있습니다.

쌍둥이 관점

일본과 체코 공화국 간의 새로운 연구 협력에 따르면, 카메라 하드웨어와 이미지 처리(예: JPEG 품질 또는 렌즈 선명도)에 의해 남겨진 흔적은 법의학적 도구에 의해 감지될 뿐만 아니라, 주요 AI 비전 모델의 ‘전체 이해’에 조용히 인코딩된다.

여기에는 검색엔진부터 콘텐츠 관리까지 널리 쓰이는 CLIP과 기타 대규모 시각 인코더가 포함됩니다. 새 연구에 따르면 이러한 모델은 사진에 무엇이 담겼는지만 해석하는 것이 아니라 촬영 방식도 학습할 수 있으며, 이렇게 숨은 신호가 때로 눈에 보이는 내용을 압도할 수 있습니다.

저자들의 PairCams 데이터셋에서 생성된 이미지 페어의 예시, 각 페어는 동일한 객체 또는 장면을 동일한 순간에 스마트폰(오른쪽)과 비스마트폰(왼쪽)으로 촬영한 것을 보여준다. 출처: https://arxiv.org/pdf/2508.10637

연구는 심지어 AI 모델에 이미지의 가려진 또는 자른 버전이 주어지더라도, 모델이 여전히 카메라의 제조사와 모델을 놀라운 정확도로 추측할 수 있음을 주장한다. 이는 이러한 시스템이 사용하는 이미지 유사성을 판단하는 표현 공간이 사용자의 기기와 같은 관련 없는 요인과 얽히게 될 수 있으며, 예측할 수 없는 결과를 초래할 수 있다.

예를 들어, 다운스트림 작업에서 이러한 불량한 ‘가중치’로 인해 시스템이 특정 카메라 유형을 선호할 수 있다. 실제 이미지 내용과 상관없이 말이다.

논문은 다음과 같이 말한다:

‘비주얼 인코더에 남겨진 메타데이터 레이블은 의미 정보를 가려서 예측할 수 없는 결과를 초래할 수 있으며, 모델의 일반화, 견고성, 신뢰성을 저해할 수 있다. ‘

‘더 심각한 문제는 이러한 효과가 악의적으로 이용될 수 있다는 점이다. 예를 들어 공격자가 메타데이터를 조작해 모델을 의도적으로 오도하거나 속일 수 있으며, 의료와 감시, 자율 시스템처럼 민감한 분야에서 위험을 초래할 수 있다.’

연구는 CLIP과 같은 대규모 비전 인코더가 이러한 추론을 데이터에서 얻을 가능성이 높으며, 이는 컴퓨터 비전에서 가장 영향력 있는 인코더 중 하나이다.

쿼리 이미지에 대한 검색 결과, 기초 모델이 비주얼 콘텐츠뿐만 아니라 JPEG 압축 또는 카메라 모델과 같은 숨겨진 메타데이터에 기반하여 유사한 이미지를 랭크하는 방법을 보여준다. 그림은 저자들의 주장을 반영하며, 의미 정보와 메타데이터 레이블이 모델의 표현 공간을 형성한다.

이 새로운 논문은 Processing and acquisition traces in visual encoders: What does CLIP know about your camera?라는 제목을 가지고 있으며, 오사카 대학교와 프라하 체코 기술 대학교의 6명의 연구자에 의해 수행되었다.

방법 및 데이터

CLIP과 같은 비주얼 인코더에 숨겨진 메타데이터의 영향을 테스트하기 위해, 저자들은 두 가지 유형의 메타데이터를 작업했다: 이미지 처리 매개변수(예: JPEG 압축 또는 선명도)와 획득 매개변수(예: 카메라 모델 또는 노출 설정).

새로운 모델을 훈련시키는 대신, 연구자들은 47개의 널리 사용되는 비주얼 인코더를 평가했다. 이는 프리트레인된 상태에서, CLIP과 같은 대조적 비전-언어 모델, 자기 지도 학습 모델, 및 전통적인 감독 네트워크를 포함한다.

이미지 처리 매개변수에 대해, 연구자들은 제어된 변환을 ImageNet과 iNaturalist 2018 데이터셋에 적용했다. 이는 6개의 JPEG 압축 수준, 3개의 선명도 설정, 3개의 리사이즈 스케일, 및 4개의 보간법을 포함한다.

iNaturalist 데이터셋에서 이미지와 관련된 주석의 예시. 출처: https://arxiv.org/pdf/1707.06642

모델은 이미지 내용만 사용하여 각 변환 설정을 회복하는 능력에 대해 테스트되었다. 성공적인 예측은 인코더가 내부 표현에서 이러한 처리 선택에 대한 정보를 유지하고 있음을 나타낸다.

획득 매개변수를 조사하기 위해, 연구자들은 356,459개의 이미지로 구성된 FlickrExif 데이터셋을 구축했다. 이는 보존된 Exif 메타데이터를 포함한다. 또한 730개의 이미지 페어로 구성된 PairCams 데이터셋을 구축했다. 이는 스마트폰과 비스마트폰 카메라로 동시에 촬영된 이미지로 구성된다.

FlickrExif 데이터셋은 Flickr API를 사용하여 메타데이터가 있는 이미지를 다운로드하여 구축되었다. 2000년 초부터 2024년 중반까지 날짜가 있는 2,000개에서 4,000개의 안전한 이미지를 수집했으며, 각 기여자는 매월 10개의 이미지로 제한되었다.

PairCams 데이터셋에서 모든 사진은 자동 설정과 플래시 없이 촬영되었다. 이는 카메라 하드웨어만에 대한 차이를 테스트할 수 있도록 한다.

저자들이 수집한 PairCams 데이터셋의 추가 예시

저자들은 이미지 처리 매개변수와 이미지 획득 매개변수에 대해 테스트했다.

분석된 이미지 처리 및 획득 매개변수, 각 매개변수에 대한 클래스 수

테스트

비주얼 인코더 임베딩 내에 이미지 처리 및 카메라 유형 정보가 보존되는지 여부를 결정하기 위해, 저자들은 메타데이터 레이블을 직접 임베딩에서 예측하는 분류기를 훈련시켰다. 분류기가 무작위 추측보다 나은 성능을 보인다면, 이러한 기술적 세부 정보가 모델에 의해 캡처되고, 다운스트림 작업에 영향을 미칠 수 있음을 나타낸다.

이미지 처리 흔적을 테스트하기 위해, 저자들은 각 훈련 이미지에 임의의 처리 설정을 할당했다. 모든 테스트 이미지에는 동일한 설정이 사용되었다.

모든 설정에 대한 평균 분류 정확도를 결합하여 반복된 시도를 수행했다. 이를 통해 모델이 일관되게 기술적 세부 정보를 캡처하는지 여부를 결정할 수 있다.

이미지 처리 매개변수를 임베딩에서 예측하는 분류기 정확도, ImageNet 및 iNaturalist 2018에 대한 결과

모든 네 가지 처리 매개변수에서, 대조적 비전-언어 모델은 가장 높은 처리 매뉴얼을 인식하는 능력을 보였다. 일부 모델은 ImageNet 임베딩에서 JPEG 압축, 선명도, 리사이즈 설정을 예측하는 데 80% 이상의 정확도를 달성했다.

감독된 인코더, 특히 ConvNeXt에 기반한 모델도 강한 성능을 보였다. 자체 감독 모델은 일관되게 약한 성능을 보였다.

보간은 가장 어려운 매개변수였지만, 최상의 CVL 및 감독 모델은 여전히 두 데이터셋 모두에서 25%의 무작위 기준선을 초과했다.

다음으로, 모델 표현에 카메라 관련 정보가 포함되어 있는지 여부를 테스트하기 위해, 저자들은 각 획득 매개변수에 대해 별도의 훈련 및 테스트 세트를 생성했다.

대부분의 매개변수에서, 5,000개 이상의 예시를 가진 클래스만 사용했다. 500개의 이미지를 무작위로 테스트에 사용하고, 나머지 예시는 각 클래스가 200개의 훈련 샘플을 갖도록 다운샘플링했다.

카메라에 대한 정보를 예측하는 분류기를 훈련시켰다. 이를 통해 모델이 이미지의 의미적 내용과 상관없이 카메라 정보를 예측할 수 있는지 여부를 테스트할 수 있다.

이미지의 90%를 가려서 의미적 내용이 제거되었는지 확인했다. 이를 통해 분류기가 의미적 내용에 의해 영향을 받지 않는지 여부를 테스트할 수 있다.

이미지넷 검증 정확도에 대한 마스킹 비율 함수, 90% 마스킹에서 모든 모델이 거의 무작위 성능으로 떨어지는 것을 보여준다.

이미지의 90%를 가려도, 대부분의 대조적 비전-언어 모델과 감독된 ConvNeXt 인코더는 여전히 카메라 관련 레이블을 잘 예측했다. 많은 CVL 모델은 스마트폰과 비스마트폰 이미지를 구분하는 데 70% 이상의 정확도를 달성했다.

다른 지도 학습 인코더, SigLIP, 및 모든 자체 감독 모델은 훨씬 약한 성능을 보였다. 마스킹이 적용되지 않은 경우, CVL 모델은 다시 카메라 유형에 따라 강한 클러스터링을 보였다.

두 개의 비주얼 인코더에 대한 t-SNE 시각화, 색상은 이미지의 카메라 유형을 나타낸다.

다운스트림 중요성

이러한 메타데이터가 모델에 미치는 영향을 확립한 후, 숨겨진 처리 흔적이 이미지 해석을 방해하는 성향을 평가했다.

같은 이미지를 서로 다르게 처리하면 임베딩은 내용보다 처리 방식에 따라 분류되는 경우가 많았습니다. 여러 사례에서 강하게 압축한 개 사진은 압축하지 않은 같은 사진보다 동일한 압축 설정을 적용한 관련 없는 이미지와 더 비슷한 것으로 판단됐습니다.

처리 매개변수가 의미 예측에 미치는 영향, ImageNet 및 iNaturalist에 대한 결과

가장 큰 왜곡은 JPEG 압축에서 나타났고 선명화와 크기 조정이 뒤를 이었습니다. 보간의 영향은 미미했습니다. 저자들은 이러한 결과가 처리 흔적이 의미 정보를 압도하고 이미지에 대한 이해를 좌우할 수 있음을 보여준다고 설명합니다.

결론적으로, 그들은 경고한다:

‘메타데이터 레이블이 기반 시각 인코더에 저장된다는 사실을 확인하고 잠재적 원인에 관한 단서를 제시했지만, 문제의 근원을 확정할 수는 없다. 이러한 모델을 다시 학습하는 데 드는 비용과 비공개 데이터 세트 및 구현 세부 정보가 빈번히 사용된다는 점 때문에 추가 조사가 어렵다.’

‘우리는 특정 완화 기술을 제안하지는 않지만, 이를 중요한 연구 영역으로 강조한다.’

결론

문헌에는 ‘방법보다 내용’에 대한 조각과 기호에 대한 법의학적 관심이 증가하고 있다. 프레임 도메인 또는 특정 데이터셋을 식별하기가 càng 쉬우면, 이를 깊은 가짜 탐지기 또는 데이터 및 모델의 출처 또는 연대를 분류하기 위한 시스템과 같은 형태로 활용하기가 càng 쉬워진다.

이 모든 것이 AI 모델을 훈련하는 핵심 의도에 반한다. 핵심 추출된 개념은 생산 수단에 독립적으로 큐레이션되어야 하며, 그 흔적을 남겨서는 안 된다. 실제로 데이터셋과 캡처 장치는 내용과 분리할 수 없는 역사적 관점을 나타낸다.

* 이 논문은 비정상적으로 구성되어 있으며, 우리는 그 비정상적인 형식과 표현에 최대한 적응하도록 할 것이다. ‘방법’ 섹션이 존재하지 않아, 많은 자료가 부록의 다양한 부분으로 이동되었으며, 이는 주된 논문을 8페이지로 제한하기 위한 것으로 보인다. 그러나 이는 명확성의 상당한 비용으로 이루어졌다. 만약 우리가 시간 부족으로 인해 이를 개선할 기회를 놓쳤다면, 우리는 사과한다.

최초로 게시된 날은 2025년 8월 20일 수요일이다.