AI는 기기 브랜드에 따라 이미지 순위를 매길 수 있다, 내용이 아니라

새로운 연구에 따르면 인기 있는 이미지 중심 AI 시스템은 단순히 사진의 내용을 살펴보는 것이 아니라 사진이 촬영된 방법도 감지할 수 있다. 카메라 유형이나 이미지 품질과 같은 숨겨진 세부 정보는 조용히 AI가 무엇을 보는지에 영향을 줄 수 있어 잘못된 결과를 초래할 수 있다. 단순히 사진이 다른 기기에서 왔기 때문이다.

2012년에某 여행 웹사이트가 애플 기기를 사용하는 사용자에게 더 높은 가격을 표시하는 것이 밝혀졌다. 이는 애플 브랜드를 더 높은 지출력과 연관시킨 것이었다. 이후 조사에서는이 장치 중심의 ‘지갑嗅ぎ’가 전자상거래 사이트에서 거의 정상적인 것이 되었다.

유사하게, 특정 사진을 촬영한 스마트폰이나 캡처 장치를 감지할 수 있다. 이는 렌즈의 알려진 특성에 기반한 법의학적 수단을 통해 가능하다. 이러한 경우, 캡처 장치의 모델은 일반적으로 시각적 흔적에 의해 추정된다. 2012年的 사건과 마찬가지로, 이미지에 사용된 카메라 유형을 알 수 있다면 이는 잠재적으로 악용될 수 있는 특성이다.

캡처 장치가 이미지에 상당한 메타데이터를 삽입하는 경향이 있지만, 이 기능은 사용자에 의해 종종 비활성화될 수 있다. 即使 활성화되어 있다 하더라도, 소셜 미디어 네트워크와 같은 배포 플랫폼은 로그หร 개인 정보 보호 목적, 또는 둘 다로 인해 일부 또는 모든 메타데이터를 제거할 수 있다.

그러나 사용자 업로드 이미지의 메타데이터는 종종 삭제되지 않고, 재작성되거나 해석되거나, 또는 보조 정보源으로 남아 있다. 이는 이미지의 내용이 아니라, 이미지가 촬영된 방법에 대한 정보이다. 2012年的 사건이 밝혀진 것처럼, 이러한 정보는 상업 플랫폼뿐만 아니라 해커와 악의적 인 행동자에게도 유용할 수 있다.

쌍둥이 관점

일본과 체코 공화국 간의 새로운 연구 협력에 따르면, 카메라 하드웨어와 이미지 처리(예: JPEG 품질 또는 렌즈 선명도)에 의해 남겨진 흔적은 법의학적 도구에 의해 감지될 뿐만 아니라, 주요 AI 비전 모델의 ‘전체 이해’에 조용히 인코딩된다.

이것은 CLIP 및 기타 대규모 시각적 인코더를 포함하며, 검색 엔진에서 콘텐츠 모더레이션에 이르기까지 모든 곳에서 널리 사용된다. 새로운 연구는 이러한 모델이 단순히 사진의 내용을 해석하는 것이 아니라, 사진이 촬영된 방법도 학습할 수 있으며, 이러한 숨겨진 신호는 때때로 가시적 내용을凌駕할 수 있다.

저자들의 PairCams 데이터셋에서 생성된 이미지 페어의 예시, 각 페어는 동일한 객체 또는 장면을 동일한 순간에 스마트폰(오른쪽)과 비스마트폰(왼쪽)으로 촬영한 것을 보여준다. 출처: https://arxiv.org/pdf/2508.10637

연구는 심지어 AI 모델에 이미지의 가려진 또는 자른 버전이 주어지더라도, 모델이 여전히 카메라의 제조사와 모델을 놀라운 정확도로 추측할 수 있음을 주장한다. 이는 이러한 시스템이 사용하는 이미지 유사성을 판단하는 표현 공간이 사용자의 기기와 같은 관련 없는 요인과 얽히게 될 수 있으며, 예측할 수 없는 결과를 초래할 수 있다.

예를 들어, 다운스트림 작업에서 이러한 불량한 ‘가중치’로 인해 시스템이 특정 카메라 유형을 선호할 수 있다. 실제 이미지 내용과 상관없이 말이다.

논문은 다음과 같이 말한다:

‘비주얼 인코더에 남겨진 메타데이터 레이블은 의미 정보를 가려서 예측할 수 없는 결과를 초래할 수 있으며, 모델의 일반화, 견고성, 신뢰성을 저해할 수 있다. ‘

‘더욱 중요한 것은, 이러한 효과가 악의적으로 악용될 수 있다. 예를 들어, 적대적 공격이 메타데이터를 조작하여 모델을 고의적으로 속이거나欺骗할 수 있으며, 의료, 감시, 또는 자율 시스템과 같은 민감한 분야에서 위험을 초래할 수 있다.’

연구는 CLIP과 같은 대규모 비전 인코더가 이러한 추론을 데이터에서 얻을 가능성이 높으며, 이는 컴퓨터 비전에서 가장 영향력 있는 인코더 중 하나이다.

쿼리 이미지에 대한 검색 결과, 기초 모델이 비주얼 콘텐츠뿐만 아니라 JPEG 압축 또는 카메라 모델과 같은 숨겨진 메타데이터에 기반하여 유사한 이미지를 랭크하는 방법을 보여준다. 그림은 저자들의 주장을 반영하며, 의미 정보와 메타데이터 레이블이 모델의 표현 공간을 형성한다.

이 새로운 논문은 Processing and acquisition traces in visual encoders: What does CLIP know about your camera?라는 제목을 가지고 있으며, 오사카 대학교와 프라하 체코 기술 대학교의 6명의 연구자에 의해 수행되었다.

방법 및 데이터

CLIP과 같은 비주얼 인코더에 숨겨진 메타데이터의 영향을 테스트하기 위해, 저자들은 두 가지 유형의 메타데이터를 작업했다: 이미지 처리 매개변수(예: JPEG 압축 또는 선명도)와 획득 매개변수(예: 카메라 모델 또는 노출 설정).

새로운 모델을 훈련시키는 대신, 연구자들은 47개의 널리 사용되는 비주얼 인코더를 평가했다. 이는 프리트레인된 상태에서, CLIP과 같은 대조적 비전-언어 모델, 자체监督 모델, 및 전통적인 감독 네트워크를 포함한다.

이미지 처리 매개변수에 대해, 연구자들은 제어된 변환을 ImageNet과 iNaturalist 2018 데이터셋에 적용했다. 이는 6개의 JPEG 압축 수준, 3개의 선명도 설정, 3개의 리사이즈 스케일, 및 4개의 보간법을 포함한다.

iNaturalist 데이터셋에서 이미지와 관련된 주석의 예시. 출처: https://arxiv.org/pdf/1707.06642

모델은 이미지 내용만 사용하여 각 변환 설정을 회복하는 능력에 대해 테스트되었다. 성공적인 예측은 인코더가 내부 표현에서 이러한 처리 선택에 대한 정보를 유지하고 있음을 나타낸다.

획득 매개변수를 조사하기 위해, 연구자들은 356,459개의 이미지로 구성된 FlickrExif 데이터셋을 구축했다. 이는 보존된 Exif 메타데이터를 포함한다. 또한 730개의 이미지 페어로 구성된 PairCams 데이터셋을 구축했다. 이는 스마트폰과 비스마트폰 카메라로同時에 촬영된 이미지로 구성된다.

FlickrExif 데이터셋은 Flickr API를 사용하여 메타데이터가 있는 이미지를 다운로드하여 구축되었다. 2000년 초부터 2024년 중반까지 날짜가 있는 2,000개에서 4,000개의 안전한 이미지를 수집했으며, 각 기여자는 매월 10개의 이미지로 제한되었다.

PairCams 데이터셋에서 모든 사진은 자동 설정과 플래시 없이 촬영되었다. 이는 카메라 하드웨어만에 대한 차이를 테스트할 수 있도록 한다.

저자들이 수집한 PairCams 데이터셋의 추가 예시

저자들은 이미지 처리 매개변수와 이미지 획득 매개변수에 대해 테스트했다.

분석된 이미지 처리 및 획득 매개변수, 각 매개변수에 대한 클래스 수

테스트

비주얼 인코더 임베딩 내에 이미지 처리 및 카메라 유형 정보가 보존되는지 여부를 결정하기 위해, 저자들은 메타데이터 레이블을 직접 임베딩에서 예측하는 분류기를 훈련시켰다. 분류기가 무작위 추측보다 나은 성능을 보인다면, 이러한 기술적 세부 정보가 모델에 의해 캡처되고, 다운스트림 작업에 영향을 미칠 수 있음을 나타낸다.

이미지 처리 흔적을 테스트하기 위해, 저자들은 각 훈련 이미지에 임의의 처리 설정을 할당했다. 모든 테스트 이미지에는 동일한 설정이 사용되었다.

모든 설정에 대한 평균 분류 정확도를 결합하여 반복된 시도를 수행했다. 이를 통해 모델이 일관되게 기술적 세부 정보를 캡처하는지 여부를 결정할 수 있다.

이미지 처리 매개변수를 임베딩에서 예측하는 분류기 정확도, ImageNet 및 iNaturalist 2018에 대한 결과

모든 네 가지 처리 매개변수에서, 대조적 비전-언어 모델은 가장 높은 처리 매뉴얼을 인식하는 능력을 보였다. 일부 모델은 ImageNet 임베딩에서 JPEG 압축, 선명도, 리사이즈 설정을 예측하는 데 80% 이상의 정확도를 달성했다.

감독된 인코더, 특히 ConvNeXt에 기반한 모델도 강한 성능을 보였다. 자체 감독 모델은 일관되게 약한 성능을 보였다.

보간은 가장 어려운 매개변수였지만, 최상의 CVL 및 감독 모델은 여전히 두 데이터셋 모두에서 25%의 무작위 기준선을 초과했다.

다음으로, 모델 표현에 카메라 관련 정보가 포함되어 있는지 여부를 테스트하기 위해, 저자들은 각 획득 매개변수에 대해 별도의 훈련 및 테스트 세트를 생성했다.

대부분의 매개변수에서, 5,000개 이상의 예시를 가진 클래스만 사용했다. 500개의 이미지를 무작위로 테스트에 사용하고, 나머지 예시는 각 클래스가 200개의 훈련 샘플을 갖도록 다운샘플링했다.

카메라에 대한 정보를 예측하는 분류기를 훈련시켰다. 이를 통해 모델이 이미지의 의미적 내용과 상관없이 카메라 정보를 예측할 수 있는지 여부를 테스트할 수 있다.

이미지의 90%를 가려서 의미적 내용이 제거되었는지 확인했다. 이를 통해 분류기가 의미적 내용에 의해 영향을 받지 않는지 여부를 테스트할 수 있다.

이미지넷 검증 정확도에 대한 마스킹 비율 함수, 90% 마스킹에서 모든 모델이 거의 무작위 성능으로 떨어지는 것을 보여준다.

이미지의 90%를 가려도, 대부분의 대조적 비전-언어 모델과 감독된 ConvNeXt 인코더는 여전히 카메라 관련 레이블을 잘 예측했다. 많은 CVL 모델은 스마트폰과 비스마트폰 이미지를 구분하는 데 70% 이상의 정확도를 달성했다.

他の 감독된 인코더, SigLIP, 및 모든 자체 감독 모델은 훨씬 약한 성능을 보였다. 마스킹이 적용되지 않은 경우, CVL 모델은 다시 카메라 유형에 따라 강한 클러스터링을 보였다.

두 개의 비주얼 인코더에 대한 t-SNE 시각화, 색상은 이미지의 카메라 유형을 나타낸다.

다운스트림 중요성

이러한 메타데이터가 모델에 미치는 영향을 확립한 후, 숨겨진 처리 흔적이 이미지 해석을 방해하는 성향을 평가했다.

이미지의 두 버전이 다르게 처리된 경우, 임베딩은 종종 처리 스타일에 따라 조직되며, 내용보다 먼저이다. 여러 경우에 대해, 강하게 압축된 개의 사진은 동일한 압축 설정을 가진 무関係한 이미지보다 자신의 비압축 버전과 더 유사하다고 판단되었다.

처리 매개변수가 의미 예측에 미치는 영향, ImageNet 및 iNaturalist에 대한 결과

가장 강한 왜곡은 JPEG 압축에 의해 발생했으며, 선명도와 리사이즈가 뒤를이었다. 보간은わず한 영향을 미쳤다. 저자들은 이러한 결과가 처리 흔적이 의미 정보를凌駕할 수 있으며, 이미지의 이해를 지배할 수 있음을 보여준다고 주장한다.

결론적으로, 그들은 경고한다:

‘우리는 메타데이터 레이블이 기초 비주얼 인코더에 인코딩되어 있음을 확인했으며, 잠재적인 원인에 대한 힌트를 제공했다. 그러나 문제의 원인을 명확하게 지적할 수 없다. 이를进一步 조사하는 것은 이러한 모델을 다시 훈련시키는 비용과 개인 데이터셋 및 비공개 구현 세부 정보의 빈번한 사용으로 인해 어려울 수 있다.’

‘우리는 특정 완화 기술을 제안하지는 않지만, 이를 중요한 연구 영역으로 강조한다.’

결론

문헌에는 ‘방법보다 내용’에 대한 조각과 기호에 대한 법의학적 관심이 증가하고 있다. 프레임 도메인 또는 특정 데이터셋을 식별하기가 càng 쉬우면, 이를 깊은 가짜 탐지기 또는 데이터 및 모델의 출처 또는 연대를 분류하기 위한 시스템과 같은 형태로 활용하기가 càng 쉬워진다.

이 모든 것이 AI 모델을 훈련하는 핵심 의도에 반한다. 핵심 추출된 개념은 생산 수단에 독립적으로 큐레이션되어야 하며, 그 흔적을 남겨서는 안 된다. 실제로 데이터셋과 캡처 장치는 내용과 분리할 수 없는 역사적 관점을 나타낸다.

* 이 논문은 비정상적으로 구성되어 있으며, 우리는 그 비정상적인 형식과 표현에 최대한 적응하도록 할 것이다. ‘방법’ 섹션이不存在하여, 많은 자료가 부록의 다양한 부분으로 이동되었으며, 이는 주된 논문을 8페이지로 제한하기 위한 것으로 보인다. 그러나 이는 명확성의 상당한 비용으로 이루어졌다. 만약 우리가 시간 부족으로 인해 이를 개선할 기회를 놓쳤다면, 우리는 사과한다.

최초로 게시된 날은 2025년 8월 20일 수요일이다.