Anderson의 관점
JPEG AI,
Unite.AI를 Google의 선호 소스에 추가
올해 2월, 수년간의 연구 끝에 국제 표준인 JPEG AI가 공개됐다. 이 연구의 목표는 머신러닝 기술을 활용해 지각 품질을 떨어뜨리지 않으면서도 크기가 작고 전송과 저장이 쉬운 이미지 코덱을 만드는 것이었다.
이 발표가 큰 주목을 받지 못한 이유 중 하나는 핵심 문서가 아이러니하게도 arXiv와 같은 무료 공개 포털에 제공되지 않았기 때문일 수 있다. 그러나 arXiv에는 이미 JPEG AI의 특이한 압축 아티팩트와 포렌식에 미치는 영향을 비롯해 여러 측면을 분석한 연구들이 공개돼 있었다.
JPEG AI는 합성 이미지 생성기가 남기는 아티팩트와 비슷한 방식으로 이미지를 바꾸기 때문에 기존 포렌식 도구는 실제 이미지와 가짜 이미지를 구별하는 데 어려움을 겪는다.
그 이유 중 하나는 JPEG AI가 포렌식 도구가 탐지하려는 생성형 시스템과 유사한 모델 아키텍처로 학습된다는 점이다. 따라서 포렌식 관점에서 두 종류의 모델은 몇 가지 비슷한 시각적 특성을 만들어낼 수 있다.
양자화
이러한 교차 현상은 두 아키텍처에 공통으로 사용되는 양자화 때문에 발생한다. 머신러닝에서 양자화는 연속 데이터를 이산적인 데이터 지점으로 변환하는 방법인 동시에 학습된 모델의 파일 크기를 크게 줄이는 최적화 기법이다. 이미지 생성 모델을 개인 장비에서 사용하는 사람이라면 거대한 공식 모델이 나온 뒤 로컬 하드웨어에서 실행할 수 있는 커뮤니티 양자화 버전을 기다리는 과정에 익숙할 것이다.
여기서 양자화는 이미지의 잠재 표현에 있는 연속적인 값을 고정된 이산 단계로 바꾸는 과정을 뜻한다. JPEG AI는 내부 수치 표현을 단순화해 이미지를 저장하거나 전송하는 데 필요한 데이터 양을 줄인다.
양자화는 인코딩 효율을 높이지만 생성형 모델이 남기는 아티팩트와 비슷한 구조적 규칙성도 만든다. 이 차이는 사람이 보기에는 미묘하지만 포렌식 도구의 판단을 방해할 수 있다.
이에 대응해 새로운 연구 Three Forensic Cues for JPEG AI Images의 저자들은 해석 가능한 비신경망 기법 세 가지를 제안했다. 이 기법들은 JPEG AI 압축을 탐지하고, 이미지가 재압축됐는지 판별하며, 압축된 실제 이미지와 완전히 AI로 생성된 이미지를 구별한다.
방법
색상 상관관계
논문은 JPEG AI 이미지에 맞춘 세 가지 포렌식 단서를 제시한다. 첫째는 JPEG AI 전처리 과정에서 생기는 색상 채널 상관관계다. 둘째는 반복 압축 과정에서 측정되는 화질 왜곡으로 재압축 여부를 드러낸다. 셋째는 잠재 공간의 양자화 패턴으로 JPEG AI 압축 이미지와 AI 생성 이미지를 구분한다.
색상 상관관계 기반 접근에서 JPEG AI의 전처리 파이프라인은 이미지의 색상 채널 사이에 통계적 의존성을 만들며, 이는 포렌식 단서로 사용할 수 있는 특징이 된다.
JPEG AI는 RGB 이미지를 YUV 색공간으로 변환하고 압축 전에 색차 채널의 해상도를 낮추는 4:2:0 크로마 서브샘플링을 수행한다. 이 과정은 빨강, 초록, 파랑 채널의 고주파 잔차 사이에 미묘한 상관관계를 만든다. 압축되지 않은 이미지에는 이런 상관관계가 없으며, 전통적인 JPEG 압축이나 합성 이미지 생성기가 만드는 상관관계와도 강도가 다르다.
연구의 비교 그림은 JPEG AI 압축이 색상 상관관계를 어떻게 바꾸는지 빨강 채널을 예로 보여준다. 패널 A는 비압축 이미지와 JPEG AI 압축 이미지를 비교해 압축이 채널 간 상관관계를 크게 높인다는 사실을 보여준다. 패널 B는 색상 변환과 서브샘플링만 따로 분석해 이 전처리 단계만으로도 상관관계가 눈에 띄게 증가함을 보여준다.
패널 C에서는 전통적인 JPEG 압축도 상관관계를 조금 높이지만 JPEG AI만큼 크지는 않다. 패널 D는 합성 이미지를 분석하며 Midjourney V5와 Adobe Firefly에서 중간 정도의 상관관계 증가가 나타난 반면, 다른 생성기의 결과는 비압축 이미지에 더 가까웠다.
율-왜곡
율-왜곡 단서는 여러 차례 압축할 때 최대 신호 대 잡음비(PSNR)로 측정한 화질이 예측 가능한 패턴으로 떨어지는지를 추적해 JPEG AI 재압축을 식별한다.
연구진은 JPEG AI로 이미지를 반복 압축하면 PSNR로 측정되는 화질 손실이 점차 작아지지만 계속 측정 가능하다고 설명한다. 이 점진적 열화가 이미지의 재압축 여부를 탐지하는 포렌식 단서가 된다.
전통적인 JPEG에서는 특정 이미지 블록의 변화를 추적할 수 있었지만, 신경망 압축 아키텍처를 쓰는 JPEG AI에는 다른 방식이 필요하다. 연구진은 연속 압축 과정에서 비트레이트와 PSNR이 어떻게 변하는지 관찰한다. 각 압축 단계가 이미지에 미치는 변화는 이전 단계보다 작아지며, 비트레이트에 대해 이 감소를 표시하면 여러 단계의 압축 여부를 알 수 있다.
비교 결과 JPEG AI와 또 다른 신경망 코덱은 모든 비트레이트에서 일관된 PSNR 하락을 보인 반면, 전통적인 JPEG는 훨씬 높은 비트레이트에서만 뚜렷한 열화를 보였다. 따라서 이 특성은 JPEG AI 재압축 이미지를 표시할 수 있는 정량적 신호가 된다.
연구진은 여러 압축 단계에서 비트레이트와 화질이 변화하는 양상을 추출해 재압축 여부를 나타내는 특징을 구성했다. 이는 JPEG AI를 다루는 실제 포렌식 업무에 활용할 수 있는 단서다.
양자화 패턴
JPEG AI가 일으키는 가장 까다로운 포렌식 문제 중 하나는 확산 모델로 생성한 합성 이미지와 시각적으로 비슷하다는 점이다. 두 시스템 모두 압축된 잠재 공간에서 이미지를 처리하는 인코더-디코더 구조를 사용하며 미세한 업샘플링 아티팩트를 남길 수 있다.
이 공통점은 JPEG AI 이미지로 다시 학습한 탐지기조차 혼동시킬 수 있다. 그러나 중요한 구조적 차이가 남아 있다. JPEG AI는 효율적인 압축을 위해 잠재 값을 이산 수준으로 반올림하는 양자화를 적용하지만, 생성형 모델은 일반적으로 이 단계를 사용하지 않는다.
새 논문은 이 차이를 이용해 양자화의 존재를 간접적으로 검사하는 포렌식 단서를 설계한다. 이미지가 이미 양자화됐다면 잠재 구조가 반올림된 값과 정렬되는 측정 가능한 패턴을 보인다는 가정 아래, 반올림에 대한 이미지의 잠재 표현 반응을 분석한다.
눈으로는 볼 수 없는 이러한 패턴은 통계적 차이를 만들어 압축된 실제 이미지와 완전한 합성 이미지를 구분하는 데 도움을 준다.
평균 푸리에 스펙트럼을 보면 JPEG AI 압축 이미지와 Midjourney V5 및 Stable Diffusion XL 같은 확산 모델 이미지 모두 주파수 영역에서 규칙적인 격자 패턴을 보인다. 이는 일반적으로 업샘플링과 연결되는 아티팩트다. 실제 이미지에는 이 패턴이 없으며, 이런 스펙트럼 구조의 중복은 포렌식 도구가 압축된 실제 이미지와 합성 이미지를 혼동하는 이유를 설명한다.
이 단서는 여러 생성형 모델에 걸쳐 작동하며, 압축이 잠재 공간의 일부를 완전히 0으로 만들 만큼 강한 경우에도 효과가 유지됐다. 반면 합성 이미지는 반올림 검사에 훨씬 약하게 반응해 두 종류를 구별할 수 있었다.
이 방법은 불안정한 표면 아티팩트에 의존하지 않고 압축과 생성의 핵심 차이를 겨냥하는 가볍고 해석 가능한 도구로 설계됐다.
데이터와 실험
압축 탐지
연구진은 색상 상관관계 단서가 비압축 원본을 한 번 JPEG AI로 압축한 이미지를 안정적으로 탐지할 수 있는지 평가했다. 이를 위해 RAISE 데이터셋의 고품질 비압축 이미지를 JPEG AI 참조 구현으로 다양한 비트레이트에서 압축했다.
각 색상 채널의 잔차 잡음이 다른 채널과 얼마나 정렬되는지를 포함한 색상 채널 상관관계의 통계 패턴으로 간단한 랜덤 포레스트를 학습했다. 그리고 이미지 픽셀을 직접 학습한 ResNet50 신경망과 결과를 비교했다.
ResNet50은 시험 데이터가 학습 조건과 매우 비슷할 때 더 높은 정확도를 보였지만 서로 다른 압축 수준으로 일반화하는 데 어려움을 겪었다. 훨씬 단순한 상관관계 기반 방식은 비트레이트 전반에서 더 일관됐으며, 특히 JPEG AI 전처리의 영향이 강하게 나타나는 낮은 비트레이트에서 효과적이었다.
이 결과는 딥러닝을 사용하지 않고도 해석 가능하고 견고한 통계 단서로 JPEG AI 압축을 탐지할 수 있음을 보여준다.
재압축 탐지
JPEG AI 재압축을 안정적으로 탐지할 수 있는지 확인하기 위해 연구진은 다양한 비트레이트로 압축된 이미지에 율-왜곡 단서를 적용했다. 일부 이미지는 한 번만 압축했고, 다른 이미지는 JPEG AI로 두 번째 압축을 수행했다.
이 방법은 세 차례 압축 과정에서 이미지의 비트레이트와 PSNR 변화를 추적하는 17차원 특징 벡터를 추출한다. 특징 집합은 각 단계의 화질 손실과 잠재 표현 및 하이퍼프라이어 비트레이트의 동작을 담는다. 전통적인 픽셀 기반 방식으로는 이런 지표에 쉽게 접근할 수 없다.
연구진은 이 특징으로 랜덤 포레스트를 학습하고 이미지 패치로 학습한 ResNet50과 성능을 비교했다.
랜덤 포레스트는 첫 압축이 강한 낮은 비트레이트에서 특히 효과적이었으며, 한 번 압축된 이미지와 두 번 압축된 이미지 사이의 차이를 명확하게 찾아냈다. 앞선 실험과 마찬가지로 ResNet50은 학습에서 보지 못한 압축 수준에 일반화하는 데 어려움을 보였다.
반면 율-왜곡 특징은 다양한 조건에서 안정적으로 작동했다. 다른 AI 기반 코덱에도 적용할 수 있어 JPEG AI를 넘어 일반화될 가능성도 확인됐다.
JPEG AI와 합성 이미지 구분
마지막 실험에서는 양자화 기반 특징이 JPEG AI 압축 이미지와 Midjourney, Stable Diffusion, DALL-E 2, Glide, Adobe Firefly 같은 모델이 만든 완전한 합성 이미지를 구분할 수 있는지 평가했다.
연구진은 Synthbuster 데이터셋의 일부를 사용해 RAISE 데이터베이스의 실제 사진과 여러 확산 및 GAN 기반 모델이 생성한 이미지를 섞었다. Synthbuster의 프롬프트는 RAISE-1k의 자연 사진에서 영감을 받아 예술적 표현보다 사실적인 내용과 질감을 만들도록 설계됐다.
실제 이미지는 여러 비트레이트로 JPEG AI 압축됐다. 분류 과제는 JPEG AI와 특정 생성기를 구분하거나, 특정 비트레이트의 JPEG AI 이미지와 Stable Diffusion XL 이미지를 구분하는 두 가지 형태로 구성됐다.
잠재 표현에서 추출한 상관관계인 양자화 특징은 고정된 256×256 영역에서 계산해 랜덤 포레스트 분류기에 입력했다. 기준선으로는 같은 데이터의 픽셀 패치로 ResNet50을 학습했다.
대부분의 조건에서 양자화 기반 접근은 ResNet50 기준선을 능가했으며, 압축 아티팩트가 강한 낮은 비트레이트에서 특히 우수했다.
저자들에 따르면 ResNet50 기준선은 Glide 이미지에서 66.1%의 정확도로 가장 좋은 성능을 냈지만, 다른 조건에서는 양자화 특징보다 일반화 성능이 떨어졌다. 양자화 특징은 압축 강도와 생성기 종류가 달라져도 양호한 일반화 능력을 보였다.
0으로 양자화된 계수의 중요성은 일부만 사용하는 축약 특징에서도 확인됐다. 이 특징은 여러 경우에 ResNet50과 비슷한 성능을 냈지만, 잘리지 않은 전체 정수 벡터를 쓰는 양자화 특징이 여전히 훨씬 더 정확했다. 이는 양자화 후 0이 되는 값의 수가 AI 압축 이미지와 AI 생성 이미지를 구분하는 중요한 단서임을 보여준다.
다른 요인들도 결과에 기여한다. 전체 벡터를 사용한 JPEG AI 탐지 정확도는 모든 비트레이트에서 91%를 넘었고, 압축이 강할수록 정확도도 높아졌다.
UMAP으로 특징 공간을 투영한 결과 JPEG AI와 합성 이미지 사이에 명확한 분리가 나타났다. 낮은 비트레이트일수록 두 범주 사이의 거리가 커졌다. 일관된 예외는 Glide로, 다른 방식으로 군집을 이루었으며 시험한 생성기 가운데 탐지 정확도가 가장 낮았다.
연구진은 마지막으로 JPEG 재압축, 크기 조절, 자르기와 같은 일반적인 후처리 뒤에도 특징이 유지되는지 평가했다. 강한 후처리는 성능을 낮출 수 있었지만, 양자화 단서는 여러 현실적인 조건에서 여전히 유용한 구분 능력을 보였다.
연구 및 출처 링크
본문에 언급된 연구, 데이터셋, 문서와 기술 자료:
- JPEG AI international standard
- compression artifacts
- significance for forensics
- have difficulty differentiating
- method of converting
- optimization technique
- latent representation
- new work
- YUV color space
- chrominance channels
- Midjourney
- Adobe Firefly
- Peak Signal-to-Noise Ratio
- can confuse detectors
- RAISE dataset
- random forest
- ResNet50
- generalize
- hyperprior
- Stable Diffusion
- DALL-E 2
- Glide
- Synthbuster
- Stable Diffusion XL
- features
- UMAP
- has a hard time
결론
JPEG AI가 널리 채택된다는 보장은 없다. 이미 쌓인 인프라 부채는 새로운 코덱이라면 무엇이든 도입에 마찰을 일으킨다. AV1처럼 좋은 계보와 가치에 대한 폭넓은 합의를 갖춘 전통적인 코덱조차 오랫동안 자리 잡은 방식을 대체하는 데 어려움을 겪는다.
AI 생성기와의 충돌 가능성을 보면, 현재 세대의 AI 이미지 탐지기에 도움을 주는 특징적인 양자화 아티팩트는 후대 시스템에서 약해지거나 다른 종류의 흔적으로 대체될 수 있다. 물론 AI 생성기가 언제나 포렌식 흔적을 남긴다는 보장도 없다.
그 경우 JPEG AI 자체의 양자화 특성과 새 논문이 찾아낸 다른 단서들이 최신 생성형 AI 시스템의 포렌식 흔적과 더 이상 충돌하지 않을 수 있다.
그러나 JPEG AI가 실제 이미지와 생성 이미지의 구별을 크게 흐리는 사실상의 ‘AI 세탁’처럼 계속 작동한다면, 이를 널리 도입해야 한다는 설득력 있는 주장을 만들기 어려울 것이다.
2025년 4월 8일 화요일 최초 게시.
