Anderson의 관점
AI가 바꾸기 전 카메라가 포착한 이미지 복원하기
Unite.AI를 Google의 선호 소스에 추가
사진이 카메라 안에서 이미 자동으로 AI 처리를 거쳤다면, 원시 사진의 온전함을 AI의 간섭으로부터 어떻게 보호할 수 있을까? 새로운 연구는 ‘진짜’ 센서 데이터를 복원하려 한다. 이 역시 AI를 사용한다!
지난 1년 남짓 AI 이미지가 더욱 사실적으로 변하면서 많은 단체와 개인이 반대의 목소리를 내고 있다. 그 대상은 사진에 대한 신뢰의 침식이다.
같은 기간 콘텐츠 출처 및 진위 연합(C2PA)은 반암호학적 표준을 보급하려 했다. 이 표준은 이미지에 출처 정보를 첨부하며, 지원되는 카메라나 기기가 이미지를 촬영하는 바로 그 순간부터 메타데이터를 기록하여 이 ‘원본’ 사진에 나중에 생성형 AI가 사용되면 이를 드러내려는 것이다.
C2PA 시스템의 출처 기록 구조. 촬영 순간에 기록된 메타데이터에는 일기처럼 내용을 계속 추가할 수 있다. 밝기나 대비 같은 통상적인 조정은 허용하되 큰 변경을 기록하여, AI로 크게 수정된 이미지가 이 시스템을 지원하는 매체에서 그러한 이미지로 식별되도록 한다. 출처
이 표준의 채택은 연합이 기대했던 만큼 널리 이루어지지 않았으며, 현재 단 14개 카메라만 카메라 내부에서 진위 정보를 기록하는 기능을 지원한다.
사진이 탄생하자마자 ‘여권’을 부여한다는 C2PA의 발상에서 흥미로운 점은 그때가 이미 너무 늦었을 수도 있다는 것이다. 카메라 제조사들이 이제 이미지가 생성되는 과정 자체에 AI 처리를 일상적으로 내장하기 때문이다.
2024년 논문 ‘Advocating Pixel-Level Authentication of Camera-Captured Images’에서 가져온 그림. 현대 카메라 처리 과정이 촬영 시점에 환각 내용을 어떻게 만들어 내고, 픽셀 수준 인증 메타데이터가 이를 어떻게 드러내는지 보여 준다. (A) 스마트폰 센서 이미지를 ISP가 처리할 때 AI 모듈은 디지털 줌이나 노출 보정 과정에서 세부 사항을 지어낼 수 있다. 그 결과 실제처럼 보이지만 번호판 숫자가 잘못 읽히는 등의 오류가 있는 이미지가 만들어진다. (B) 인증 마스크를 메타데이터로 삽입한 뒤 나중에 이미지에 겹쳐 진짜가 아닌 영역을 드러낸다. 사용자는 원래 데이터와 AI로 바뀐 픽셀을 구별할 수 있다. 출처
실제로 카메라 센서의 원시 데이터 수집에 대한 이러한 AI ‘간섭’은 결국 지배적인 처리 과정이 될 수도 있다.
이런 후처리는 현재 유행하는 카메라 내 사진 편집과는 다르다. 후자의 경우 휴대전화나 카메라 앱을 통해 사진을 기기에서 내려받기 전에 사용자가 여유롭게 수정할 수 있다.
여기서 말하는 처리는 카메라의 이미지 신호 처리기(ISP) 안에서 ‘블랙박스’ 방식으로 이루어진다. 대개 원시 센서 데이터를 보여 주거나 제공하지 않는 독점 실행 환경에서 작동한다. 이른바 ‘순수한’ 카메라 RAW 형식도 그렇게까지 ‘원시’인 것은 아니라는 점도 생각해 보자.
따라서 사진을 볼 수 있게 되었을 때는 이미 저조도 개선, 해상도 확대, 심지어 달 바꾸기 같은 AI 지원 처리를 거쳤을 수 있다.
이 때문에 텍스트 등이 부정확하게 재구성되는 경우가 많다. 진정한 ‘원시’ 이미지가 남아 있지 않으면 해당 이미지를 증거로 사용할 수 없게 될 수도 있다.
새 논문에서 가져온 그림. RAW 센서 이미지를 GenAI 지원 ISP가 처리하여 더 선명해 보이는 최종 sRGB 출력을 만들지만, 환각으로 생성된 세부 사항이 포함될 수 있다. 번호판 예에서는 디지털 줌 과정에서 문자가 잘못 추정된다. 실제로 접근할 수 없는 진짜 장면은 AI로 개선된 출력과도, 환각이 생기기 전의 중간 진짜 이미지와도 다르다. 제안된 접근법은 환각 이전의 이미지를 복원하여, AI 개선이 내용을 바꾸기 전에 카메라 광학계가 처음 포착한 내용을 되찾게 한다. 출처
위 예들은 ‘처음부터 AI로 처리된 사진’의 문제를 해결하려는 새 연구 논문에서 나왔다. 다른 AI 처리 과정을 사용하여 처리된 이미지로부터 원시의 변형되지 않은 이미지를 추정하고 재구성한다.
저자들은 다음과 같이 설명한다.
‘생성적 또는 지각적 손실로 학습한 AI 모델을 ISP에서 사용하면, 내용을 환각적으로 생성하여 이미지의 [의미]를 바꿀 수 있다. 이는 카메라에서 직접 출력한 이미지에 이제 “가짜” 내용이 포함될 수 있다는 뜻이다. 특히 AI-ISP 모듈의 채택이 늘고 있는 스마트폰 카메라에서 그렇다.
‘카메라 하드웨어에서 GenAI를 사용하는 것은 카메라 이미지를 바라보는 방식의 패러다임 전환이며, 카메라로 촬영한 이미지는 본질적으로 신뢰할 수 있다는 전통적인 법과학 관점에 의문을 제기한다.’
새 연구는 매우 가벼운 인코더와 MLP 디코더를 사용한다. 이를 이미지 안에 포함해도 추가 파일 크기는 180kb에 불과하다. 목표는 원래 이미지를 실시간으로 다시 추출할 만큼 빠른 인코딩 시스템을 개발하는 것이다.
새 논문에서 가져온 그림. 카메라 ISP 내부의 GenAI 기반 초해상도 처리는 시선과 입 모양을 바꾸어 얼굴 특징을 미묘하게 변경하고, 외모나 인식되는 정체성까지 달라지게 할 수 있다. 저조도 개선도 화질을 높이면서 이미지 내용을 바꾸어 해석에 영향을 줄 수 있다. QR 코드 예에서는 개선 후 이미지가 더 보기 좋아지지만 코드를 읽을 수 없게 된다. 이 방법은 환각이 생기기 전의 진짜 이미지를 복원하여 원래 얼굴 세부 사항과 스캔 가능한 QR 코드를 되찾는다.
또는 카메라 제조사들이 전혀 변형되지 않은 센서 덤프에 대한 접근을 제공할 수도 있다. 하지만 이는 최고급 장비에만 제한될 가능성이 있어 보인다. 안타깝게도 모바일 및 일반 소비자 시장에서는 미처리 사진에 대한 접근이 ‘틈새’ 또는 비주류의 관심사로 여겨질 수 있다.
소비자용 카메라는 항상 어느 정도 후처리를 해 왔지만, 엣지 AI가 등장하기 전에는 사용되는 알고리즘의 ‘해석’이 최소한에 그쳤다. 오늘날 AI 방식처럼 사진 내용을 유의미하게 바꿀 가능성은 낮았다.
흥미롭게도 삼성의 ‘달 바꾸기 정책’이 몇 년 전 대중의 비판을 받았던 정도를 생각하면, 토론토의 삼성 AI 센터가 새 연구의 참여 기관 중 하나라는 사실은 눈길을 끈다. 논문 제목은 카메라가 생성형 AI를 사용할 때 이미지 진위 문제에 대응하기이며, 토론토대학교 연구자 다섯 명이 주요 기여를 했다.
방법
저자들은 설계 자체에서 비롯되는 이미지 변형 문제를 직접 다룬 것으로 보이는 유일한 다른 연구를 활용한다. 2024년 논문 Advocating Pixel-Level Authentication of Camera-Captured Images는 카메라 내부 AI 처리로 바뀐 영역을 표시하는 ‘이진 인증 마스크’를 제안했다.
맨 오른쪽: 2024년 논문의 ‘진위 마스크’가 카메라의 AI ‘평활화’ 처리에 영향을 받은 하늘 영역을 드러낸다.
그러나 그 시스템에는 ‘진짜’ 이미지를 복원할 방법이 없었다. 새 연구는 앞선 연구의 기여를 인정하면서 이 문제를 해결한다.
새 연구의 목표는 사용자가 처리가 이루어지기 전에 실제로 센서에 들어온 내용에 최대한 가까운 이미지를 복원하도록 하는 것이다.
제안된 방법의 개요. (A) 촬영 시점에 환각이 포함된 ISP 출력 이미지를 매개변수가 동결된 사전학습 인코더에 통과시킨다. 잠재 특징을 공간 좌표와 결합한 뒤 픽셀별로 작동하는 MLP에 입력하여 환각이 없는 이미지를 예측하며, 진짜 이미지를 기준으로 한 손실로 학습을 유도한다. 인코더와 MLP의 가중치를 이미지와 함께 메타데이터로 저장한다. (B) 추론 시점에는 이 가중치를 메타데이터에서 읽어 인코더와 MLP에 적용하여 환각 없는 이미지를 재구성한다.
새 방법은 촬영 시 처리된 이미지를 동결된 인코더에 통과시켜 압축된 잠재 표현으로 변환한다. 이어 관련 공간 좌표를 이 특징과 결합하여 가벼운 픽셀별 MLP에 입력하고 원래 이미지 내용을 예측한다. 사실상 진짜 이미지를 목표로 삼아 재구성 손실을 통해 환각 요소를 빼는 법을 학습하는 것이다.
인코더와 디코더는 진짜 이미지와 환각 이미지가 쌍을 이루는 데이터로 사전학습한 뒤, 촬영된 이미지마다 빠르게 미세 조정된다. 이들의 가중치는 사진과 함께 메타데이터로 저장되므로 파일 크기는 조금만 증가한다.
사진을 볼 때 저장된 가중치를 추출하여 같은 인코더와 MLP를 실행한다. 새로운 합성 내용을 추가하지 않고, 센서가 처음 포착한 내용에 매우 가까운 이미지를 복원할 수 있다.
데이터와 실험
저자들은 널리 사용되는 두 ISP 후처리 작업으로 새 방법을 시험했다. 확대 영역을 포함한 초해상도(SR)와 저조도 사진 촬영이다.
일반적인 ‘자연 이미지’ SR 실험 데이터에는 많은 텍스트 예도 포함했다. ISP SR 과정에서 자동차 번호판 등의 텍스트가 바뀐다는 사실이 알려져 있기 때문이다. 앞선 예도 참고하자. 텍스트 왜곡은 별개의 문제이므로 전용 데이터를 사용하는 SR 실험의 하위 과제로 다뤘다.
앞서 언급한 인코더는 시험한 두 모달리티별로 학습했다. 촬영 중 작동할 가능성이 높은 AI ISP 모듈에 맞춰 각각을 선택했다. 예를 들어 어두운 조건에서는 ‘저조도’ 모듈이다.
저자들은 초해상도 학습에 DIV2K 데이터셋을 사용했으며, 널리 쓰이는 RealESRGAN 네트워크를 활용했다. 앞서 언급한 2024년 ISP 간섭 연구와 마찬가지로, 변경되지 않은 내용과 환각의 영향을 받은 내용이 짝을 이루는 데이터를 생성했다.
텍스트 SR에는 2023년 MARCONet 텍스트 SR 모델을 사용했다.
2023년 MARCONet 논문에서 가져온 실제 저해상도 텍스트와 이에 대응하는 확대 텍스트의 예. 출처
쌍을 이루는 데이터를 만들기 위해 환각이 없는 이미지를 MARCONet에 통과시켰다. 프로젝트 원본 코드로 이미지 2,000장을 생성하여 200장을 따로 남겨 검증에 사용하고, 다른 200장은 시험에 사용했다.
저조도 시험에는 LOw-Light 데이터셋(LOL)을 사용했다. 이 데이터셋은 2018년 중국 논문에서 나왔다.
2018년 중국 LOL 데이터셋에서 가져온 예. 같은 사진을 서로 다른 노출과 어두움 및 열화 수준으로 촬영한 브래킷 이미지들이다. 출처
비교 대상 시스템
방법을 평가하기 위해 같은 조건으로 학습한 세 가지 특정 기준 방법과 비교했다. 먼저 SIREN과 NeRF는 진짜 이미지와 환각 이미지 쌍으로 사전학습한 뒤, 촬영 시 제안된 방법과 같은 시간 동안 미세 조정하여 NeRF와 직접 비교했다.
두 번째로 hashgrid 방식의 학습형 인코딩을 사용하는 MLP를 Instant-NGP에서 가져와 사용했다. 해시 테이블 항목과 MLP는 함께 최적화했다.
임베딩 크기와 네트워크 용량은 목표 인코더 및 MLP에 맞췄다. 실험에는 이미지마다 처음부터 최적화하는 경우와 사전학습 후 미세 조정하는 경우를 모두 포함했다.
세 번째로 64MB NAFNet 모델을 사용한 메타데이터 없는 이미지 간 변환 기준 방법을 구현했다. 이는 메타데이터에 접근하지 않는 픽셀 간 회귀 시스템으로 학습했다.
학습에서는 Adam 옵티마이저를 PyTorch 위에서 사용하여 사전학습과 미세 조정을 수행했다. 인코더와 MLP는 50,000 에포크 동안 배치 크기 32로 학습했다. SR, 텍스트 SR, 저조도 등 각 작업마다 해당 모달리티 전용 인코더를 학습했다.
미세 조정은 VRAM 32GB의 NVIDIA V100 GPU에서 약 3초 동안 이루어졌다. 저자들은 기기 내 최적화가 목표 환경이지만 모든 비교 시스템에서 이를 구현하기는 현실적이지 않아, 모든 실험을 데스크톱 환경에서 수행했다고 밝혔다.
메타데이터를 사용하는 MLP 기준 방법인 SIREN, NeRF, 해시 그리드 방식과 NAFNet을 이용한 메타데이터 없는 복원의 성능 비교. DIV2K 자연 이미지 초해상도, MARCONet 텍스트 초해상도, LOL 저조도 개선이라는 세 작업의 결과를 데시벨 단위 PSNR로 보고한다. 저자들의 방법은 모든 경우 가장 높은 점수를 얻었다.
MLP 접근법의 성능은 입력 표현에 크게 좌우됐다. 공간 좌표만 사용해 학습한 모델은 사전학습에서 어려움을 겪었고 제한된 미세 조정 단계에서도 개선되지 않았다. 색상 정보를 추가하자 더 나은 결과를 얻었다.
NAFNet을 이용한 메타데이터 없는 복원은 열화된 이미지와 깨끗한 이미지의 대응이 비교적 안정적인 DIV2K에서는 좋은 성능을 보였다. 그러나 가능한 복원 결과가 여러 개인 MARCONet과 LOL에서는 이 모호함을 해결할 정보가 부족해 제대로 작동하지 않았다.
이 문제는 특히 저조도 개선에서 두드러졌다. 처리된 이미지만으로는 원래 장면의 밝기를 신뢰성 있게 추정할 수 없었다.
저자들은 다음과 같이 설명한다.
‘합성 MARCONet 데이터에서는 흐림 강도가 다른 이미지들이 같은 환각 이미지로 변환된다. 결과를 보면 우리가 제안한 접근법이 모든 데이터셋에서 비교 대상을 능가함을 알 수 있다.’
반면 저자들의 방법은 대부분의 작업을 미리 수행하고 촬영 시 빠르게 조정하므로, 3초, 5초 또는 10초라는 엄격한 시간 제약 안에서 더 나은 결과를 낼 수 있다.
메타데이터를 사용하는 MLP 기준 방법인 SIREN, NeRF, 해시 그리드 방식과 NAFNet을 이용한 메타데이터 없는 복원의 성능 비교. DIV2K 자연 이미지 초해상도, MARCONet 텍스트 초해상도, LOL 저조도 개선이라는 세 작업의 결과를 데시벨 단위 PSNR로 보고한다. 제안된 방법은 모든 경우 가장 높은 점수를 얻었다. 조금 더 높은 해상도는 원 논문을 참고하기 바란다.
위는 개선 방법이 눈에 띄는 환각을 만든 DIV2K의 정성적 결과다. GAN 기반 초해상도 모델은 눈 색깔을 바꿨으며, 메타데이터 없는 복원은 원본 재구성에 어려움을 겪었다. NeRF와 해시 그리드는 창문이나 텍스트처럼 구조가 있는 영역에 아티팩트를 만들었지만, 제안된 방법은 진짜 이미지에 더 가까웠다.
메타데이터 없는 복원은 알 수 없는 밝기 척도를 해결하지 못했다. 반면 제안된 방법은 텍스처를 더 잘 재구성하고 ‘1’을 다시 ‘i’로 고치는 등 바뀐 문자를 복원하면서 아티팩트를 추가하지 않았다.
결론
‘카메라는 결코 거짓말하지 않는다’는 주장은 아마 옹호할 수 없으며, 과거에도 그랬다. 무엇을 언제 촬영할지, 어떻게 제시하고 맥락을 부여할지에 관한 모든 결정은 사실상 정치적이거나 사회적인 결정이다.
가장 오래된 후처리 방식인 닷징과 버닝조차도, 오래전에 포토샵 도구로 옮겨졌지만, 예술적 판단과 취향에 따른 매우 주관적인 행위다.
그렇다고 최소한 ‘객관적인’ 이미지 촬영이라는 목표까지 포기할 이유는 없다. 일반 소비자는 원한다면 다소 어렵더라도 자신이 찍은 사진의 가공되지 않은 원시 센서 덤프에 접근할 수 있어야 한다는 생각은 합리적이다. 또는 적어도 선호에 따라 ISP 후처리를 AI가 아닌 알고리즘으로 제한할 수 있어야 한다.
최초 게시: 2026년 4월 24일 금요일
