카메라가 캡처한 원본을 AI가 변경하기 전에 복원하는 방법

카메라 내부의 AI가 이미 사진을 처리한 경우 원본 사진의 본질을 어떻게 보호할 수 있을까? 새로운 연구는 ‘진짜’ 센서 데이터를 복원하기 위해 AI를 사용한다!

최근 1년 동안 AI 이미지의 진실성이 증가하면서 많은 단체와 개인들이 반대하는 움직임이 나타나고 있으며, 사진에 대한 신뢰가 떨어지는 현상이 나타나고 있다.

同じ 기간 동안, Coalition for Content Provenance and Authenticity (C2PA)는 이미지에 메타데이터 기반의 출처 정보를 첨부하는 반자적 표준을 확산시키고자 하였다. 이는 이미지의 원본을 확인하고, 이후에 발생하는 AI를 사용한 처리를 감지하기 위한 목적이다:

C2PA 시스템의 출처 스키마, 이미지 캡처 시점에 메타데이터를 추가하여 변경 사항을 기록하는 다이어리와 같은 시스템 출처

이 표준의 채택은 기대만큼 널리 퍼지지 않았으며, 현재 14개의 카메라만이 카메라 내부에서 인증 정보를 인쇄하는 것을 지원한다.

이미지에 ‘여권’을 부여하는 C2PA의 아이디어는 흥미롭다. 그러나 이미지가 생성된 순간에, 카메라 제조업체는 이미 이미지 신호 처리기에 AI를 내장하고 있다. 따라서 이미지가 생성된 순간에 이미 AI의 처리를 받은 후에야 사용자가 이미지를 볼 수 있게 된다.

2024년 논문 ‘Advocating Pixel-Level Authentication of Camera-Captured Images’에서 가져온 이미지, 현대 카메라 파이프라인이 캡처 시간에 허구의 내용을 도입하는 방법과 픽셀 수준 인증 메타데이터가 이를 노출하는 방법을 보여준다. 출처

사실, 카메라의 이미지 신호 처리기에 의한 이러한 AI ‘간섭’은 이미지를 생성하는 데 사용되는 원본 데이터를 변경할 수 있다. 이는 이미지가 생성된 후에 사용자가 이미지를 볼 수 있게 되기 전에 이미 발생한다.

이러한 종류의 후처리는 현재 카메라 앱이나 사진 편집 앱에서 이미지를 변경하는 것과 다르다. 사용자는 이미지를 다운로드하기 전에 이미지를 변경할 수 있다.

반대로, 이미지 신호 처리기에 의한 처리는 ‘블랙박스’ 루틴에서 발생하며, 일반적으로 사용자에게 노출되지 않는 독점 런타임에서 발생한다. 또한, 원본 센서 데이터(카메라 RAW 형식)에 접근할 수 없다.

따라서, 이미지를 볼 수 있게 되면 이미지가 변경된 후일 수 있다. 예를 들어, 저조도 강화, 업스케일링, 또는 달의 교체와 같은 AI 지원 강화가 이미 적용된 후일 수 있다.

이러한 처리는 때때로 부정확한 재구성을 초래할 수 있다. 예를 들어, 텍스트의 경우, 이미지의 원본 데이터가 변경되어 이미지의 사용이 무효화될 수 있다.

새로운 논문에서 가져온 이미지, RAW 센서 이미지에 GenAI를 사용하여 최종 sRGB 출력을 생성하는 예 출처

위의 예는 새로운 연구 논문에서 가져온 것으로, AI를 사용하여 ‘진짜’ 원본 이미지를 복원하는 방법을 제시한다.

저자들은 다음과 같이 말한다:

‘AI 모델이 생성적 또는 인식적 손실 함수를 사용하여 이미지 신호 처리기에 사용될 때, 허구의 내용을 생성할 수 있다. 이는 이미지의 의미를 변경할 수 있다. 이미지 신호 처리기에 사용되는 AI-ISP 모듈은 특히 스마트폰 카메라에서 점점 더 많이 채택되고 있다.’

‘GenAI를 카메라 하드웨어에 사용하는 것은 카메라 이미지에 대한 전통적인 관점을 변화시키는 것이다. 카메라 이미지의 진실성에 대한 전통적인 관점은 더 이상 유효하지 않다.’

새로운 연구는 매우 가벼운 인코더와 MLP 디코더를 사용하여 원본 이미지를 복원하는 방법을 제시한다. 이 방법은 이미지에 포함된 메타데이터를 사용하여 원본 이미지를 복원하는 것이다.

새로운 논문에서 가져온 이미지, GenAI 기반의 슈퍼 리졸루션과 저조도 강화가 이미지의 내용을 변경하는 예

카메라 제조업체는 사용자에게真正한 원본 이미지를 제공할 수 있다. 그러나 이는 현재로서는 고급 장비에서만 가능할 수 있다. 모바일과 소비자 카메라에서는 원본 이미지를 얻는 것이 어려울 수 있다.

카메라가 이미지를 처리하는 방식은 과거에 비해 많이 달라졌다. 과거에는 이미지 신호 처리기에 사용되는 알고리즘이 최소한의 해석을 하였다. 그러나 현재의 AI 방법은 이미지의 내용을 더 많이 변경할 수 있다.

방법

저자들은 2024년 논문 Advocating Pixel-Level Authentication of Camera-Captured Images에서 제시한 방법을 사용하여 원본 이미지를 복원하는 방법을 제시한다. 이 방법은 이미지 신호 처리기에 의한 후처리를 감지하는 방법이다.

2024년 논문에서 가져온 이미지, 이미지 신호 처리기에 의한 후처리를 감지하는 방법

새로운 연구는 이 방법을 사용하여 원본 이미지를 복원하는 방법을 제시한다. 이 방법은 이미지 신호 처리기에 의한 후처리를 감지하여 원본 이미지를 복원하는 것이다.

이 방법은 이미지 신호 처리기에 의한 후처리를 감지하여 원본 이미지를 복원하는 것이다. 이 방법은 이미지 신호 처리기에 의한 후처리를 감지하여 원본 이미지를 복원하는 것이다.

데이터와 테스트

저자들은 새로운 방법을 테스트하기 위해 두 가지 가장 일반적인 이미지 신호 처리기 후처리 작업을 사용하였다. 첫 번째는 슈퍼 리졸루션(SR)이고, 두 번째는 저조도 강화이다.

저자들은 DIV2K 데이터셋을 사용하여 슈퍼 리졸루션을 테스트하였다. 또한, MARCONet 데이터셋을 사용하여 텍스트 슈퍼 리졸루션을 테스트하였다.

저자들은 LOL 데이터셋을 사용하여 저조도 강화를 테스트하였다. 또한, NAFNet 모델을 사용하여 블라인드 이미지-이미지 변환을 테스트하였다.

경쟁 프레임워크

저자들은 새로운 방법을 평가하기 위해 세 가지 경쟁 프레임워크와 비교하였다. 첫 번째는 SIREN이고, 두 번째는 NeRF이다. 세 번째는 Instant-NGP이다.

저자들은 Adam 옵티마이저를 사용하여 경쟁 프레임워크를 훈련하였다. 또한, PyTorch를 사용하여 경쟁 프레임워크를 테스트하였다.

저자들은 새로운 방법이 경쟁 프레임워크보다 더好的 성능을 보인다고 주장한다. 또한, 새로운 방법이 더 빠르고 효율적인 방법이라고 주장한다.

결론

카메라가 진실한 이미지를 캡처하는 것은 중요하다. 그러나 카메라가 이미지를 처리하는 방식은 과거에 비해 많이 달라졌다. 현재의 AI 방법은 이미지의 내용을 더 많이 변경할 수 있다.

카메라 제조업체는 사용자에게真正한 원본 이미지를 제공할 수 있다. 그러나 이는 현재로서는 고급 장비에서만 가능할 수 있다. 모바일과 소비자 카메라에서는 원본 이미지를 얻는 것이 어려울 수 있다.

새로운 연구는 원본 이미지를 복원하는 방법을 제시한다. 이 방법은 이미지 신호 처리기에 의한 후처리를 감지하여 원본 이미지를 복원하는 것이다.

이 방법은 카메라가 진실한 이미지를 캡처하는 것을 도와줄 수 있다. 또한, 사용자가真正한 원본 이미지를 얻을 수 있도록 도와줄 수 있다.

최초로 게시된 날: 2026년 4월 24일