‘딥페이크’의 모호한 정의

독일에서 나온 새로운 연구는 ‘딥페이크’라는 용어의 정의가 지나치게 모호하다고 주장하며, 디지털 이미지 조작의 맥락에서 EU AI 법의 정의를 비판한다. 연구자들은 법의 내용이 실제 사람이나 사건과 유사하지만 가짜처럼 보이는 내용을 강조하는 데 초점을 두고 있지만 이 정의가 불분명하다고 주장한다.

그들은 또한 법의 예외 조항이 소비자 애플리케이션에서 AI의 普遍적인 영향과 AI 이전의 예술적 관습의 주관적인 성질을 고려하지 않는다고 강조한다.

이러한 문제에 대한 불분명한 법적 규정은 두 가지 주요 위험을 초래한다. 첫째, 법의 광범위한 해석 범위가 혁신과 새로운 시스템의 채택을 억제하는 ‘치リング 효과’가 발생할 수 있다. 둘째, 법이過度하게 침해적이거나 관련성이 없다고 간주되어 무시되는 ‘스카플로 효과’가 발생할 수 있다.

어떤 경우에든지, 모호한 법은 실제적인 법적 정의를 설정하는 책임을 향후 법원 판결로 넘기게 된다. 이는 입법에 대한 신중하고 위험 회피적인 접근이다.

AI 기반 이미지 조작 기술은 여전히 입법의 capacidad을 앞서고 있다. 예를 들어, 최근 삼성 카메라의 ‘Scene Optimizer’ 기능은 사용자가 촬영한 달의 이미지를 AI 기반의 ‘정제된’ 이미지로 대체할 수 있다.

위쪽 왼쪽, 새로운 논문의 예시에서 실제 사용자가 촬영한 달의 이미지와 삼성의 강화된 버전을 비교; 오른쪽, 삼성의 공식적인 이 과정의 설명; 왼쪽 아래, Reddit 사용자 u/ibreakphotos의 예시에서 (왼쪽) 의도적으로 흐린 달의 이미지와 (오른쪽) 삼성의 재창조된 이미지 – 실제 달이 아닌 모니터의 사진이었다. 출처(시계 방향으로부터 위쪽 왼쪽부터): https://arxiv.org/pdf/2412.09961; https://www.samsung.com/uk/support/mobile-devices/how-galaxy-cameras-combine-super-resolution-technologies-with-ai-to-produce-high-quality-images-of-the-moon/; https://reddit.com/r/Android/comments/11nzrb0/samsung_space_zoom_moon_shots_are_fake_and_here/

위의 이미지의 왼쪽 아래에 있는 두 개의 달의 이미지를 볼 수 있다. 왼쪽 이미지는 Reddit 사용자가 촬영한 사진이다. 이 이미지는 사용자가 의도적으로 흐리게 하고 해상도를 낮췄다.

오른쪽 이미지는 삼성 카메라로 촬영한 동일한 저화질 이미지를 AI 기반의 후처리 기능을 사용하여 자동으로 ‘강화’한 이미지이다. 카메라는 자동으로 인식된 ‘달’ 객체를 강화했다.

이 논문은 구글의 최근 스마트폰에 통합된 ‘Best Take’ 기능을 비판한다. 이 기능은 그룹 사진에서 ‘최선의’ 부분을 편집하여 여러 초의 사진 시퀀스를 스캔하고, 필요한 경우微笑이나 눈 깜빡임을 앞뒤로 이동시킨다.

이러한 종류의 구성 프로세스는 사건을 잘못 표현할 수 있다.

‘일반적인 그룹 사진 환경에서, 평균적인 관객은 여전히 결과 사진을 진정한 것으로 간주할 것이다.微笑이 삽입된 사진은 촬영된 사진에서 몇 초 앞뒤의 시간에 존재했다.

‘반면에, 베스트 테이크 기능의 10초 시간 프레임은 기분의 변화에 충분하다. 한 사람이微笑을 멈추고 다른 사람들은 그 사람을 비웃는 동안 웃을 수 있다.

‘결과적으로, 우리는 그러한 그룹 사진이 실제로 딥페이크일 수 있다고 가정한다.’

오래된 트릭

사진에서 시간을 조작하는 것은 소비자 수준의 AI보다 훨씬 더 오래된 기술이다. 새로운 논문의 저자들은 훨씬 더 오래된 기술이 존재한다는 것을 주장한다. 이러한 기술은 ‘불진실한’ 것으로 간주될 수 있다. 예를 들어, 여러 순차적인 이미지를 하나의 고동적 범위(HDR) 사진이나 ‘스티치’된 파노라마 사진으로 연결하는 것과 같은 기술이다.

실제로, 가장 오래된 사진 가짜 중 일부는 전통적으로 학교 아이들이 학교 그룹 사진을 찍을 때 사용하는 파노라마 카메라를 속이기 위해 만들어졌다. 이 기술을 사용하면 한 사람을 동일한 이미지에 두 번 나타낼 수 있다.

파노라마 카메라를 속이기 위해 학생들이 학교 사진을 찍을 때 사용한 기술. 출처: https://petapixel.com/2012/12/13/double-exposure-a-clever-photo-prank-from-half-a-century-ago/

RAW 모드가 아닌 경우, 디지털 사진은 완전히 진실한 것이 아니다. 카메라 시스템은 기본적으로 이미지 선명도와 화이트 밸런스를 조정하는 ‘개선’ 알고리즘을 적용한다. 이러한 기술은 디지털 사진의 기원부터 존재해 왔다.

이 논문의 저자들은 이러한 기술이 현실을 나타내는 것이 아니라, 사진을 더 아름답게 만들기 위해 설계되었다고 주장한다.

이 연구는 EU AI 법이 사진 출력을 증거 프레임워크에 두고 있지만, 사진이 생산되는 현재의 맥락에는 부적합하다고 주장한다. 대부분의 이미지들은 보안 카메라 영상을 촬영하거나 법의학적 사진을 찍는 것과 같은 (명목상의 객관적인) 성격을 갖지 않는다.

연구자들은 사진이 객관적인 현실의 묘사라는 생각은 오래전부터 존재했지만, 실제로는 사진이 촬영 위치, 심도, 조명 선택 등에 의해 영향을 받기 때문에 주관적인 것이라고 주장한다.

이 논문은 루틴 ‘클린업’ 작업이 예전에는 반자동으로 수행되었지만, 이제는 텍스트 프롬프트에 의해 트리거될 수 있으며, 특히 Photoshop와 같은 도구에서 자동으로 수행될 수 있다고 주장한다.

‘딥페이크’의 희석된 의미

AI로 변경되거나 생성된 이미지에 대한 입법의 중심적인 도전은 ‘딥페이크’라는 용어의 모호성이다. 이 용어의 의미는 지난 2년 동안 크게 확장되었다.

원래 ‘딥페이크’라는 용어는 오직 비디오 출력만을 의미했다. 그러나 2022년부터 Latent Diffusion Models(LDMs)의 등장으로 인해, 더 높은 해상도와 유연성,忠実도에서 동일성 교환과 사용자 지정이 가능해졌다.

이러한 시스템을 사용하면 유명인이나 정치인들을 묘사할 수 있는 확산 기반 모델을 만들 수 있다. ‘딥페이크’라는 용어는 이미 헤드라인을 만들기 위한 보물이었기 때문에, 이러한 시스템을 포함하도록 확장되었다.

나중에, 미디어와 연구 문헌에서 ‘딥페이크’라는 용어는 텍스트 기반의 가짜를 포함하도록 확장되었다.

이번에, ‘딥페이크’라는 용어의 원래 의미는 거의 사라졌고, 확장된 의미는 계속해서 발전하고 희석되었다.

그러나 ‘딥페이크’라는 용어가 너무 강력한 정치적과 미디어적 키워드였기 때문에, 이를 포기할 수 없었다. 이는 독자들을 끌어들이고, 연구자들에게 자금을 제공하며, 정치인들에게 주목을 끌었다.

이번 연구의 주요 초점은 이 용어의 모호성이다.

1: 진실된 달

첫째, 내용은 생성되거나 조작되어야 한다. 즉, AI를 사용하여 생성되거나 기존 데이터에서 변경된다.

이 논문은 ‘수용 가능한’ 이미지 편집 결과와 조작된 딥페이크를 구별하는 것이 어려움을 강조한다. 디지털 사진은 실제로 현실의 진실한 묘사라는 것이 아니다.

이 논문은 삼성에서 생성된 달의 이미지가 실제 달의 이미지가 아니더라도, 실제 달의 이미지와 매우 유사하기 때문에 진실된 것으로 간주될 수 있다고 주장한다.

그러나, 이 논문은 삼성 시스템이 실제 달이 아닌 다른 이미지에서 생성된 이미지를 생성할 수 있기 때문에, 이것은 ‘딥페이크’로 간주될 수 있다고 주장한다.

2: 텍스트페이크

둘째, 내용은 이미지, 오디오, 또는 비디오의 형태여야 한다. 텍스트 내용은 다른 투명성 의무에 따라 다루어지지만, AI 법에 따르면 ‘딥페이크’로 간주되지 않는다.

3: 실제 문제

셋째, 내용은 실제 사람, 객체, 장소, 엔티티, 또는 사건과 유사해야 한다. 이는 실제 세계와의 연결을 설정하며, 순수하게 허구적인 이미지는 ‘딥페이크’로 간주되지 않는다.

이 논문은 AI 생성된 얼굴이 실제 사람에게 속해야 하는지, 또는 실제 사람과 충분히 유사해야 하는지에 대한疑問을 제기한다.

예를 들어, 실제 사람의 이름을 언급하지 않는다면, 실제 사람을 묘사하는 사진이나 비디오 시퀀스가 실제 사람을 가장하는 의도를 가지고 있는지どう判断할 수 있을까?

4: 리터치, 리모델

마지막으로, 내용은 실제로 보이는 것이나 진실한 것으로 보이거나听起来야 한다. 이는 인간 관찰자의 인식에 중점을 둔다.

이 조건은 가장明显하게 법원의 이후 판결을委任한다. 이는 기술적 또는 기계적인 수단을 통해 해석할 수 없다.

이 논문은 이 조건이 주관적이라는 것을 강조한다. 즉, 사람에 따라, 그리고 사람의 종류에 따라(예를 들어, 어린이와 성인), 특정 ‘딥페이크’를 믿을 수 있는 정도가 다를 수 있다.

이 논문은 고급 AI 기능을 갖춘 도구가 전통적인 ‘딥페이크’ 정의를 도전한다고 주장한다. 이러한 시스템은 기본적인 안전 장치를 포함하지만, 사용자가 매우 уб신적인, 사진과 같은 수준의 진실성을 달성할 수 있도록 한다.

예외를 취하는 것

EU AI 법에는 예외가 있다. 이 예외는 매우宽容할 수 있다. 예를 들어, 원본 이미지의 대부분이 변경되지 않는 경우에는 예외가 적용된다.

이 논문은 이 예외가 너무宽容할 수 있으며, 실제로 이미지 또는 비디오의 의미를 변경하는 작은 변경이 있을 수 있다고 주장한다.

결론

이번 연구의 목적은 ‘딥페이크’에 대한 규제를 둘러싼 학際적인 연구를 khuyến진하고, 컴퓨터 과학자와 법학자 간의 새로운 대화를 시작하는 것이다.

그러나, 이 논문은 자체적으로 모순을 겪고 있다. 즉, ‘딥페이크’라는 용어의 의미가 자명하다고 가정하면서, EU AI 법이 ‘딥페이크’의 정의를 제공하지 않는다고 비판한다.

최종적으로, ‘딥페이크’의 정의는 여전히 모호한 상태로 남아 있다.

최초로 게시된 날: 2024년 12월 16일