Anderson의 관점

딥 러닝 모델은 AI 생성 이미지 인식에 어려움을 겪을 수 있다

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트AI 모델은 실제 이미지보다 합성 이미지에서 훨씬 낮은 성능을 보여, 향후 데이터 품질에 위험을 초래합니다.
더 보기
  • AI 모델은 실제 이미지보다 합성 이미지에서 훨씬 낮은 성능을 보여, 향후 데이터 품질에 위험을 초래합니다.
  • 합성 이미지가 레이블 없이 훈련 데이터셋에 대량으로 유입되면 모델 정확도가 저하될 수 있습니다.
  • 테스트된 모든 객체 인식 모델은 특정 AI 생성 이미지 범주에서 동일한 실패 패턴을 공유했습니다.

새로운 연구 결과에 따르면, 최첨단 AI는 사람보다 AI 생성 이미지 인식 및 해석에 훨씬 더 어려움을 겪는 것으로 나타났다. 이는 기계 학습 모델이 합성 데이터에 훈련되는 경우가 증가하고, 데이터가 실제인지 합성인지 알 수 없는 상황에서 문제가 될 수 있다.

resnext101_32x8d_wsl 예측 모델이 '베이글' 카테고리에서 어려움을 겪고 있다. 테스트에서 핵심 대상 단어가 상위 5개 예측 결과에 포함되지 않은 경우 인식 실패로 간주되었다. 출처: https://arxiv.org/pdf/2208.10760.pdf

resnext101_32x8d_wsl 예측 모델이 ‘베이글’ 카테고리에서 어려움을 겪고 있다. 테스트에서 핵심 대상 단어가 상위 5개 예측 결과에 포함되지 않은 경우 인식 실패로 간주되었다. 출처: https://arxiv.org/pdf/2208.10760.pdf

이 연구는 두 가지 유형의 컴퓨터 비전 기반 인식 프레임워크를 테스트했다: 객체 인식과 시각적 질문 응답(VQA).

왼쪽: 객체 인식 시스템의 추론 성공과 실패; 오른쪽: 이미지와 장면에 대한 AI의 이해를 더 탐색적이고 중요한 방식으로 조사하는 VQA 작업

왼쪽: 객체 인식 시스템의 추론 성공과 실패; 오른쪽: 이미지와 장면에 대한 AI의 이해를 더 탐색적이고 중요한 방식으로 조사하는 VQA 작업 출처: https://arxiv.org/pdf/2105.05312.pdf 및 https://arxiv.org/pdf/1505.00468.pdf

10개의 최첨단 모델을 테스트했으며, 모두 ImageNet에 훈련되었다. DALL-E 2와 Midjourney 이미지 합성 프레임워크가 생성한 선별 데이터세트에서 테스트했다. 가장 잘 수행된 모델은 top-5 정확도에서 60%와 80%를 달성했지만, ImageNet은 실제 데이터에서 91%와 99%를 달성했다. 사람의 성능은 일반적으로 훨씬 높다.

논문은 분포 변화를 다룬다. 모델 드리프트라고도 하는 이 현상은 예측 모델이 훈련 데이터에서 실제 데이터로 옮겨갈 때 예측 능력이 감소하는 것이다. 논문은 다음과 같이 설명한다.

‘사람은 생성된 이미지를 인식하고 관련 질문에 쉽게 답할 수 있다. 우리는 a) 딥 모델이 생성된 내용을 이해하는 데 어려움을 겪으며 미세 조정 후에는 더 나아질 수 있고, b) 생성된 이미지와 실제 사진 사이에 큰 분포 변화가 있다고 결론 내린다. 분포 변화는 범주에 따라 달라지는 것으로 보인다.’

지난주 강력한 잠재 확산 합성 모델의 큰 주목을 받은 소스 공개 이후 Stable Diffusion이 만든 합성 이미지가 이미 인터넷에 넘쳐난다. 가짜 이미지가 Common Crawl 같은 업계 표준 데이터세트에 유입되면 시간이 지나면서 나타나는 정확도의 변화가 비현실적 이미지의 영향을 크게 받을 수 있다.

합성 데이터는 초대규모 데이터 선별과 정리에 필요한 자원과 예산이 부족한, 데이터에 굶주린 컴퓨터 비전 연구 분야의 잠재적 구원자로 환영받아 왔다. 그러나 새롭게 쏟아지는 Stable Diffusion 이미지와 상용화 이후 DALL-E 2 등에서 증가한 합성 이미지 모두에 기계 비전 시스템이 인터넷에서 수집하는 시점에 가짜임을 구별하는 편리한 라벨, 주석, 해시태그가 붙어 있지는 않을 것이다.

오픈 소스 이미지 합성 프레임워크의 발전 속도는 그 이미지를 분류하는 우리의 능력을 크게 앞질렀다. 이에 가짜 이미지 탐지에 대한 관심이 커지고 있다. 이 시스템은 딥페이크 탐지 시스템과 비슷하지만 얼굴의 일부가 아닌 전체 이미지를 평가해야 한다.

새 논문의 제목은 딥 모델은 생성된 이미지를 얼마나 잘 이해하는가?이며, 샌프란시스코의 머신러닝 스타트업 Quintic AI의 Ali Borji가 작성했다.

데이터

연구는 Stable Diffusion 출시 전에 수행되었으며, DALL-E 2와 Midjourney가 생성한 17개 범주의 데이터를 사용했다. 코끼리, 버섯, 피자, 프레첼, 트랙터, 토끼 등이 포함된다.

테스트된 인식 및 VQA 시스템에서 가장 중요한 핵심 개념을 식별하기 위해 도전된 이미지의 예시

테스트된 인식 및 VQA 시스템에서 가장 중요한 핵심 개념을 식별하기 위해 도전된 이미지의 예시

이미지는 웹 검색과 트위터를 통해 얻었으며, DALL-E 2의 정책(적어도 당시의 정책)에 따라 사람 얼굴이 없는 이미지만 사용했다. 사람이 알아볼 수 있는 양질의 이미지만 선정했다.

객체 인식과 VQA 작업을 위한 두 개의 이미지 세트가 구축되었다.

객체 인식의 각 테스트 카테고리당 이미지 수

객체 인식의 각 테스트 카테고리당 이미지 수

객체 인식 테스트

객체 인식 테스트에서는 10개의 모델을 테스트했으며, 모두 ImageNet에 훈련되었다. AlexNet, ResNet152, MobileNetV2, DenseNet, ResNext, GoogleNet, ResNet101, Inception_V3, Deit, ResNext_WSL이 포함되었다.

일부 클래스는 더 세분화되어 있었기 때문에 평균 접근 방식을 적용해야 했다. 예를 들어, ImageNet에는 ‘시계’에 대한 3개의 클래스가 있으며, ‘시계’ 범주에 속하는 어떤 유형이라도 상위 5개 예측 결과에 포함되는 경우 성공으로 간주했다.

17개 카테고리에서 모델별 성능

17개 카테고리에서 모델별 성능

이 라운드에서 가장 잘 수행된 모델은 resnext101_32x8d_ws로, top-1에서 거의 60%(다섯 추측 중 첫 번째 예측이 올바른 개념인 경우), top-5에서 80%(올바른 개념이 다섯 추측 안에 있는 경우)의 정확도를 달성했다. 그러나 이 결과는 ImageNet이 실제 데이터에서 달성한 91%와 99%보다 낮다.

연구자들은 이 모델의 좋은 성능은 소셜 미디어 플랫폼에서 약한 감독으로 해시태그를 예측하기 위해 훈련된 것이기 때문이라고 주장한다. 그러나 이 선도적 결과도 실제 데이터에서 ImageNet이 얻은 91%와 99%보다 훨씬 낮다. 저자는 인터넷에서 수집한 ImageNet 이미지와 생성 이미지 사이의 큰 분포 차이 때문이라고 본다.

시스템에서 가장 어려웠던 5개의 카테고리는, 순서대로, 연, 거북이, 다람쥐, 선글라스, 헬멧이었다. 이 연구는 연 클래스가 종종 풍선, 낙하산, 우산과 혼동된다고 설명한다. 사람에게는 구분이 매우 쉽다.

연과 거북이는 모든 모델에서 실패했지만, 특히 프레첼과 트랙터는 시험한 모델 거의 모두에서 성공했다.

모델이 모두 어려움을 겪거나 쉽게 식별한 카테고리

모델이 모두 어려움을 겪거나 쉽게 식별한 카테고리

저자는 이런 결과가 모든 객체 인식 모델이 비슷한 강점과 약점을 공유할 수 있음을 보여준다고 추정한다.

시각적 질문 응답 테스트

다음으로, 연구자는 VQA 모델을 열린 형식과 이진 질문(예/아니요 질문)으로 테스트했다. 최근의 최첨단 VQA 모델은 VQA-v2 데이터세트에서 95%의 정확도를 달성할 수 있다.

이 테스트에서는 50개의 이미지를 선별하고 이에 관해 241개 질문을 작성했으며, 132개의 질문에는 긍정적인 답변, 109개의 질문에는 부정적인 답변을 포함했다. 평균 질문 길이는 5.12 단어였다.

이 라운드에서는 OFA 모델을 사용했다. 작업과 모달리티에 독립적인 이 프레임워크는 작업 이해도를 시험하며, 최근 VQA-v2 test-std에서 최고 점수를 얻었다. OFA 모델은 생성된 이미지에서 77.27%의 정확도를 달성했으며, VQA-v2 test-std에서 94.7%의 정확도를 달성했다.

VQA 테스트의 질문과 결과 예시. GT는 정답 기준값, 즉 올바른 답이다

VQA 테스트의 질문과 결과 예시. GT는 정답 기준값, 즉 올바른 답이다

저자는 생성 이미지에 VQA-v2 데이터세트에 없는 의미적 개념이 들어 있거나, 이번 VQA 시험용 질문이 일반적인 VQA-v2 질문보다 더 어려울 수 있다고 설명한다. 다만 첫 번째 설명이 더 가능성이 높다고 본다.

데이터 흐름 속의 LSD?

의견

AI 합성 이미지가 새롭게 확산되면서, 자연에 없는 기본 개념의 결합과 추상화가 즉시 만들어질 수 있다. 기존 방식으로는 제작에 지나치게 많은 시간이 걸릴 이런 이미지는 약한 감독 방식의 데이터 수집 시스템에 특별한 문제를 일으킬 수 있다. 이런 시스템은 실패를 원활하게 처리하지 못할 수 있다. 주된 이유는 대량의 라벨 없는 합성 데이터를 처리하도록 설계되지 않았기 때문이다.

이때 시스템은 실제로는 어울리지 않는 별개의 물체가 함께 보인다는 이유만으로 이상한 합성 이미지의 일부를 잘못된 범주에 집어넣을 위험이 있다.

말을 타는 우주비행사는 새 이미지 합성 시스템의 상징이 되었지만, 주의하지 않으면 이런 비현실적 관계가 실제 탐지 시스템에 들어갈 수 있다. 출처: https://twitter.com/openai/status/1511714545529614338?lang=en

말을 타는 우주비행사는 새 이미지 합성 시스템의 가장 상징적인 모습이 되었을 수 있다. 그러나 주의하지 않으면 이런 비현실적 관계가 실제 탐지 시스템에 들어갈 수 있다. 출처:  https://twitter.com/openai/status/1511714545529614338?lang=en

학습 전 전처리 단계에서 이를 막지 못하면, 자동화된 수집 체계는 가능성이 낮거나 심지어 기괴한 연관성을 머신러닝 시스템에 학습시킬 수 있다. 이는 효과를 떨어뜨리고, 상위 수준의 연관성을 후속 시스템과 하위 클래스 및 범주에 전달할 위험이 있다.

반대로 서로 무관한 합성 이미지는 이후 시스템의 정확도를 위축시킬 수 있다. 새롭거나 수정된 아키텍처가 임시로 생성된 합성 이미지를 고려하려다 지나치게 넓은 범위를 다룰 경우다.

어느 경우든 Stable Diffusion 이후 시대의 합성 이미지는 이런 기묘한 창작물과 능력을 가능하게 한 컴퓨터 비전 연구 분야의 골칫거리가 될 수 있다. 특히 데이터 수집과 선별·정리를 지금보다 훨씬 자동화하고 시간과 비용을 줄이려는 이 분야의 기대를 위협하기 때문이다.

 2022년 9월 1일 최초 게시.

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai