컴퓨터 비전 데이터 세트의 JPEG 아티팩트 문제 해결

메릴랜드 대학과 Facebook AI의 새로운 연구는 데이터 세트에서 압축률이 높은 JPEG 이미지를 사용하는 딥 러닝 시스템에 대해 '상당한 성능 저하'를 발견했으며, 이 효과를 완화하기 위한 몇 가지 새로운 방법을 제공합니다.

The 신고제목 딥 러닝에서 JPEG 압축 결함 분석 및 완화, 컴퓨터 비전 데이터 세트 훈련에서 아티팩트의 효과에 대한 이전 연구보다 '상당히 더 포괄적'이라고 주장합니다. 논문에서는 '[무거운] 내지 중간 정도의 JPEG 압축은 표준 메트릭에 상당한 성능 저하를 초래하며' 신경망은 아마도 이전 작업만큼 그러한 교란에 대한 탄력성이 있지 않다는 점을 발견했습니다. 제안.

2018 MobileNetV2 데이터 세트의 개 사진. 품질 10(왼쪽)에서 분류 시스템은 올바른 품종 'Pembroke Welsh Corgi'를 식별하지 못하고 대신 'Norwich terrier'를 추측합니다(시스템은 이미 이 사진이 개의 사진임을 알고 있지만 품종은 아님). 왼쪽에서 두 번째, 기성품 JPEG 아티팩트 보정 버전의 이미지는 다시 올바른 품종을 식별하지 못합니다. 오른쪽에서 두 번째, 대상 아티팩트 수정은 올바른 분류를 복원합니다. 오른쪽, 원본 사진이 올바르게 분류되었습니다. 출처 : https://arxiv.org/pdf/2011.08932.pdf

압축 아티팩트를 '데이터'로

극단적인 JPEG 압축은 주변에 눈에 보이거나 반만 보이는 경계선을 만들 수 있습니다. 8×8 블록 그 중 JPEG가 픽셀 그리드로 조립됩니다. 이러한 차단 또는 '울림' 아티팩트가 나타나면 이에 대해 일부 보상이 이루어지지 않는 한 기계 학습 시스템에서 이미지 주제의 실제 요소로 잘못 해석될 가능성이 높습니다.

위에서 컴퓨터 비전 기계 학습 시스템은 양질의 사진에서 '깨끗한' 기울기 이미지를 추출합니다. 아래에서 이미지의 저품질 저장에서 '차단' 아티팩트는 피사체의 특징을 가리고, 특히 데이터 세트에서 고품질 및 저품질 이미지가 발생하는 경우 이미지 세트에서 파생된 특징을 '감염'시킬 수 있습니다. , 일반 데이터 정리만 적용된 웹 스크랩 컬렉션 등. 출처: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

위의 첫 번째 이미지에서 볼 수 있듯이 이러한 아티팩트는 이미지 분류 작업에 영향을 미칠 수 있으며 아티팩트 영향을 받은 문자를 올바르게 식별하지 못할 수 있는 텍스트 인식 알고리즘에도 영향을 미칠 수 있습니다.

이미지 합성 훈련 시스템(예: 딥페이크 소프트웨어 또는 GAN 기반 이미지 생성 시스템)의 경우, 데이터 세트에서 저품질, 고도로 압축된 이미지의 '불량' 블록은 재생산의 중간 품질을 떨어뜨리거나 그렇지 않을 수 있습니다. 세트의 더 나은 이미지에서 추출된 더 많은 수의 고품질 기능에 의해 포함되고 본질적으로 무시됩니다. 두 경우 모두 더 나은 데이터 또는 적어도 일관된 데이터가 바람직합니다.

JPEG – 일반적으로 '괜찮음'

JPEG 압축은 다양한 이미지 형식에 적용할 수 있는 되돌릴 수 없는 손실 코덱이지만 주로 JFIF 이미지 파일에 적용됩니다. 싸개. 그럼에도 불구하고 JPEG(.jpg) 형식은 이미지 데이터용 JFIF 래퍼가 아니라 관련 압축 방법을 따서 명명되었습니다.

최근 몇 년 동안 AI 기반 업스케일링/복원 루틴의 일부로 JPEG 스타일 아티팩트 완화를 포함하는 전체 기계 학습 아키텍처가 등장했으며 AI 기반 압축 아티팩트 제거는 현재 Topaz 이미지/ 동영상 스위트및 신경 기능 최신 버전의 Adobe Photoshop.

이후 1986 현재 일반적으로 사용되는 JPEG 스키마는 1990년대 초반에 거의 잠겼습니다. JPEG 이미지가 저장된 품질 수준(1-100)을 나타내는 메타데이터를 이미지에 추가하는 것은 불가능합니다. 이러한 메타데이터를 사용할 수 있을 것이라고 기대하지 않았던 XNUMX년의 레거시 소비자, 전문 및 학술 소프트웨어 시스템.

결과적으로 연구원들이 새 논문(아래 참조)에서 수행한 것처럼 평가되거나 알려진 JPEG 이미지 데이터의 품질에 맞게 기계 학습 훈련 루틴을 조정하는 것은 드문 일이 아닙니다. '품질' 메타데이터 항목이 없는 경우 현재 이미지가 압축된 방법(예: 무손실 소스에서 압축)에 대한 세부 정보를 알거나 인지 알고리즘 또는 수동 분류를 통해 품질을 추정해야 합니다.

경제적 타협

JPEG는 기계 학습 데이터 세트의 품질에 영향을 줄 수 있는 유일한 손실 압축 방법이 아닙니다. PDF 파일의 압축 설정은 이러한 방식으로 정보를 버릴 수도 있으며 로컬 또는 네트워크 보관을 위해 디스크 공간을 절약하기 위해 매우 낮은 품질 수준으로 설정할 수 있습니다.

이는 archive.org에서 다양한 PDF를 샘플링하여 확인할 수 있으며, 그 중 일부는 너무 심하게 압축되어 이미지 또는 텍스트 인식 시스템에서 주목할만한 문제가 되었습니다. 저작권이 있는 책과 같은 많은 경우에 이러한 강력한 압축은 값싼 DRM의 한 형태로 적용된 것으로 보입니다. '블록' 동영상을 삭제하지 않고 '완전한 해상도' 구매를 유도하기 위한 프로모션 토큰으로 남깁니다.

다른 많은 경우에서 해상도나 이미지 품질은 단순히 데이터가 매우 오래되었고 로컬 및 네트워크 스토리지가 더 비쌌고 제한된 네트워크 속도가 고품질 재생보다 고도로 최적화되고 휴대 가능한 이미지를 선호했던 시대에 발생했기 때문에 낮습니다. .

JPEG가 최상의 솔루션은 아니지만 지금, '안치'되었습니다 본질적으로 인터넷의 기반과 얽혀 있는 제거할 수 없는 레거시 인프라입니다.

유산 부담

JPEG 2000, PNG 및 (가장 최근의) .webp 형식과 같은 최신 혁신 기술이 우수한 품질을 제공하지만 오래되고 널리 사용되는 기계 학습 데이터 세트를 다시 샘플링하면 매년 컴퓨터 비전 과제의 연속성과 역사를 '재설정'할 수 있습니다. 학계에서 – 고품질 설정에서 PNG 데이터 세트 이미지를 다시 저장하는 경우에도 적용되는 장애입니다. 일종의 기술적 부채라고 할 수 있습니다.

ImageMagick과 같은 유서 깊은 서버 기반 이미지 처리 라이브러리는 .webp를 포함하여 더 나은 형식을 지원하지만 이미지 변환 요구 사항은 JPG 또는 PNG 이외의 것으로 설정되지 않은 레거시 시스템에서 자주 발생합니다(무손실 압축을 제공하지만 대기 시간 및 디스크 공간). CMS의 원동력인 워드프레스도 전체 웹사이트의 약 40%, .webp 지원만 추가됨 삼 개월 전에.

PNG는 1990년대 후반, 1995년 선언 형식의 부활 2010년대 초반에는 저대역폭의 산뜻한 애니메이션 콘텐츠를 제공하는 기능에 중점을 두었습니다(아이러니하게도 애니메이션 PNG는 인기나 폭넓은 지원을 얻지 못했으며 심지어 트위터에서 금지 2019에서).

단점에도 불구하고 JPEG 압축은 빠르고 공간 효율적이며 모든 유형의 시스템에 깊숙이 내장되어 있으므로 가까운 장래에 기계 학습 장면에서 완전히 사라질 가능성은 없습니다.

AI/JPEG Detente를 최대한 활용하기

기계 학습 커뮤니티는 어느 정도 JPEG 압축의 약점에 적응했습니다. 2011년 유럽 방사선 학회(ESR)는 공부 '허용 가능한' 손실에 대한 지침을 제공하는 '방사선 영상에서 비가역적 이미지 압축의 유용성'에 대해; 존경할 때 MNIST 텍스트 인식 데이터 세트(이미지 데이터는 원래 새로운 이진 형식으로 제공됨)는 '일반' 이미지 형식으로 포팅되었습니다. PNG가 아닌 JPEG, 선택되었습니다. 그리고 이전(2020년) 새 논문의 저자가 제공한 공동 작업 '새로운 아키텍처' 새로운 작업에서 활용되는 기능인 각 JPEG 품질 설정에서 모델을 교육할 필요 없이 다양한 JPEG 이미지 품질의 단점에 대해 기계 학습 시스템을 보정하기 위한 것입니다.

실제로 품질 변형 JPEG 데이터의 유용성에 대한 연구는 기계 학습에서 비교적 번성하는 분야입니다. 메릴랜드 대학교 자동화 연구 센터의 2016년 프로젝트 하나(관련 없음) DCT 도메인 중심 (낮은 품질 설정에서 JPEG 아티팩트가 발생하는 경우) 깊은 특징 추출 경로로 사용; 2019년의 또 다른 프로젝트는 JPEG 데이터의 바이트 수준 읽기 실제로 이미지의 압축을 풀기 위해 시간을 낭비할 필요가 없습니다(예: 자동화된 작업 흐름의 특정 지점에서 이미지 열기). 그리고 공부 2019년 프랑스에서 객체 인식 루틴 서비스에 JPEG 압축을 적극적으로 활용합니다.

테스트 및 결론

UoM과 Facebook의 최신 연구로 돌아가서, 연구원들은 10-90 사이에서 압축된 이미지에 대해 JPEG 이해도와 유용성을 테스트하려고 했습니다(그 이하에서는 이미지가 불가능할 정도로 교란되고, 그 이상에서는 무손실 압축과 동일함). 테스트에 사용된 이미지는 목표 품질 범위 내의 각 값으로 사전 압축되었으며 최소 XNUMX개의 교육 세션이 수반되었습니다.

모델은 다음 네 가지 방법을 통해 확률적 경사하강법에 대해 훈련되었습니다. 기준추가 완화가 추가되지 않은 경우 감독된 미세 조정훈련 세트가 사전 훈련된 가중치와 레이블이 지정된 데이터의 이점이 있는 경우(연구원은 이것이 소비자 수준 응용 프로그램에서 복제하기 어렵다는 점을 인정함); 아티팩트 수정, 트레이닝 전에 압축된 이미지에 대해 증강/개선이 수행되는 경우; 그리고 작업 대상 아티팩트 수정여기서 아티팩트 수정 네트워크는 반환된 오류에서 미세 조정됩니다.

ResNet의 여러 변형을 포함하여 다양한 apt 데이터 세트에서 교육이 이루어졌습니다. FastRCNN, 모바일넷V2, 마스크RCNN 케라스' 인셉션V3.

작업 대상 아티팩트 수정 후의 샘플 손실 결과는 아래에 시각화되어 있습니다(낮은 = 더 좋음).

연구원의 발견이 JPEG 아티팩트를 평가하는 목적과 이를 완화하기 위한 새로운 방법으로 나뉘기 때문에 연구에서 얻은 결과의 세부 사항에 대해 깊이 파고드는 것은 불가능합니다. 훈련을 반복했다 품질별 너무 많은 데이터 세트에 대해; 작업에는 개체 감지, 분할 및 분류와 같은 여러 목표가 포함되었습니다. 기본적으로 새 보고서는 여러 문제를 다루는 포괄적인 참조 작업으로 자리매김합니다.

그럼에도 불구하고 이 논문은 'JPEG 압축은 무거운 압축 설정에서 보통 압축 설정에 대해 전반적으로 상당한 패널티가 있다'고 광범위하게 결론을 내립니다. 또한 레이블이 지정되지 않은 새로운 완화 전략이 다른 유사한 접근 방식보다 우수한 결과를 달성한다고 주장합니다. 복잡한 작업의 경우 연구원의 감독 방법은 지상 진실 레이블에 액세스할 수 없음에도 불구하고 동료보다 성능이 뛰어납니다. 이러한 새로운 방법론은 얻은 가중치가 작업 간에 이전 가능하기 때문에 모델 재사용을 허용합니다.

분류 작업 측면에서 이 논문은 'JPEG는 그래디언트 품질을 저하시킬 뿐만 아니라 지역화 오류를 유발한다'고 명시적으로 설명합니다.

저자는 크게 무시되는 것과 같은 다른 압축 방법을 다루기 위해 향후 연구를 확장하기를 희망합니다. JPEG 2000, WebP 뿐만 아니라 HEIF 그리고 BPG. 그들은 또한 그들의 방법론이 비디오 압축 알고리즘에 대한 유사한 연구에 적용될 수 있다고 제안합니다.

작업 대상 아티팩트 보정 방법이 연구에서 매우 성공적인 것으로 입증되었기 때문에 저자는 또한 '[많은] 응용 프로그램이 수정 없이 TTAC 가중치를 사용함으로써 이점을 얻을 것'이라고 예상하면서 프로젝트 중에 훈련된 가중치를 공개하겠다는 의도를 나타냅니다.

nb 기사의 소스 이미지는 thispersondoesnotexist.com에서 가져온 것입니다.