Anderson의 관점
JPEG 압축, 백인이 아닌 사람의 얼굴 인식 오류율 높여…연구 결과

핵심 포인트JPEG 압축은 어두운 피부 톤에 대한 오탐률을 최대 34.55%까지 증가시킵니다.
더 보기
- JPEG 압축은 어두운 피부 톤에 대한 오탐률을 최대 34.55%까지 증가시킵니다.
- 크로마 서브샘플링을 제거하면 얼굴 인식 편향에 대한 부정적 영향이 15.95% 감소합니다.
- 추론 이미지가 여전히 압축된 상태라면, 압축되지 않은 데이터로 학습해도 편향이 해결되지 않습니다.
영국에서 수행된 새로운 연구에 따르면 JPEG 이미지의 손실 압축 기술이 얼굴 인식 시스템의 효과에 부정적인 영향을 미쳐 백인이 아닌 사람을 더 잘못 식별할 가능성이 높아진다.
연구 논문은 다음과 같이 말한다:
‘광범위한 실험 설정을 통해 우리는 일반적인 손실 압축 이미지 접근 방식이 특정 인종 표현형 범주(예: 더 어두운 피부 톤)에 대한 얼굴 인식 성능에 더 큰 부정적인 영향을 미친다는 것을 보여주었다. 최대 34.55%까지.’
결과는 또한 색상 하위 샘플링이 얼굴 이미지의 색상 정보(밝기 정보가 아닌)를 줄여서 다양한 테스트 데이터셋에서 잘못된 일치율(FMR)을 증가시킨다는 것을 나타낸다. 이러한 데이터셋 중 많은 수가 컴퓨터 비전의 표준 저장소이다.

원본 이미지에 대한 색상 하위 샘플링 작업, 다양한 속도에서 수행한 결과, 세부 사항의 보존 정도와 미세한 색조가 서로 섞이면서 세부 정보와 식별 특징이 소실되는 정도에 뚜렷한 영향을 준다. 이 이미지 자체는 압축될 수 있으므로 정확한 해상도를 위해 원본 논문을 참조하십시오.. 출처: https://arxiv.org/pdf/2208.07613.pdf
색상 하위 샘플링은 JPEG 압축에서 추가적인 경제적 조치로 적용된다. 왜냐하면 사람들은 컴퓨터 비전 시스템보다 색상 밴드의 복잡성과 범위 감소를 덜 잘 감지하며, 컴퓨터 비전 시스템은 이러한 정보의 통합을 사람보다 훨씬 더 문자 그대로 받아들이기 때문이다.
연구자들은 새로운 연구에서 색상 하위 샘플링을 압축 과정에서 제거하면 이 부정적인 영향을 최대 15.95%까지 줄일 수 있지만 문제를 완전히 제거하지는 못한다는 것을 발견했다.
연구는 또한 압축되지 않은(또는 덜 압축된) 데이터로 훈련하더라도 추론 단계의 이미지가 압축되어 있다면 문제를 해결하지 못한다고 주장한다. 즉, 덜 압축된 이미지로 얼굴 인식 모델을 훈련하면 최종 생산 모델에 이미지 압축 문제가 있는 경우 편향을 해결하지 못한다.
연구자들은 다음과 같이 보고한다*:
‘추론 단계에서 손실 이미지 압축을 사용하면 현대적인 얼굴 인식 접근 방식의 성능에 부정적인 영향을 미친다. 특히 어두운 피부와 외꺼풀 같은 인종 관련 얼굴 표현형 그룹에서 영향이 나타나며, 모델 훈련에 압축 이미지를 사용했는지와 관계없이 이 효과가 존재한다.
이 연구는 컴퓨터 비전 연구 분야에 대한 이미지 압축의 결과를 강조한다. 이는 메릴랜드 대학교와 페이스북 AI의 2021년 연구에서 자세히 설명되었다.
이 문제는 해결하기 어렵다. 설령 저장소와 대역폭 문제가 사라져도, 또한 20년 이상의 데이터셋에 있는 모든 저품질 이미지를 고품질 원본에서 더 나은 품질로 재압축할 수 있다 하더라도, 이는 학술 벤치마크 도구의 연속성을 재설정하는 것을 의미한다. 컴퓨터 비전 커뮤니티는 사실 이 문제에 익숙해져 있다. 즉, 이는 기술 부채를 나타낸다.
얼굴 인식의 인종적 편향은 최근 몇 년 동안 널리 논의되는 미디어 주제가 되었다. 이는 영향을 받는 시스템에서 이를 제거하기 위한 연구 커뮤니티의 집중적인 노력을 촉발했다. 그러나 글로벌 연구 공동체가 지나치게 적은 수의 표준 데이터셋에 의존하고, 그중 다수가 인종적으로 불균형하거나 라벨이 부정확한 것은 이 문제를 해결하는 것을 더 어렵게 만든다.
연구자들은 이미지 수집 표준과 일반적인 얼굴 인식 벤치마크의 기준 사이에 불일치가 있다고 추가로 지적한다*:
‘얼굴 인식 시스템을 위한 이미지 수집 표준은 ISO/IEC 19794-5와 ICAO 9303 등이 있다. 이러한 표준은 얼굴 이미지의 품질을 보장하기 위해 이미지 기반(조명, 가림) 및 피사체 기반(자세, 표정, 액세서리) 품질 기준을 제안한다.
‘따라서 얼굴 이미지는 JPEG 또는 JPEG2000와 같은 손실 압축 표준을 사용하여 저장되어야 하며, 성별, 눈 색상, 머리 색상, 표정, 속성(즉, 안경), 자세각(yaw, pitch, roll), 랜드마크 위치에 따라 식별 가능해야 한다.
‘그러나 일반적인 얼굴 인식 벤치마크는 ISO/IEC 19794-5와 ICAO 9303 표준을 준수하지 않는다. 또한, 야외 샘플은 제안된 솔루션을 도전하기 위해 다양한 카메라와 환경 조건에서 얻어진다.
‘그러나 이러한 데이터셋 내의 대부분의 얼굴 이미지 샘플은 손실 JPEG 압축을 통해 압축된다.’
연구자들은 향후의 노력을 통해 다양한 얼굴 인식 프레임워크에 대한 손실 이미지 양자화의 영향을 조사하고, 이러한 시스템의 공정성을 개선할 수 있는 방법을 제안할 계획이다.
새로운 연구 논문은 손실 압축이 얼굴 인식 내의 인종 편향에 영향을 미치는가?라는 제목으로, 임페리얼 칼리지 런던의 세 명의 연구자와 인사이트페이스 딥페이스 분석 라이브러리의 한 명의 연구자가 수행했다.
데이터 및 방법
연구자들은 실험을 위해 ImageMagick과 libjpeg 오픈 소스 라이브러리를 사용하여 다양한 압축 수준에서 원본 데이터 이미지의 버전을 생성했다.
압축 효과를 우선 파악하기 위해 연구자들은 최대 신호 대 잡음비(PSNR)를 살펴보며, Racial Faces in-the-Wild(RFW) 데이터셋에 적용한 네 가지 JPEG 압축 수준의 영향을 연구했다.
다른 테스트 중에 연구자들은 인종적으로 불균형한 데이터셋과 인종적으로 균형된 데이터셋을 사용했다. 인종적으로 균형 잡힌 집합에는 Additive Angular Margin Loss(ArcFace) 함수와 ResNet101v2를 원본 VGGFace2 벤치마크 데이터셋에 사용했다. 이 데이터셋에는 인종 분포가 불균형한 8,631명의 인물에 대한 330만 장의 이미지가 포함되어 있다.
테스트를 위해 연구자들은 RFW 데이터셋을 사용했다. 시스템은 네 번 훈련되었으며, 각 훈련은 네 가지 다른 압축 수준에서 수행되었다. 이를 통해 네 개의 ArcFace 모델이 생성되었다.
인종적으로 균형된 집합을 위해 연구자들은 동일한 프레임워크를 원래 정렬된 BUPT-Balanced 벤치마크 데이터셋에서 사용했다. 이 데이터셋에는 아프리카인, 아시아인, 인도인, 백인 각각의 이미지 7,000장가 포함되어 있으며, 총 28000개의 얼굴 이미지가 있다. 인종적으로 불균형한 데이터셋과 마찬가지로, 네 개의 ArcFace 모델이 얻어졌다.
추가로 연구자들은 색상 하위 샘플링을 제거하여 압축 및 비압축 훈련의 효과를 재현하여 성능에 미치는 영향을 측정했다.
결과
생성된 데이터셋에서 잘못된 일치율(FMR)을 연구했다. 연구자들이 찾고 있던 기준은 인종 특성과 관련된 사전에 정의된 표현형 특성이었다. 즉, 피부 타입(1, 2, 3, 4, 5 또는 6), 눈꺼풀 타입(외꺼풀/기타), 코 모양(넓은/좁은), 입술 모양(도톰한/작은), 모발 유형(직모/웨이브/곱슬/탈모), 모발 색상 – 2019년 논문 얼굴 인식 내의 숨겨진 편향을 인종 표현형을 통해 측정에서 가져온 지표이다.
연구 논문은 다음과 같이 말한다:
‘우리는 모든 다운선택된 압축 수준 q = {5, 10, 15, 95}에서 추가적인 손실 압축을 적용하면 FMR이 증가함을 관찰했으며, 압축 수준 5(가장 높은 압축률)에서 가장 큰 성능 감소를 보인다. 반면에 압축 수준 95(가장 낮은 압축률)에서는 눈에 띄는 FMR 성능 차이가 없다.’

연구 논문의 광범위한 결과 차트의 샘플, 너무 크고 많아 여기에 모두 재현할 수 없다. 정확한 해상도와 전체 결과는 원본 논문을 참조하십시오. 여기서 우리는 압축되지 않았거나 적게 압축된 이미지까지 포함하여 점점 더 열화되거나 압축된 VGGFace2 얼굴 이미지의 FMR 성능 범위를 볼 수 있다.
연구 논문은 다음과 같이 결론을 내린다:
‘전반적으로 우리의 평가에 따르면 손실 압축된 얼굴 이미지 샘플을 사용하여 추론을 수행하면 특정 표현형 특성(예: 더 어두운 피부 톤, 넓은 코, 곱슬머리, 외꺼풀)에 대한 성능이 더 크게 감소한다.
‘그러나 훈련에 압축된 이미지를 사용하면 결과 모델이 더 강건해지고 성능 저하를 제한한다. 그러나 특정 인종적으로 정렬된 하위 그룹에서 성능이 더 낮게 유지된다. 또한 색상 하위 샘플링을 제거하면 특정 표현형 특성에 대한 FMR을 개선한다.’
* 저자의 인라인 인용을 하이퍼링크로 변환한 것입니다.
처음으로 2022년 8월 22일에 게시되었습니다.













