소셜 미디어 비디오의 과도한 압축을 기계 학습으로 복원하기

중국에서 나온 새로운 연구는 WeChat 및 YouTube와 같은 플랫폼에서 대역폭과 저장 공간을 절약하기 위해 자동으로 압축되는 사용자 업로드 비디오의 세부 사항과 해상도를 복원하는 효과적이고 새로운 방법을 제공합니다.

새로운 방법과 이전 접근 방식의 비교, 자동 최적화 중에 버려진 세부 사항을 정확히 복원하는 능력에 대한 비교. 출처: https://arxiv.org/pdf/2208.08597.pdf

이전 방법과 달리, 새로운 접근 방식은 제네릭 트레이닝 데이터에 기반한 비디오 업스케일링 및 업샘플링이 아닌, 압축된 비디오의 각 프레임에 대해 열화 특징 맵(DFM)을 파생합니다. 이는 프레임에서 손상되거나 열화된 영역의 개요입니다.

새로운 논문의 구성 요소 제거 실험: 오른쪽에서 두 번째, ‘순수’ 열화 특징 맵(DFM)의 정답 기준; 오른쪽에서 세 번째, DFM을 사용하지 않고 손상 추정. 왼쪽, DFM을 사용하여 훨씬 더 정확한 손상 맵.

복원 프로세스는 합성곱 신경망(CNN)을 포함한 기술을 사용하여 DFM의 정보에 의해 안내되고 집중됩니다. 이는 새로운 방법이 이전 접근 방식의 성능과 정확성을 초과할 수 있도록 합니다.

연구자들은 고화질 비디오를 네 개의 인기 있는 공유 플랫폼에 업로드하고 압축된 결과를 다운로드하여 컴퓨터 비전 파이프라인을 개발했습니다. 이 파이프라인은 압축 아티팩트와 세부 사항 손실을 추상적으로 학습하여 여러 플랫폼에서 비디오를 거의 원래 품질에 가깝게 복원할 수 있으며, 이때 작업에 정확히 맞는 데이터를 사용합니다.

연구자들의 새로운 UVSSM 데이터셋의 예시.

연구 자료는 소셜 미디어에 공유된 사용자 동영상(UVSSM)이라는 HQ/LQ 데이터셋으로 구성되어 Baidu에서 다운로드할 수 있습니다(비밀번호: rsqw). 플랫폼에서 압축된 동영상을 복원하는 새로운 방법을 개발하려는 후속 연구를 위한 자료입니다.

다운로드 가능한 UVSSM 데이터셋의 두 개의 동일한 HQ/LQ 샘플 비교. 이 예시도 여러 번의 압축(이미지 적용, CMS, CDN 등)에 의해 영향을 받을 수 있으므로 정확한 비교를 위해 원본 소스 데이터를 참조하십시오.

시스템은 적응형 열화 감지를 통한 동영상 복원(VOTES)이라고 하며, 코드도 GitHub에 공개되어 있습니다. 구현에는 여러 pull 기반 의존성이 필요합니다.

논문의 제목은 소셜 미디어에 공유된 사용자 동영상 복원이며, 선전대학교 연구자 세 명과 홍콩폴리텍대학교 전자정보공학과 연구자 한 명이 작성했습니다.

아티팩트에서 사실까지

웹에서 수집한 동영상의 품질을 복원하면서 Gigapixel 및 비슷한 범위의 인기 오픈 소스 패키지가 만들어 내는 일반적이고 때로 과도한 세부 묘사의 환각을 피할 수 있다면 컴퓨터 비전 연구 분야에 영향을 줄 수 있습니다.

동영상 기반 컴퓨터 비전 연구는 YouTube나 Twitter에서 얻은 영상에 자주 의존합니다. 이들 플랫폼의 압축 방법과 코덱은 엄격히 비공개로 관리되며, 아티팩트 패턴이나 다른 시각적 지표로 쉽게 추론할 수 없고 주기적으로 바뀔 수 있습니다.

웹에서 발견한 동영상을 사용하는 대부분의 프로젝트는 압축을 연구하지 않으며, 사용자가 업로드한 원본 고화질 영상에 접근할 수 없어 플랫폼이 제공하는 압축 동영상의 품질에 맞추어야 합니다.

따라서 관련 없는 컴퓨터 비전 데이터셋의 후속 영향을 끌어들이지 않으면서 더 높은 품질과 해상도를 충실히 복원하면, 현재 컴퓨터 비전 프로젝트가 열화된 동영상 소스 때문에 적용해야 하는 잦은 우회 방법과 조정을 줄일 수 있습니다.

YouTube 같은 플랫폼이 사용자 동영상 압축 방식의 큰 변화(예: VP9)를 홍보하기도 하지만, 어느 플랫폼도 고화질 파일을 줄이는 전체 과정이나 정확한 코덱과 설정을 명시적으로 공개하지 않습니다.

그래서 지난 약 10년간 사용자 업로드 영상의 출력 품질을 높이는 일은 일종의 드루이드식 비술이 되었습니다. 대부분 확인되지 않은 여러 우회 방법이 유행했다가 사라지곤 했습니다.

방법

이전의 딥러닝 기반 동영상 복원 방법은 일반적인 특징 추출을 사용했습니다. 단일 프레임을 복원하거나, 현재 프레임 복원 시 인접 프레임과 후속 프레임을 고려하는 광학 흐름을 활용하는 다중 프레임 구조를 사용했습니다.

이러한 방법은 모두 블랙박스 효과에 직면했습니다. 핵심 기술이 무엇인지, 특정 사용자 업로드 동영상에 어떤 설정이 적용되었는지 확실하지 않아 핵심 기술 내부의 압축 효과를 조사할 수 없기 때문입니다.

VOTES는 원본과 압축 동영상에서 주요 특징을 직접 추출하고 여러 플랫폼의 표준에 일반화할 수 있는 변환 패턴을 파악합니다.

VOTES의 개념적 아키텍처.

VOTES는 합성곱 블록에서 특징을 추출하기 위한 특별히 개발된 열화 감지 모듈(DSM)을 사용합니다. 여러 프레임은 특징 추출 및 정렬 모듈(FEAM)에 전달된 다음 열화 조정 모듈(DMM)에 전달됩니다. 마지막으로 복원 모듈은 복원된 비디오를 출력합니다.

데이터 및 실험

연구자들은 WeChat 플랫폼에서 업로드 및 다운로드된 비디오의 복원을 중점적으로 연구했습니다. 그러나 결과 알고리즘이 다른 플랫폼에서도 적응할 수 있도록 하기 위해 노력했습니다.

WeChat 동영상에 효과적인 복원 모델을 얻은 뒤 Bilibili, Twitter, YouTube에 맞추는 데에는 플랫폼별 맞춤 모델마다 한 학습 에포크에 90초만 걸렸습니다. 실험 장비는 총 96GB의 VRAM을 갖춘 NVIDIA Tesla P40 GPU 네 개였습니다.

성공적인 WeChat 모델을 다른 동영상 공유 플랫폼에 맞추는 일은 비교적 간단했습니다. VOTES는 저자들의 UVSSM 데이터셋과 REDS 데이터셋(아래 참조)을 사용해 여러 플랫폼에서 거의 즉시 비슷한 성능에 도달합니다.

연구자들은 264개의 비디오를 수집하여 UVSSM 데이터셋을 생성했습니다. 각 비디오는 5-30초의 길이로 30fps의 프레임 속도로 구성되었습니다.

비디오는 모바일폰 카메라 또는 인터넷에서 가져온 것으로, 1920 x 1080 또는 1280 x 270의 해상도로 구성되었습니다.

내용은 도시 풍경, 풍경, 사람, 동물 등 다양한 주제를 포함했습니다. 데이터셋은 크리에이티브 커먼즈 저작자표시 라이선스로 제공되며, 재사용이 가능합니다.

연구자들은 214개의 비디오를 WeChat에 업로드하여 WeChat의 기본 동영상 해상도인 960×540을 얻었습니다. 다만 원본 영상이 이미 이보다 작으면 예외입니다. 휴대전화 다섯 브랜드를 사용했으며, 이는 인기 플랫폼 가운데 품질 저하가 특히 큰 변환에 속했습니다.

왼쪽 위는 세 부분을 확대한 원본 HQ 프레임, 오른쪽 위는 같은 영상의 플랫폼 압축본 프레임, 왼쪽 아래는 압축 프레임의 계산된 열화, 오른쪽 아래는 VOTES가 집중하는 작업 영역입니다. 낮은 품질 이미지의 크기는 HQ의 절반이지만 비교를 명확히 하려고 여기서는 크기를 조정했습니다.

추가 비교를 위해 원래 214개에 포함되지 않은 동영상 50개를 Bilibili, YouTube, Twitter에 업로드했습니다. 원본 해상도는 1280×270, 다운로드본은 640×360이었습니다. 이로써 UVSSM은 원본(HQ)과 공유본(LQ) 364쌍으로 구성되며, WeChat 214쌍과 다른 세 플랫폼 각각 50쌍을 포함합니다.

실험에서는 10개의 랜덤 비디오를 테스트 세트로, 4개를 검증 세트로, 200개를 코어 트레이닝 세트로 사용했습니다. K-폴드 교차 검증을 5회 반복하여 결과를 평균화했습니다.

동영상 복원 실험에서는 VOTES를 시공간 변형 가능 융합(STDF)과 비교했습니다. 해상도 향상에서는 향상된 변형 가능 합성곱(EDVR), RSDN, 시간 그룹 주의를 사용하는 동영상 초해상도(VSR_TGA), BasicVSR과 비교했습니다. Google의 단일 단계 방법 COMISR도 포함했지만 다른 기존 연구와 같은 구조 유형은 아닙니다. 방법들은 UVSS와 REDS 데이터셋 모두에서 시험되었으며 VOTES가 가장 높은 점수를 받았습니다.

저자들은 정성적 결과 역시 VOTES가 이전 시스템보다 우수함을 보여 준다고 주장합니다.

REDS에서 복원된 비디오 프레임. 해상도는 참고용으로만 제공되며, 정확한 해상도는 논문에서 확인하십시오.

최초에 2022년 8월 19일에 게시되었습니다.