유해한 비디오 콘텐츠 식별을 위한 영화 예고편과 기계 학습

스웨덴 미디어 협의회에서 발표한 연구 논문은 오디오와 비디오 콘텐츠를 별도로 고려하고 인간 주석 데이터를 이용하여 유해 콘텐츠를 자동으로 식별하는 새로운 접근 방식을 제시한다.

유해한 콘텐츠 예측을 위한 비디오 레이팅 학습이라는 제목의 논문은 논문에서 기계 학습 시스템이 장면의 전체 맥락을 고려해야 하며, 무해한 콘텐츠가 유해한 콘텐츠로 잘못 판단될 수 있는 여러 가지 방법을 설명한다. 특히 영화의 음악 사운드트랙은 종종 예상치 못한 방식으로 사용되거나 시청자를 불안하게 하거나 안심시키는 대조점으로 사용될 수 있다.

유해한 비디오 데이터셋

연구자들은 이 분야의 유용한 발전이 영화의 저작권 보호로 인해 일반화된 오픈 소스 데이터셋을 생성하는 것이 문제가 되고 있음을 관찰한다. 또한 이전의 실험은 전체 영화에 대한 레이블이 희박하여 데이터를 단순화하거나 색상 분석이나 대화 분석과 같은 데이터의 한 가지 측면에만 집중하는 경향이 있었다.

이를 해결하기 위해 연구자들은 4000개의 비디오 클립을 수집하여 10초 정도의 길이로 자르고 스웨덴에서 새로운 영화에 대한 등급을 적용하는 전문 영화 분류자가 레이블을 붙였다.

스웨덴의 영화 등급 시스템에서는 ‘유해한’ 콘텐츠가 어린이에게 불안, 공포, 그리고 다른 부정적인 영향을 미칠 수 있는 가능성에 따라 정의된다. 연구자들은 이 등급 시스템이 직관과 본능을 포함하고 있기 때문에 ‘유해한’ 콘텐츠를 정의하는 매개변수를 정량화하고 자동화된 시스템에 통합하는 것이 어려울 수 있음을 지적한다.

유해성 정의

논문은 이전의 기계 학습과 알고리즘 시스템이 특정 속성 감지를 기준으로 사용했으며, 이는 유해한 콘텐츠의 자동 등급을 위한 다중 도메인 접근 방식이 더 나은 방법론을 제공할 수 있음을 관찰한다.

스웨덴 연구자들은 8×8 50층 신경망 모델을 Kinetics-400 인간 동작 벤치마크 데이터셋에서 훈련시키고 비디오와 오디오 예측을 융합하는 아키텍처를 생성했다.

실제로 예고편을 사용하면 세 가지 문제를 해결할 수 있다. 저작권 문제를 피할 수 있으며, 예고편의 더 높은 샷 빈도와 더 자주 변경되는 장면은 레이블을 더 많이 붙일 수 있으며, 전체 영화에서 폭력적이거나 불안정한 콘텐츠가 적게 나타나므로 데이터셋이 불균형해지는 것을 방지할 수 있다.

결과

모델을 훈련한 후, 스웨덴 연구자들은 비디오 클립에 대한 시스템을 테스트했다.

더 딥(2012) 예고편에서 두 가지 모델(랜덤 샘플링된 레이블과 확률적 레이블)이 11세 이상의 시청자에게 적합하다고 분류했다.

출처: https://arxiv.org/pdf/2106.08323.pdf

디스카네이트(2018)에서 괴물적인 악당이登場하는 장면에서, 이중 프레임워크는 다시 한번 11+/15+의 대상 연령을 올바르게 추정했다.

그러나 세컨드 찬스(2014) 예고편에서 모델은 인간 주석과 일치하지 않았는데, 이는 ‘BT'(보편적으로 허용됨)로 분류되었다. 실제로 알고리즘은 인간 평가자가 부여하지 않은 잠재적인 유해성을 감지했다.

연구자들은 높은 정확도 점수를 보였지만, 일부 실패도 발생했는데, 예를 들어 시티 스테이트(2011)에서 총으로 위협받는 裸체 남성이 등장하는 클립이 있다.

이 경우 시스템은 11+ 등급을 할당했지만, 인간 주석은 그렇지 않았다.

의도와 유해성의 불일치

논문은 페이드irt(2020) 예고편에서 시스템이 시각적 및 언어적 측면에 따라 보편적인 등급을 올바르게 할당했지만, 위협적인 음악을 사용하여 혼동을 일으켰음을 관찰한다.

마찬가지로 포 사마(2019) 예고편에서 위협적인 음악 스타일은 시각적 콘텐츠와 일치하지 않으며, 시스템은 다시 한번 두 구성 요소를 분리하여 일관된 판단을 내리는 데 어려움을 겪는다.

마지막으로 시스템은 버진 마운틴(2015) 예고편 클립에서 오디오/비디오 불일치를 올바르게 탐색한다. 여기에는 위협적인 시각적 단서(예: 깨진 창문)가 있지만 음악으로 인해 약화된다. 따라서 프레임워크는 클립이 ‘보편적’ 등급(BT)으로 올바르게 추정한다.

연구자들은 이 시스템이 독점적으로 어린이에게 집중되어 있으며, 결과가 다른 유형의 시청자에게 일반화되기 어렵다고 인정한다. 또한 ‘유해한’ 콘텐츠를 선형적으로 코딩하는 것은 알고리즘 등급 시스템이 덜 예측 가능하지만, 이러한 접근 방식의 개발에서 아이디어의 불필요한 억압 가능성을 지적한다.

‘콘텐츠가 유해한지 평가하는 것은 복잡한 문제이다. 정보의 자유와 민감한 그룹의 보호 사이에 중요한 균형이 존재한다. 우리는 이 연구가 투명한 기준을 사용하여 유해성을 평가하는 방향으로 한 걸음 나아간다고 믿는다. 또한 유해성과 적합성을 분리하는 것이 유해 콘텐츠 분류를 더 객관적으로 만드는 중요한 단계라고 믿는다.’

‘… 유해한 콘텐츠를 감지하는 것은 유튜브와 같은 온라인 플랫폼에도 관심이 있다. 이러한 플랫폼에서는 정보의 자유와 보호 사이의 균형이 더욱 중요해지며, 알고리즘의 특허성으로 인해 더욱 복잡해진다.’