AI 연구자, 영화 및 미디어용 사운드 이펙트 생성 프로그램 설계

텍사스 샌안토니오 대학교의 연구진은 비디오에서 일어나는 행동을 관찰하고 그 행동에 맞는 인공 사운드 이펙트를 생성할 수 있는 AI 기반 애플리케이션을 개발했습니다. 프로그램이 생성한 사운드 이펙트는 매우 현실적이며, 사람들은 그것이 실제 사운드 이펙트인지 구별하기 어려웠습니다.

사운드 이펙트를 생성하는 프로그램인 AudioFoley는 최근 IEEE Transactions on Multimedia에 발표된 연구에서 자세히 설명되어 있습니다. IEEE Spectrum에 따르면, 이 AI 프로그램은 텍사스 샌안토니오 대학교의 제프 프로보스트 교수와 박사 과정 학생인 산치타 고세가 개발했습니다. 연구진은 여러 머신 러닝 모델을 결합하여 프로그램을 개발했습니다.

행동에 적합한 사운드 이펙트를 생성하는 첫 번째 작업은 행동을 인식하고 사운드 이펙트에 매핑하는 것이었습니다. 이를 위해 연구진은 두 가지 다른 머신 러닝 모델을 설계하고 서로 다른 접근 방식을 테스트했습니다. 첫 번째 모델은 비디오에서 프레임을 추출하고 색상과 같은 관련 특징을 분석합니다. 이후 두 번째 모델을 사용하여 프레임 간에 객체의 위치가 어떻게 변경되는지 분석하여 시간 정보를 추출합니다. 이 시간 정보는 비디오에서 다음 행동을 예측하는 데 사용됩니다. 두 모델은 행동을 분석하는 방법이 다르지만, 둘 다 클립의 정보를 사용하여 가장 잘 맞는 사운드 이펙트를 예측합니다.

다음 작업은 사운드 이펙트를 합성하는 것입니다. 이는 활동/예측된 동작을 가능한 사운드 샘플에 매칭하여 수행됩니다. 고세와 프로보스트에 따르면, AutoFoley는 불, 달리는 말, 틱하는 시계, 비가 식물에 떨어지는 것과 같은 행동과 물건이 포함된 1000개의 짧은 클립에 대해 사운드 이펙트를 생성했습니다. AutoFoley는 행동과 사운드가 완벽하게 일치할 필요가 없는 클립에서 가장 성공적인 사운드 이펙트를 생성했으며, 행동이 더 많이 변동하는 클립에서는 어려움을 겪었습니다. 그러나 프로그램은 여전히 많은 사람을 속여서 원래 클립에 포함된 사운드와 생성된 사운드 중 어떤 것이 진짜인지 구별하지 못하게 했습니다.

프로보스트와 고세는 57명의 대학생을 모집하여 다른 클립을 시청했습니다. 일부 클립에는 원래 오디오가 포함되어 있었고, 일부에는 AutoFoley가 생성한 오디오가 포함되어 있었습니다. 첫 번째 모델을 테스트한 결과, 약 73%의 학생들이 생성된 오디오를 원래 오디오로 선택했으며, 실제 사운드 이펙트와 함께 제공된 클립의 실제 사운드를 무시했습니다. 다른 모델은 약 66%의 참가자가 생성된 오디오를 원래 오디오보다 선호했으며, 약간 더 나빴습니다.

프로보스트는 AutoFoley가 영화, 텔레비전, 기타 미디어의 제작 과정을 가속화하는 데 사용될 수 있다고 설명했습니다. 프로보스트는 실제적인 Foley 트랙이 미디어를 매력적이고 믿을 수 있게 만드는 데 중요하지만, Foley 과정은 종종 완료하는 데 상당한 시간이 걸릴 수 있다고 주목했습니다. 기본 Foley 요소를 생성할 수 있는 자동 시스템을 갖는 것은 미디어 제작을 더 저렴하고 빠르게 만들 수 있습니다.

현재 AutoFoley에는 몇 가지 주목할 만한 제한이 있습니다. 먼저, 모델은 안정적이고 예측 가능한 동작을 관찰할 때 잘 작동하는 것처럼 보이지만, 시간에 따라 변동이 있는 이벤트(예: 뇌우)에 대한 오디오를 생성하려고 할 때 어려움을 겪습니다. 또한 분류 대상이 전체 클립에 존재하고 프레임을 벗어나지 않는 것을 요구합니다. 연구 팀은 향후 애플리케이션 버전에 이러한 문제를 해결하려고 합니다.