새로운 AI 기반 도구, 테마 텍스트 문서에서 비디오 편집 가능

중국 쓰ิง화 대학과 베이징 대학, 이스라엘 IDC 헤르츠리야, 하버드 대학의 컴퓨터 과학 연구자들이 최근 도구를 개발하여 텍스트 설명과 비디오 클립 저장소에 따라 편집된 비디오를 생성했습니다.

매일 전문 비디오 그래퍼, 취미로 비디오를 찍는 사람들, 일반 사람들이大量의 비디오를 녹화합니다. 그러나 이러한 비디오를 편집하여 의미 있는 프레젠테이션으로 만드는 것은 여전히 시간과 비용이 많이 드는 일입니다. 최근 연구자들은 테마 텍스트 설명과 비디오 클립 저장소에 따라 비디오를 생성하는 도구를 개발했습니다. 이 도구는 사용자가 입력한 텍스트 설명과 일치하는 비디오 클립을 선택하여 비디오를 생성합니다. 이 도구의 목표는 사용자가 전문적인 비디오 편집 기술이나 비용이 많이 드는 비디오 편집 소프트웨어 없이도 높은 품질의 비디오를 생성할 수 있도록 하는 것입니다.

현재 비디오 편집 플랫폼은 비디오 편집 기술에 대한 지식을 요구합니다. 그러나 연구자들이 개발한 도구는 초보자들이 자연스럽고 직관적인 방식으로 비디오를 편집할 수 있도록 해줍니다. “Write-A-Video”라는 이름의 이 도구는 사용자가 비디오를 편집할 때 텍스트를 편집하는 것만으로도 비디오를 변경할 수 있습니다. 사용자가 텍스트를 삭제하거나 추가하거나 문장을 이동하면 이러한 변경 사항이 비디오에 반영됩니다.

Ariel Shamir, IDC 헤르츠리야의 Efi Arazi 컴퓨터 과학 학교의장은 Write-A-Video 도구가 사용자가 자연어 처리 기술을 사용하여 비디오를 편집할 수 있도록 해준다고 설명했습니다. 이 도구는 사용자가 비디오를 편집할 때 텍스트를 사용하여 비디오를 변경할 수 있습니다. 또한 이 도구는 사용자가 다양한 시각적 스타일을 실험할 수 있도록 해줍니다.

이 프로그램은 비디오 클립의 미적 جذ력을 고려하여 클립을 선택합니다. 이 프로그램은 클립이 프레임에 잘 맞는지, 초점이 맞는지, 밝기가 적절한지 등을 고려하여 클립을 선택합니다. 이 도구는 사용자가 생성된 비디오를 렌더링하고 음성으로 설명된 텍스트를 사용하여 미리 보기를 할 수 있습니다.

연구 팀은 디지털 기술이 비디오 편집과 같은 창의적인 과정에서 사용자에게 도움을 줄 수 있다고 설명했습니다.

“우리의 연구는 자동 시각-의미적 매칭의 가능성을 보여주며, 비디오 생성을 비전문가에게 더 쉽게 만들 수 있는 지능적인 방법을 제공합니다.”라고 Shamir는 TechXplore에 설명했습니다.

연구자들은 이 도구를 다양한 비디오 저장소와 테마 텍스트 문서와 함께 테스트했습니다. 사용자 연구와 정량적 평가를 수행하여 실험 결과를 해석했습니다. 사용자 연구 결과는 비전문가들이 이 도구를 사용하여 전문가들이 프레임 기반 편집 소프트웨어를 사용하여 생성한 비디오보다 더 높은 품질의 편집된 비디오를 더 빠르게 생성할 수 있는 경우가 있음을 보여주었습니다. 연구 팀은 곧 澳大利亚에서 열리는 ACM SIGGRAPH Asia 컨퍼런스에서 연구 결과를 발표할 예정입니다. 다른 엔티티도 비디오 편집을 강화하기 위해 AI를 사용하고 있습니다. Adobe도 Premiere Pro용 자체 AI 기반 확장 프로그램을 개발 중입니다. 이 도구는 사용자가 비디오의 중요 부분을 자르지 않도록 하는 데 도움을 줍니다.