基于主题文本文档的新型 AI 驱动视频编辑工具

来自中国清华大学和北航大学、以色列希尔扎利亚 IDC 和哈佛大学的计算机科学研究团队最近 创建了一个工具，该工具可以根据文本描述和视频片段库生成编辑后的视频。

每天，专业摄像师、爱好者和普通人都会拍摄大量的视频素材。但是，将这些视频编辑成一个有意义的呈现仍然是一个耗时的过程，通常需要使用复杂的编辑工具来操作原始素材。最近，国际研究团队开发了一个工具，该工具可以根据主题文本描述生成视频。该工具可以检查视频片段库，并选择与输入文本描述的故事线相对应的片段。目标是使该工具用户友好且足够强大，以生产高质量的视频，而无需广泛的视频编辑技能或昂贵的视频编辑软件。

虽然当前的视频编辑平台需要视频编辑技术知识，但研究人员创建的工具允许初学者创建以自然、直观的方式讲述故事的视频。被其创造者称为“Write-A-Video”的工具允许用户仅通过编辑伴随视频的文本来编辑视频。如果用户删除文本、添加文本或移动句子，这些更改将反映在视频中。相应的镜头将被剪辑或添加，因为用户操作文本，最后生成的视频将根据用户的描述进行定制。

希尔扎利亚 IDC 埃菲·阿拉齐计算机科学学院院长阿里埃尔·沙米尔（Ariel Shamir）解释说，Write-A-Video 工具允许用户主要通过文本与视频交互，使用自然语言处理技术根据提供的语义意义匹配视频镜头。然后使用优化算法来组装视频，通过剪切和交换镜头。该工具还允许用户尝试不同的视觉风格，通过使用特定的电影惯例来调整场景的呈现方式，从而加快或减慢动作，或进行更多或更少的剪切。

该程序根据镜头的美观度选择可能的镜头。该程序考虑镜头的构图、焦点和照明，以确定美观度。该工具将选择更清晰的镜头，而不是模糊或不稳定的镜头，并且还将优先选择照明良好的镜头。根据 Write-A-Video 的创造者，用户可以在任何时候渲染生成的视频，并预览带有语音旁白的视频，该旁白描述了用于选择片段的文本。

根据研究团队的说法，他们的实验表明，结合计算机视觉和自然语言处理方面的数字技术可以帮助用户完成创造性过程，如视频编辑。

“我们的工作展示了自动视觉语义匹配在惯用法计算编辑中的潜力，提供了一种智能的方式使视频创作更容易被非专业人士接受，”沙米尔在接受 TechXplore 采访时解释道。

研究人员在不同的视频库中测试了他们的工具，并结合主题文本文档。用户研究和定量评估被执行以解释实验的结果。用户研究的结果发现，非专业人士有时可以使用该工具比专业人士使用基于帧的编辑软件更快地生成高质量的编辑视频。据 TechXplore报道，该团队将在几天后在澳大利亚举行的ACM SIGGRAPH Asia 会议上展示他们的工作。其他实体也在使用 AI 来增强视频编辑。Adobe 也一直在为其编辑平台 Premiere Pro 开发自己的 AI 驱动扩展。该工具帮助人们确保更改视频的长宽比不会剪掉重要的视频部分。