Новый инструмент на базе искусственного интеллекта позволяет редактировать видео из тематических текстовых документов

Группа исследователей компьютерных наук из Университета Цинхуа и Бейханд в Китае, IDC Herzilya в Израиле и Гарвардского университета недавно создал инструмент который генерирует отредактированные видео на основе текстового описания и репозитория видеоклипов.

Ежедневно профессиональными видеооператорами, любителями и обычными людьми записывается огромное количество видеоматериалов. Тем не менее, преобразование этого видео в презентацию, имеющую смысл, по-прежнему требует больших затрат времени и часто требует использования сложных инструментов редактирования, которые могут обрабатывать необработанные кадры. Международная команда исследователей недавно разработала инструмент, который берет тематические текстовые описания и генерирует на их основе видеоролики. Инструмент способен просматривать видеоклипы в репозитории и выбирать клипы, соответствующие входному тексту, описывающему сюжетную линию. Цель состоит в том, чтобы инструмент был удобным и достаточно мощным для создания качественных видео без необходимости обширных навыков редактирования видео или дорогостоящего программного обеспечения для редактирования видео.

В то время как современные платформы для редактирования видео требуют знания методов редактирования видео, инструмент, созданный исследователями, позволяет новичкам создавать композиции, которые рассказывают истории более естественным и интуитивно понятным способом. «Write-A-Video», как его называют создатели, позволяет пользователям редактировать видео, просто редактируя текст, который сопровождает видео. Если пользователь удаляет текст, добавляет текст или перемещает предложения, эти изменения будут отражены в видео. Соответствующие кадры будут вырезаны или добавлены по мере того, как пользователь манипулирует текстом, а итоговое видео будет адаптировано к описанию пользователя.

Ариэль Шамир, декан Школы компьютерных наук Эфи Арази в IDC Герцлия, объяснил, что инструмент Write-A-Video позволяет пользователю взаимодействовать с видео в основном через текст, используя методы обработки естественного языка для сопоставления видеокадров на основе предоставленной семантики. значение. Затем алгоритм оптимизации используется для сборки видео путем вырезания и замены кадров. Этот инструмент также позволяет пользователям экспериментировать с различными визуальными стилями, настраивая представление сцен, используя определенные идиомы фильма, которые ускоряют или замедляют действие или делают больше/меньше сокращений.

Программа выбирает возможные кадры, исходя из их эстетической привлекательности. Программа учитывает, как кадры кадрированы, сфокусированы и освещены, чтобы определить эстетическую привлекательность. Инструмент выберет снимки, которые лучше сфокусированы, а не размытые или нестабильные, а также отдаст приоритет снимкам с хорошим освещением. По словам создателей Write-A-Video, пользователь может рендерить сгенерированное видео в любой момент и предварительно просматривать его с закадровым комментарием, описывающим текст, используемый для выбора клипов.

По словам исследовательской группы, их эксперимент продемонстрировал, что цифровые методы, сочетающие в себе аспекты компьютерного зрения и обработки естественного языка, могут помочь пользователям в творческих процессах, таких как редактирование видео.

«Наша работа демонстрирует потенциал автоматического визуально-семантического сопоставления в вычислительном редактировании на основе идиом, предлагая интеллектуальный способ сделать создание видео более доступным для непрофессионалов», объяснил Шамир TechXplore.

Исследователи протестировали свой инструмент на различных видеохранилищах в сочетании с тематическими текстовыми документами. Пользовательские исследования и количественная оценка были выполнены для интерпретации результатов эксперимента. Результаты исследований пользователей показали, что непрофессионалы иногда могут создавать высококачественные отредактированные видео с помощью инструмента быстрее, чем профессионалы, использующие программное обеспечение для редактирования на основе кадров. Как сообщает TechXplore, через несколько дней команда представит свою работу на ACM. SIGGRAPH Азия конференции в Австралии. Другие организации также используют ИИ для улучшения редактирования видео. Adobe также работает над iсобственные расширения на основе ИИ для Premiere Pro, его платформа редактирования. Инструмент помогает людям гарантировать, что изменения соотношения сторон не вырезают важные фрагменты видео.