Новая инструментальная система, работающая на основе искусственного интеллекта, позволяет создавать видеомонтажи из тематических текстовых документов

Команда исследователей из университетов Цинхуа и Бэйхан в Китае, IDC Герцлии в Израиле и Гарвардского университета недавно создала инструмент, который генерирует отредактированные видеоролики на основе текстового описания и репозитория видеоклипов.

Огромные объемы видеозаписей записываются каждый день профессиональными видеографами, любителями и обычными людьми. Однако редактирование этих видеозаписей в презентацию, которая имеет смысл, все еще является дорогостоящей временной инвестицией, часто требующей использования сложных инструментов редактирования, которые могут манипулировать сырым материалом. Международная команда исследователей недавно разработала инструмент, который принимает тематические текстовые описания и генерирует видеоролики на их основе. Инструмент способен изучать видеоклипы в репозитории и выбирать клипы, соответствующие вводному тексту, описывающему сюжет. Цель состоит в том, чтобы инструмент был удобным и достаточно мощным, чтобы производить качественные видеоролики без необходимости обширных навыков редактирования видео или дорогого программного обеспечения для редактирования видео.

В то время как текущие платформы редактирования видео требуют знания техник редактирования видео, инструмент, созданный исследователями, позволяет начинающим создателям видео создавать композиции, которые рассказывают истории более естественным и интуитивным образом. “Напишите-видео”, как его называют его создатели, позволяет пользователям редактировать видео, просто редактируя текст, сопровождающий видео. Если пользователь удаляет текст, добавляет текст или меняет местами предложения, эти изменения будут отражены в видео. Соответствующие кадры будут обрезаны или добавлены, когда пользователь манипулирует текстом, и окончательный видеоролик будет адаптирован к описанию пользователя.

Ариэль Шамир, декан школы компьютерных наук Эфи Араци в IDC Герцлии, объяснил, что инструмент “Напишите-видео” позволяет пользователю взаимодействовать с видео в основном через текст, используя методы обработки естественного языка для сопоставления видеокадров на основе предоставленного семантического значения. Затем используется алгоритм оптимизации для сборки видео путем обрезки и замены кадров. Инструмент также позволяет пользователям экспериментировать с разными визуальными стилями, регулируя, как сцены представлены с помощью конкретных кинематографических идиом, которые могут ускорить или замедлить действие или сделать больше/меньше кадров.

Программа выбирает возможные кадры на основе их эстетической привлекательности. Программа учитывает, как кадры сняты, сфокусированы и освещены, чтобы определить эстетическую привлекательность. Инструмент выберет кадры, которые лучше сфокусированы, а не размытые или нестабильные, и он также будет отдавать предпочтение кадрам, которые хорошо освещены. Согласно создателям “Напишите-видео”, пользователь может отрендерить сгенерированный видеоролик в любой момент и просмотреть его с голосовым сопровождением, описывающим текст, использованный для выбора клипов.

Согласно исследовательской команде, их эксперимент продемонстрировал, что цифровые методы, сочетающие аспекты компьютерного зрения и обработки естественного языка, могут помочь пользователям в творческих процессах, таких как редактирование видео.

“Наша работа демонстрирует потенциал автоматического визуально-семантического сопоставления в идиомном вычислительном редактировании, предлагая умный способ сделать создание видео более доступным для непрофессионалов”, объяснил Шамир TechXplore.

Исследователи протестировали свой инструмент на разных видеорепозиториях, объединенных с тематическими текстовыми документами. Были проведены пользовательские исследования и количественная оценка для интерпретации результатов эксперимента. Результаты пользовательских исследований показали, что непрофессионалы иногда могут производить высококачественные отредактированные видеоролики с помощью инструмента быстрее, чем профессионалы, использующие программное обеспечение для редактирования на основе кадров. Как сообщает TechXplore, команда представит свою работу через несколько дней на конференции ACM SIGGRAPH Asia, которая пройдет в Австралии. Другие организации также используют искусственный интеллект для улучшения редактирования видео. Adobe (ADBE ) также работает над своими собственными инструментами на основе искусственного интеллекта для Premiere Pro, своей платформы редактирования. Инструмент помогает людям обеспечить, чтобы изменения соотношения сторон не обрезали важные части видео.