Новий інструмент, що використовує штучний інтелект, дозволяє редагувати відео з допомогою тематичних текстових документів

Група вчених-інформатиків з університетів Цінхуа та Бейхан в Китаї, IDC Герцлія в Ізраїлі та Гарвардського університету недавно створили інструмент, який генерує відредаговані відео на основі текстового опису та репозиторію відеокліпів.

Більші об’єми відеозаписів знімаються щодня професійними операторами, аматорами та звичайними людьми. Однак редагування цього відео у презентацію, яка має сенс, все ще є дорогим вкладенням часу, часто вимагаючи використання складних інструментів редагування, які можуть маніпулювати сирим відеоматеріалом. Міжнародна команда вчених недавно розробила інструмент, який приймає тематичні текстові описи та генерує відео на їх основі. Інструмент здатний вивчати відеокліпи в репозиторії та вибирати кліпи, які відповідають вхідному тексту, що описує сюжет. Метою є те, що інструмент є зручним у використанні та потужним enough для виробництва високоякісних відео без потреби у великих знаннях відеоредагування чи дорогого програмного забезпечення для редагування відео.

Хоча поточні платформи відеоредагування вимагають знань техніки відеоредагування, інструмент, створений вченими, дозволяє початківцям створювати композиції, які розповідають історії більш природним, інтуїтивним способом. “Напишіть-відео”, як його назвали його творці, дозволяє користувачам редагувати відео, просто редагуючи текст, який супроводжує відео. Якщо користувач видаляє текст, додає текст або переміщує речення, ці зміни будуть відбиватися у відео. Відповідні кадри будуть вирізані або додані під час маніпулювання текстом, а кінцеве відео буде адаптовано до опису користувача.

Аріель Шамір, декан школи інформатики Ефі Аразі в IDC Герцлія, пояснив, що інструмент “Напишіть-відео” дозволяє користувачеві взаємодіяти з відео головним чином через текст, використовуючи техніки обробки природної мови для збігання відеокадрів на основі наданого семантичного значення. Потім використовується оптимізаційний алгоритм для складання відео шляхом вирізання та заміни кадрів. Інструмент також дозволяє користувачам експериментувати з різними візуальними стилями, налаштовуючи, як сцени представлені за допомогою конкретних кінематографічних ідей, які прискорять або сповільнять дію, або зроблять більше/менше кадрів.

Програма вибирає можливі кадри на основі їх естетичної привабливості. Програма розглядає, як кадри зняті, сфокусовані та освітлені, щоб визначити естетичну привабливість. Інструмент вибере кадри, які краще сфокусовані, а не розмиті чи нестабільні, і також пріоритезуватиме кадри, які добре освітлені. За словами творців “Напишіть-відео”, користувач може відтворити згенероване відео в будь-який момент та попередньо переглянути його з голосовим супроводом, який описує текст, використаний для вибору кліпів.

За словами дослідницької команди, їхній експеримент продемонстрував, що цифрові техніки, які поєднують аспекти комп’ютерного зору та обробки природної мови, можуть допомогти користувачам у творчих процесах, таких як редагування відео.

“Наша робота демонструє потенціал автоматичного візуально-семантичного збігання в ідійному редагуванні, пропонуючи розумний спосіб зробити створення відео більш доступним для непрофесіоналів”, – пояснив Шамір TechXplore.

Дослідники протестували свій інструмент на різних відеореєстраціях, поєднаних з тематичними текстовими документами. Були проведені дослідження користувачів та кількісна оцінка для інтерпретації результатів експерименту. Результати досліджень користувачів показали, що непрофесіонали іноді можуть створювати високоякісні відредаговані відео за допомогою інструменту швидше, ніж професіонали, які використовують програмне забезпечення для редагування кадрів. За повідомленнями TechXplore, команда буде представляти свою роботу за кілька днів на конференції ACM SIGGRAPH Asia, яка проводиться в Австралії. Інші організації також використовують штучний інтелект для покращення відеоредагування. Adobe (ADBE ) також працює над власними розширеннями, що використовують штучний інтелект, для Premiere Pro, своєї платформи редагування. Інструмент допомагає людям забезпечити, щоб зміни співвідношення сторін не вирізали важливі частини відео.