Nová nástroj s umělou inteligencí umožňuje editaci videa z tematických textových dokumentů

Tým počítačových vědců z Tsinghua a Beihand University v Číně, IDC Herzilya v Izraeli a Harvard University nedávno vyvinul nástroj, který generuje editované videa na základě textového popisu a repozitáře video klipů.

Velké množství videozáznamů je každý den pořizováno profesionálními kameramany, amatéry a běžnými lidmi. Přesto je editace tohoto videa do prezentace, která dává smysl, stále časově náročným procesem, který často vyžaduje použití složitých editačních nástrojů, které mohou manipulovat s nezpracovaným materiálem. Mezinárodní tým výzkumníků nedávno vyvinul nástroj, který bere tematické textové popisy a generuje na jejich základě videa. Nástroj je schopen prohlížet video klipy v repozitáři a vybírat klipy, které odpovídají vstupnímu textu, který popisuje děj. Cílem je, aby byl nástroj uživatelsky přívětivý a dostatečně silný na to, aby produkoval kvalitní videa bez potřeby rozsáhlých znalostí video editace nebo drahého video editačního software.

Zatímco současné video editační platformy vyžadují znalost video editačních technik, nástroj vytvořený výzkumníky umožňuje začínajícím tvůrcům vytvářet kompozice, které vyprávějí příběh přirozenějším a intuativnějším způsobem. „Write-A-Video“, jak jej jeho tvůrci nazvali, umožňuje uživatelům editovat videa jednoduchým editováním textu, který doprovází video. Pokud uživatel smaže text, přidá text nebo přesune věty, tyto změny se projeví ve videu. Odpovídající záběry budou odstraněny nebo přidány, jak uživatel manipuluje textem, a výsledné video bude přizpůsobeno popisu uživatele.

Ariel Shamir, děkan Efi Arazi School of Computer Science na IDC Herzliya, vysvětlil, že nástroj Write-A-Video umožňuje uživateli interagovat s videem principalmente prostřednictvím textu, pomocí technik zpracování přirozeného jazyka pro přiřazování video záběrů na základě poskytovaného sémantického významu. Optimalizační algoritmus je pak použit pro sestavení videa pomocí stříhání a prohození záběrů. Nástroj také umožňuje uživatelům experimentovat s různými vizuálními styly, upravovat, jak scény jsou prezentovány, pomocí specifických filmových idiomů, které urychlí nebo zpomalí akci, nebo provedou více/méně střihů.

Program vybírá možné záběry na základě jejich estetické atraktivity. Program zohledňuje, jak jsou záběry rámovány, zaostřeny a osvětleny, aby určil estetickou atraktivitu. Nástroj bude vybírat záběry, které jsou lépe zaostřeny, místo rozmazaných nebo nestabilních, a bude také upřednostňovat záběry, které jsou dobře osvětleny. Podle tvůrců Write-A-Video může uživatel kdykoli vykreslit vygenerované video a预览ovat jej s hlasovým komentářem, který popisuje text použitý pro výběr klipů.

Podle výzkumného týmu prokázaly jejich experimenty, že digitální techniky, které kombinují aspekty počítačového vidění a zpracování přirozeného jazyka, mohou pomoci uživatelům v kreativních procesech, jako je editace videa.

„Naše práce prokazuje potenciál automatického vizuálně-sémantického přiřazování v idiomovém počítačovém editování, nabízející inteligentní způsob, jak učinit video tvorbu více přístupnou neprofesionálům,“ vysvětlil Shamir TechXplore.

Výzkumníci otestovali svůj nástroj na různých video repozitářích v kombinaci s tematickými textovými dokumenty. Byly provedeny uživatelské studie a kvantitativní hodnocení, aby se interpretovaly výsledky experimentu. Výsledky uživatelských studií ukázaly, že neprofesionálové někdy mohli produkovat vysoce kvalitní editovaná videa pomocí nástroje rychleji než profesionálové pomocí frame-based editačního software. Podle TechXplore bude tým prezentovat svou práci za několik dní na konferenci ACM SIGGRAPH Asia konané v Austrálii. Další subjekty také využívají umělou inteligenci ke zlepšení video editace. Adobe (ADBE ) také pracuje na svém vlastním AI poháněném rozšíření pro Premiere Pro, své editační platformě. Nástroj pomáhá lidem zajistit, aby změny poměru stran nezkracovaly důležité části videa.