Nowy narzędzie zasilane przez sztuczną inteligencję umożliwia edycję wideo z dokumentów tekstowych o określonym temacie

Zespół badaczy z dziedziny informatyki z Uniwersytetu Tsinghua i Beihand w Chinach, IDC Herzilya w Izraelu oraz Uniwersytetu Harvarda niedawno stworzył narzędzie, które generuje edytowane filmy wideo na podstawie opisu tekstowego i repozytorium klipów wideo.

Olbrzymie ilości filmów wideo są rejestrowane każdego dnia przez profesjonalnych operatorów, hobbystów i zwykłych ludzi. Jednak edycja tych filmów w celu stworzenia prezentacji, która ma sens, nadal wymaga znacznych nakładów czasu i często wymaga użycia złożonych narzędzi edycyjnych, które mogą manipulować surowym materiałem. Międzynarodowy zespół badaczy niedawno opracował narzędzie, które przyjmuje opisy tekstowe o określonym temacie i generuje filmy wideo na ich podstawie. Narzędzie jest w stanie sprawdzić klipy wideo w repozytorium i wybrać te, które odpowiadają wprowadzonemu tekstu opisującemu fabułę. Celem jest to, aby narzędzie było przyjazne dla użytkownika i wystarczająco potężne, aby produkować filmy wideo o wysokiej jakości bez konieczności posiadania umiejętności edycyjnych lub drogiego oprogramowania do edycji wideo.

Podczas gdy obecne platformy edycyjne wymagają wiedzy na temat technik edycyjnych, narzędzie stworzone przez badaczy pozwala początkującym twórcom wideo tworzyć kompozycje, które opowiadają historie w bardziej naturalny i intuicyjny sposób. „Write-A-Video”, jak nazwali je jego twórcy, pozwala użytkownikom edytować filmy wideo, edytując tylko towarzyszący im tekst. Jeśli użytkownik usuwa tekst, dodaje tekst lub przenosi zdania, zmiany te będą widoczne w filmie. Odpowiadające ujęcia będą cięte lub dodawane, gdy użytkownik manipuluje tekstem, a ostateczny film wideo zostanie dostosowany do opisu użytkownika.

Ariel Shamir, dziekan Szkoły Informatyki Efi Arazi na IDC Herzliya, wyjaśnił, że narzędzie Write-A-Video pozwala użytkownikowi wchodzić w interakcję z filmem wideo głównie za pomocą tekstu, używając technik przetwarzania języka naturalnego do dopasowania ujęć wideo na podstawie podanego znaczenia semantycznego. Następnie używany jest algorytm optymalizacji do montażu filmu wideo poprzez cięcie i wymianę ujęć. Narzędzie pozwala również użytkownikom eksperymentować z różnymi stylami wizualnymi, dostosowując, w jaki sposób są prezentowane sceny, używając konkretnych idiomy filmowych, które przyspieszają lub spowalniają akcję, lub robią więcej/mniej cięć.

Program wybiera możliwe ujęcia na podstawie ich estetycznego waloru. Program bierze pod uwagę, w jaki sposób ujęcia są kadrowane, skupione i oświetlone, aby określić ich estetyczny walor. Narzędzie wybiera ujęcia, które są lepiej skupione, zamiast rozmytych lub niestabilnych, i również priorytetowo traktuje ujęcia, które są dobrze oświetlone. Zgodnie z twórcami Write-A-Video, użytkownik może wyrenderować wygenerowany film wideo w dowolnym momencie i podglądać go z narracją głosową, która opisuje tekst użyty do wyboru klipów.

Zgodnie z zespołem badawczym, ich eksperyment wykazał, że techniki cyfrowe, które łączą aspekty widzenia komputerowego i przetwarzania języka naturalnego, mogą pomóc użytkownikom w procesach twórczych, takich jak edycja filmów wideo.

„Nasza praca demonstruje potencjał automatycznego dopasowania wizualno-semantycznego w edycji komputeryjnej opartej na idiomach, oferując inteligentny sposób, aby uczynić tworzenie filmów wideo bardziej dostępnym dla nieprofesjonalistów”, wyjaśnił Shamir portalowi TechXplore.

Badacze przetestowali swoje narzędzie na różnych repozytoriach filmów wideo w połączeniu z dokumentami tekstowymi o określonym temacie. Przeprowadzono studia użytkowników i ocenę ilościową, aby zinterpretować wyniki eksperymentu. Wyniki badań użytkowników wykazały, że nieprofesjonaliści czasami mogą produkować filmy wideo o wysokiej jakości przy użyciu narzędzia szybciej niż profesjonaliści przy użyciu oprogramowania edycyjnego opartego na klatkach. Jak donosi TechXplore, zespół będzie prezentował swoją pracę za kilka dni na konferencji ACM SIGGRAPH Asia odbywającej się w Australii. Inne podmioty również wykorzystują sztuczną inteligencję do uzupełnienia edycji wideo. Adobe (ADBE ) również pracowało nad własnymi rozszerzeniami zasilanymi przez sztuczną inteligencję dla Premiere Pro, swojej platformy edycyjnej. Narzędzie pomaga ludziom upewnić się, że zmiany w proporcjach nie wycinają ważnych części filmu wideo.