Generování lepšího AI videa z pouze dvou obrázků

Interpolace videofrámů (VFI) je otevřeným problémem v oblasti generativního videa. Výzvou je vygenerovat mezilehlé snímky mezi dvěma existujícími snímky ve videosekvenci.

Kliknutím se spustí přehrávání. Rámec FILM, spolupráce mezi Googlem a University of Washington, navrhl efektivní metodu interpolace snímků, která zůstává populární v hobbyistických a profesionálních sférách. Vlevo můžeme vidět dva samostatné a rozdílné snímky superponované; uprostřed je „koncový snímek“; a vpravo je konečná syntéza mezi snímky. Zdroje: https://film-net.github.io/ a https://arxiv.org/pdf/2202.04901

Široce řečeno, tato technika sahá více než století zpět a byla použita v tradiční animaci od té doby. V tomto kontextu by hlavní „klíčové snímky“ byly generovány hlavním animátorem, zatímco práce na „tweeningu“ mezilehlých snímků by byla prováděna jinými zaměstnanci jako více podřadná úloha.

Před vzestupem generativního AI byla interpolace snímků použita v projektech, jako je Real-Time Intermediate Flow Estimation (RIFE), Depth-Aware Video Frame Interpolation (DAIN) a Googleův Frame Interpolation for Large Motion (FILM – viz výše) za účelem zvýšení snímkové frekvence existujícího videa nebo umožnění umělých pomalých efektů. To je dosaženo rozdělením existujících snímků klipu a generováním odhadovaných mezilehlých snímků.

VFI se také používá při vývoji lepších video kodeků a obecněji v optických tokových systémech (včetně generativních systémů), které využívají předchozí znalosti klíčových snímků k optimalizaci a tvarování mezilehlého obsahu, který je předchází.

Koncové snímky v generativních videosekvencích

Moderní generativní systémy, jako jsou Luma a Kling, umožňují uživatelům specifikovat počáteční a koncový snímek a mohou tuto úlohu provést analýzou klíčových bodů ve dvou snímcích a odhadem trajektorie mezi dvěma snímky.

Jako můžeme vidět v níže uvedených příkladech, poskytnutí „uzavíracího“ klíčového snímku umožňuje generativnímu videu systému (v tomto případě Kling) lépe zachovat aspekty, jako je identita, i když výsledky nejsou dokonalé (zvláště u velkých pohybů).

Kliknutím se spustí přehrávání. Kling je jedním z rostoucího počtu generátorů videa, včetně Runway a Luma, které umožňují uživateli specifikovat koncový snímek. Ve většině případů vede minimální pohyb k nejrealističtějším a nejméně vadným výsledkům. Zdroj: https://www.youtube.com/watch?v=8oylqODAaH8

V výše uvedeném příkladu je identita osoby konzistentní mezi dvěma uživatelem poskytnutými klíčovými snímky, což vede k relativně konzistentní generaci videa.

Kde je poskytován pouze počáteční snímek, okno pozornosti generativních systémů není obvykle dostatečně velké, aby „pamatovalo“, jak vypadala osoba na začátku videa. Spíše je identita pravděpodobně posunuta trochu s každým snímkem, dokud není ztracena вся podobnost. V níže uvedeném příkladu byl nahrán počáteční obrázek a pohyb osoby byl řízen textovým promptem:

Kliknutím se spustí přehrávání. S bez koncového snímku má Kling pouze malou skupinu bezprostředně předchozích snímků, které mohou vést generaci dalších snímků. V případech, kdy je vyžadován jakýkoli významný pohyb, se tato atrofie identity stává závažnou.

Můžeme vidět, že podobnost herce není odolná vůči instrukcím, protože generativní systém neví, jak by vypadala, kdyby se usmíval, a on se neusmívá v semenném obraze (jediném dostupném odkazu).

Majorita virálních generativních klipů je pečlivě kurátorská, aby potlačila tyto nedostatky. Nicméně, pokrok v časově konzistentních generativních videosekvencích může záviset na nových vývojích z výzkumného sektoru v souvislosti s interpolací snímků, protože jedinou možnou alternativou je závislost na tradičním CGI jako na „vodící“ videu (a dokonce i v tomto případě je konzistence textury a osvětlení obtížně dosažitelná).

<p Navíc, pomalu iterativní povaha odvození nového snímku z malé skupiny nedávných snímků činí velmi obtížným dosáhnout velkých a smělé pohybů. To je způsobeno tím, že objekt, který se rychle pohybuje přes snímek, může přejít z jedné strany na druhou v rámci jednoho snímku, na rozdíl od více postupných pohybů, na kterých byl systém pravděpodobně trénován.

Podobně, významná a smělejší změna postoje může vést nejen ke změně identity, ale také k živým nekongruencím:

Kliknutím se spustí přehrávání. V tomto příkladu z Luma se požadovaný pohyb nezdá být dobře reprezentován v trénovacích datech.

Framer

To nás přivádí k zajímavé nedávné práci z Číny, která tvrdí, že dosáhla nového stavu v autenticky vypadající interpolaci snímků – a která je první svého druhu, která nabízí interakci založenou na tažení.

Framer umožňuje uživateli řídit pohyb pomocí intuitivní rozhraní založeného na tažení, i když má také „automatický“ režim. Zdroj: https://www.youtube.com/watch?v=4MPGKgn7jRc

Aplikace založené na tažení se staly častými v literatuře nedávno, protože sektor výzkumu snaží poskytnout instrumentality pro generativní systémy, které nejsou založeny na poměrně hrubých výsledcích získaných pomocí textových promptů.

Nový systém, nazvaný Framer, může nejen sledovat uživatelem řízené tažení, ale také má více konvenční „autopilotní“ režim. Kromě konvenčního tweeningu je systém schopen produkovat simulace časového posunu, stejně jako morfing a nové pohledy na vstupní obrázek.

Mezilehlé snímky vygenerované pro simulaci časového posunu v Frameru. Zdroj: https://arxiv.org/pdf/2410.18978

V souvislosti s produkcí nových pohledů Framer přechází trochu do území neuronových radiálních polí (NeRF) – i když vyžaduje pouze dva obrázky, zatímco NeRF obecně vyžaduje šest nebo více vstupních pohledů.

V testech Framer, který je založen na modelu latentní difuze Stability.ai Stable Video Diffusion, byl schopen překonat aproximované rivality, v uživatelské studii.

V době psaní tohoto článku je kód nastaven k vydání na GitHubu. Video ukázky (z nichž jsou výše uvedené obrázky odvozeny) jsou k dispozici na projektu, a výzkumníci také vydali video na YouTube.

Nová práce je nazvaná Framer: Interaktivní interpolace snímků, a pochází od devíti výzkumníků z Univerzity Če-ťiang a Alibaba podporované skupiny Ant.

Metoda

Framer používá interpolaci založenou na klíčových bodech ve svých dvou režimech, kde je vstupní obrázek vyhodnocen pro základní topologii a „pohyblivé“ body jsou přiřazeny podle potřeby. V podstatě jsou tyto body ekvivalentní k obličejovým orientačním bodům v systémech založených na identitě, ale generalizují na jakoukoli povrch.

Výzkumníci přefinovali Stable Video Diffusion (SVD) na OpenVid-1M dataset, přidali další schopnost syntézy posledního snímku. To umožňuje mechanismus kontroly trajektorie (nahoře vpravo ve schématu níže), který může vyhodnotit cestu k snímku konce (nebo zpět z něj).

Schéma pro Framer.

V souvislosti s přidáním podmínky posledního snímku autoři uvádějí:

‘Abychom zachovali vizuální předchozí znalosti předtrénovaného SVD co nejvíce, postupujeme podle paradigmatu SVD a vkládáme podmínky posledního snímku do latentního prostoru a sémantického prostoru, resp.

‘Konkrétně, spojíme VAE-kódovaný latentní rys prvního snímku s hlukovým latentním prvním snímkem, stejně jako v SVD. Kromě toho spojíme latentní rys posledního snímku, zn, s hlukovým latentním posledním snímkem, s ohledem na to, že podmínky a odpovídající hlukové latentní jsou prostorově zarovnány.

‘Kromě toho extrahujeme CLIP obrazové vkládání prvního a posledního snímku zvlášť a spojíme je pro vkládání funkcí pro křížovou pozornost.’

Pro funkčnost založenou na tažení využívá modul trajektorie framework Meta Ai-led CoTracker, který vyhodnocuje profuse možné cesty dopředu. Tyto jsou zredukovány na 1-10 možných trajektorií.

Získané souřadnice bodů jsou poté transformovány metodou inspirovanou DragNUWA a DragAnything architekturami. To získá Gaussovu mapu tepla, která individuuje cílové oblasti pro pohyb.

Následně jsou data krmena do mechanismů kondicionování ControlNet, pomocného systému shody, který byl původně navržen pro Stable Diffusion a od té doby přizpůsoben jiným architekturám.

Pro autopilotní režim je počáteční shoda funkcí zpočátku provedena pomocí SIFT, která interpretuje trajektorii, která může být poté předána do auto-aktualizačního mechanismu inspirovaného DragGAN a DragDiffusion.

Schéma pro odhad trajektorie bodů v Frameru.

Data a testy

Pro jemné doladění Frameru byly prostorová pozornost a zbytkové bloky zmrazeny, a pouze vrstvy pozornosti a zbytkové bloky byly ovlivněny.

Model byl trénován po 10 000 iteracích pod AdamW, při sazbě učení 1e-4, a velikosti dávky 16. Trénování probíhalo na 16 NVIDIA A100 GPU.

Pokud předchozí přístupy k problému nenabízejí editaci založenou na tažení, výzkumníci se rozhodli porovnat autopilotní režim Frameru se standardní funkcionalitou starších nabídek.

Rámce testované pro kategorii současných difuzních generátorů videa byly LDMVFI; Dynamic Crafter; a SVDKFI. Pro „tradiční“ video systémy byly rivality AMT; RIFE; FLAVR; a výše zmíněný FILM.

Kromě uživatelské studie byly provedeny testy na DAVIS a UCF101 datech.

Kvalitativní testy lze hodnotit pouze objektivními fakultami výzkumného týmu a uživatelskou studií. Nicméně, článek uvádí, že tradiční quantitativní metriky jsou většinou nevhodné pro danou problematiku:

‘[Rekonstrukční] metriky jako PSNR, SSIM a LPIPS nedokážou přesně zachytit kvalitu interpolovaných snímků, protože penalizují jiné možné interpolace, které nejsou pixelově zarovnány s původním videem.

‘Zatímco generativní metriky, jako je FID, nabízejí určitou zlepšení, stále nejsou dostatečné, protože nezohledňují časovou konzistenci a hodnotí snímky izolovaně.’

Navzdory tomu výzkumníci provedli kvalitativní testy s několika populárními metrikami:

Kvantitativní výsledky pro Framer vs. rivality.

Autoři uvádějí, že navzdory tomu, že měly rivality nakloněné šance, Framer stále dosahuje nejlepšího skóre FVD mezi testovanými metodami.

Níže jsou uvedeny vzorky výsledků z kvalitativní srovnávací studie:

Kvalitativní srovnání proti předchozím přístupům. Viz článek pro lepší rozlišení, stejně jako video výsledky na https://www.youtube.com/watch?v=4MPGKgn7jRc.

Autoři komentují:

‘[Naše] metoda produkuje podstatně čistější textury a přirozenější pohyb ve srovnání s existujícími interpolacemi. Vykonává se zvláště dobře v scénářích s významnými rozdíly mezi vstupními snímky, kde tradiční metody často selhávají při interpolaci obsahu přesně.

‘Ve srovnání s jinými difuzními metodami, jako jsou LDMVFI a SVDKFI, Framer prokazuje lepší adaptabilitu na náročné případy a nabízí lepší kontrolu.’

Pro uživatelskou studii výzkumníci shromáždili 20 účastníků, kteří hodnotili 100 náhodně uspořádaných videí z různých metod. Takto bylo získáno 1000 hodnocení, která vyhodnotila nejrealističtější nabídky:

Výsledky uživatelské studie.

Jako lze vidět z výše uvedeného grafu, uživatelé jednoznačně preferovali výsledky z Frameru.

Projektový doprovodný video na YouTube popisuje některé další možné použití Frameru, včetně morfingu a mezi-inovací – kde celý koncept začal.

Závěr

Je těžké přehánět, jak důležitá je tato výzva aktuálně pro úlohu generování videa založeného na AI. Do dneška byly starší řešení, jako je FILM a (ne-AI) EbSynth, používána jak amatérskými, tak profesionálními komunitami pro tweening mezi snímky; ale tato řešení přicházejí s významnými omezeními.

Protože oficiální ukázková videa pro nové T2V rámce jsou často neupřímně kurátorská, existuje široká veřejná mýlka, že systémy strojového učení mohou přesně odvodit geometrii v pohybu bez pomoci mechanismů, jako jsou 3D morfabilní modely (3DMM), nebo jiných pomocných přístupů, jako jsou LoRAs.

Chcete-li být upřímní, tweening samo o sobě, i kdyby mohlo být provedeno dokonale, představuje pouze „hack“ nebo trik na tento problém. Nicméně, protože je často snazší vyprodukovat dva dobře zarovnané snímky než ovlivnit pomocí textových promptů nebo současného rozsahu alternativ, je dobré vidět iterativní pokrok na AI-založené verzi této starší metody.

První publikováno úterý, 29. října 2024