Microsoft Stelt GODIVA Voor, een Text-To-Video Machine Learning Framework

Een samenwerking tussen Microsoft Research Asia en Duke University heeft een machine learning-systeem voortgebracht dat in staat is om video’s te genereren op basis van een tekstprompt, zonder het gebruik van Generative Adversarial Networks (GANs).

Het project heet GODIVA (Generating Open-DomaIn Videos from nAtural Descriptions) en bouwt voort op enkele van de benaderingen die worden gebruikt door OpenAI’s DALL-E image synthesis-systeem, onthuld eerder dit jaar.

Vroege resultaten van GODIVA, met frames van video’s die zijn gemaakt van twee prompts. De bovenste twee voorbeelden zijn gegenereerd vanuit de prompt ‘Golf spelen op gras’, en de onderste derde vanuit de prompt ‘Een honkbalwedstrijd wordt gespeeld’. Bron: https://arxiv.org/pdf/2104.14806.pdf

GODIVA gebruikt het Vector Quantised-Variational AutoEncoder (VQ-VAE) model voor het eerst geïntroduceerd door onderzoekers van Google’s DeepMind-project in 2018, en ook een essentieel onderdeel in DALL-E’s transformatieve mogelijkheden.

Architectuur van het VQ-VAE-model, met embedding-ruimte rechts en encoder/decoder die dimensionale ruimte delen om verliesen tijdens reconstructie te verlagen. Bron: https://arxiv.org/pdf/1711.00937.pdf

VQ-VAE is gebruikt in verschillende projecten om voorspelde video te genereren, waarbij de gebruiker een initiële aantal frames levert en de systeem vraagt om extra frames te genereren:

Eerder werk: VQ-VAE leidt frames af van zeer beperkt beschikbaar bronmateriaal. Bron: Aanvullende materialen op https://openreview.net/forum?id=bBDlTR5eDIX

Het is echter zo dat de auteurs van het nieuwe artikel claimen dat GODIVA de eerste pure text-to-video (T2V) implementatie is die VQ-VAE gebruikt in plaats van de meer onvoorspelbare resultaten die eerdere projecten hebben behaald met GANs.

Startpunten In Text-To-Video

Hoewel de inzending weinig details geeft over de criteria waarmee de oorsprongframes worden gemaakt, lijkt GODIVA startbeelden te creëren vanuit het niets voordat het ze uitbreidt tot lage resolutie video-frames.

Een kolomrepresentatie van het driedimensionale sparse attention-systeem dat GODIVA aandrijft voor text-to-image-taken. De auto-regressie wordt voorspeld door vier factoren: invoertekst, relatieve positie met de vorige frame (soortgelijk aan NVIDIA’s SPADE en andere methoden die voortbouwen op of evolueren voorbij Optical Flow-benaderingen), dezelfde rijen op dezelfde frame, en dezelfde kolommen op dezelfde kolom.

Feitelijk komt de oorsprong van de labels in de gebruikte gegevens: GODIVA was voorgetraind op de Howto100M dataset, bestaande uit 136 miljoen onderschriften video-clips afkomstig van YouTube over 15 jaar, en met 23.000 gelabelde activiteiten. Niettemin is elke mogelijke activiteit aanwezig in zeer hoge aantallen clips, met een toename van generalisatie (d.w.z. ‘Huisdieren en dieren’ heeft 3,5 miljoen clips, terwijl ‘honden’ 762.000 clips heeft), en er is dus nog steeds een grote keuze aan mogelijke startpunten.

Het model werd geëvalueerd op Microsoft’s MSR Video to Text (MSR-VTT) dataset. Als verdere tests van de architectuur, werd GODIVA getraind van scratch op de Moving Mnist dataset en de Double Moving Mnist dataset, beide afgeleid van de oorspronkelijke MNIST database, een samenwerking tussen Microsoft, Google en het Courant Institute of Mathematical Sciences at NYU.

Frame Evaluatie In Continue Video Synthese

In overeenstemming met Peking University’s IRC-GAN, voegt GODIVA vier extra kolomcontroles toe aan de oorspronkelijke MNIST-methode, die eerdere en volgende frames evalueert door omhoog>naar beneden en vervolgens links>rechts te bewegen. IRC-GAN en GODIVA overwegen ook frames door links>rechts, rechts>links, omhoog>naar beneden en naar beneden>omhoog te bewegen.

Extra gegenereerde frames van GODIVA.

Beoordeling Van Video Kwaliteit En Fideliteit Tot Prompt

Om te begrijpen hoe goed de beeldgeneratie is geslaagd, gebruikten de onderzoekers twee metrics: een gebaseerd op CLIP-overeenkomst, en een nieuwe Relative Matching (RM) metric.

OpenAI’s CLIP framework is in staat om zero-shot matching van afbeeldingen tot tekst uit te voeren, evenals het faciliteren van beeldsynthese door dit model om te keren. De onderzoekers deelden de CLIP-afgeleide score door de berekende overeenkomst tussen de tekstprompt en de grondwaarheid video om een RM-score te bereiken. In een afzonderlijke scoresessie werd de output beoordeeld door 200 mensen en werden de resultaten vergeleken met de programmatuur scores.

Tenslotte werd GODIVA getest tegen twee eerdere frameworks, TFGAN en de samenwerking van 2017 tussen Duke en NEC, T2V.

TFGAN kan 128 vierkante pixels produceren in vergelijking met de 64×64 output die GODIVA en T2V beperkt in de bovenstaande voorbeelden, maar de onderzoekers merken op dat GODIVA niet alleen grotere en meer toegewijde beweging produceert, maar ook scèneovergangen zonder enige specifieke aanwijzingen genereert, en niet terugdeinst om close-up shots te genereren.

In latere runs genereert GODIVA ook 128x128px output, met veranderingen in POV:

In het project’s eigen RM-metric is GODIVA in staat om scores te bereiken die dicht bij 100% liggen in termen van authenticiteit (kwaliteit van video) en fideliteit (hoe dicht de gegenereerde inhoud de invoerprompt volgt).

De onderzoekers geven echter toe dat de ontwikkeling van video-gebaseerde CLIP-metrics een welkome aanvulling zou zijn in dit gebied van beeldsynthese, omdat het een niveau speelveld zou bieden voor het evalueren van de kwaliteit van resultaten zonder te vervallen in over-fitting en gebrek aan generalisatie dat steeds vaker wordt bekritiseerd in verband met ‘standaard’ computer vision-uitdagingen in de afgelopen tien jaar.

Zij merken ook op dat het genereren van langere video’s een logistieke overweging zal zijn in de verdere ontwikkeling van het systeem, aangezien slechts 10 frames van 64x64px output 2560 visuele tokens vereisen, een pipeline-bloat die waarschijnlijk snel duur en onbeheersbaar zal worden.