İki Görüntüden Daha İyi AI Videosu Oluşturma

Video kare aralığı (VFI), üretken video araştırmalarında açık bir sorunudur. Sorun, bir video dizisinde iki mevcut kare arasındaki ara kareleri üretmektir.

Oynatmak için tıklayın. FILM çerçevesi, Google ve Washington Üniversitesi arasındaki bir işbirliği olup, etkili bir kare aralığını öneren ve hobi ve profesyonel alanlarda popüler olan bir yöntemdir. Solda, iki ayrı ve farklı kareleri üst üste görüyoruz; ortada ‘son kare’; ve sağda, kareler arasındaki son sentez. Kaynaklar: https://film-net.github.io/ ve https://arxiv.org/pdf/2202.04901

Genel olarak, bu teknik bir asırdan fazla bir süredir kullanılmaktadır ve geleneksel animasyonda kullanılmıştır. Bu bağlamda, ana ‘ana kareler’ birincil animasyon sanatçısı tarafından oluşturulurken, ara karelerin oluşturulması diğer personelin daha az önemli bir görevi olarak gerçekleştirilirdi.

Üretken AI’nin yükselişinden önce, kare aralığı, Real-Time Intermediate Flow Estimation (RIFE), Depth-Aware Video Frame Interpolation (DAIN) ve Google’ın Frame Interpolation for Large Motion (FILM – yukarıda görüldüğü gibi) gibi projelerde, mevcut bir videonun kare hızını artırmak veya yapay olarak oluşturulan yavaş hareket efektlerini ermögilmek için kullanılmıştır. Bu, bir klipin mevcut karelerini ayırarak ve tahmini ara kareler oluşturarak gerçekleştirilir.

VFI ayrıca, daha iyi video kodeklerinin geliştirilmesinde ve daha genel olarak, optik akış tabanlı sistemlerde (üretken sistemler dahil) kullanılır. Bu sistemler, gelecek ana kareler hakkında önceden bilgi kullanarak, aradaki içeriği optimize eder ve şekillendirir.

Üretken Video Sistemlerinde Son Kareler

Modern üretken sistemler gibi Luma ve Kling, kullanıcıların bir başlangıç ve bir son kare belirtmesine izin verir ve bu görevi, iki görüntüdeki anahtar noktaları analiz ederek ve iki görüntü arasındaki bir yol tahmini ederek gerçekleştirir.

Aşağıdaki örneklerde görüldüğü gibi, bir ‘kapanış’ ana karesi sağlamak, üretken video sistemine (bu durumda Kling), kimlik gibi yönleri korumasına izin verir, ancak sonuçlar mükemmel olmayabilir (özellikle büyük hareketlerde).

Oynatmak için tıklayın. Kling, kullanıcıya bir son kare belirtmesine izin veren video üreticileri arasında yer alan bir üretken video sistemidir. Çoğu durumda, minimal hareket en gerçekçi ve en az hatalı sonuçları verir. Kaynak: https://www.youtube.com/watch?v=8oylqODAaH8

Yukarıdaki örnekte, kişinin kimliği, iki kullanıcı tarafından sağlanan ana kareler arasında tutarlıdır, bu da nispeten tutarlı bir video oluşturulmasına yol açar.

Yalnızca başlangıç karesi sağlandığında, üretken sistemlerin dikkat penceresi genellikle başlangıçtaki video gibi görünmeyecek kadar büyük değildir. Bunun yerine, kimlik her karede slightly değişir, sonunda tüm benzerlik kaybolur. Aşağıdaki örnekte, bir başlangıç görüntüsü yüklendi ve kişinin hareketi bir metin.prompt ile yönlendirildi:

Oynatmak için tıklayın. Hiçbir son kare olmadan, Kling yalnızca birkaç önceki kareye dayalı olarak sonraki karelerin oluşturulmasına rehberlik eder. Önemli hareket gerektiren durumlarda, bu kimlik atrofisi ciddi hale gelir.

Görülebileceği gibi, aktörün benzerliği, talimatlara karşı dayanıklı değildir, çünkü üretken sistem, başlangıç görüntüsünde (tek mevcut referans) gülümsemeyen bir aktörün nasıl görüneceğini bilmez.

Çoğu viral üretken klip, bu eksiklikleri vurgulamadan özenle düzenlenmiştir. Ancak, zamanla tutarlı üretken video sistemlerinin ilerlemesi, kare aralığında yeni gelişmelere bağlı olabilir, çünkü tek alternatif, geleneksel CGI’ye (bilgisayar tarafından oluşturulan görüntü) dayanarak bir ‘rehber’ video kullanmaktır (ve hatta bu durumda, tekstür ve aydınlatma tutarlılığı hala zorlu bir iştir).

Ayrıca, birkaç önceki kareden yeni bir kare türetmenin yavaş ve yineleyici doğası, büyük ve cesur hareketleri gerçekleştirmeyi çok zorlaştırır. Bu, bir nesnenin bir kare boyunca hızlı bir şekilde hareket etmesi ve tek bir karede bir yandan diğer yana geçmesi anlamına gelir, bu da sistemin muhtemelen eğitildiği daha gradual hareketlere aykırıdır.

Ayrıca, önemli ve cesur bir poz değişikliği, yalnızca kimlik değişikliğine değil, aynı zamanda canlı tutarsızlıklara yol açabilir:

Oynatmak için tıklayın. Bu örnekte, Luma’dan talep edilen hareket, eğitim verilerine iyi temsil edilmemiş gibi görünüyor.

Framer

Bu, bizi Çin’den ilginç bir recent paper’a getiriyor, ki bu, gerçekçi görünen kare aralığında yeni bir durum standardı elde ettiğini iddia ediyor ve bu, ilk kez sürükleyici kullanıcı etkileşimi sunuyor.

Framer, kullanıcıya hareketi yönlendirmek için sezgisel bir sürükleyici arayüze sahiptir, ancak aynı zamanda ‘otomatik’ bir modu da vardır. Kaynak: https://www.youtube.com/watch?v=4MPGKgn7jRc

Sürükleyici uygulamalar, son zamanlarda literatürde sıkça görülmeye başladı, çünkü araştırma sektörü, metin promt’larından elde edilen oldukça kaba sonuçlara dayanan üretken sistemler için enstrümantaliteler sağlamaya çalışıyor.

Yeni sistem, Framer olarak adlandırılmış olup, yalnızca kullanıcı yönlendirmeli sürükleme izleyebilir, aynı zamanda daha geleneksel bir ‘otopilot’ moduna da sahiptir. Geleneksel tweening’in yanı sıra, sistem zaman atlamalı simülasyonlar, morfolama ve girdi görüntüsünün yeni görünümleri üretebilir.

Framer’da zaman atlamalı simülasyon için oluşturulan ara kareler. Kaynak: https://arxiv.org/pdf/2410.18978

Framer, Stability.ai’nin Stable Video Diffusion latent difüzyon üretken video modeline dayanmaktadır ve kullanıcı çalışmasında, yaklaşık rakip yaklaşımları aşmıştır.

Şu anda, kod GitHub‘da yayınlanmak üzere ayarlanmıştır. Video örnekleri (yukarıdaki görüntülerden türetilmiştir) proje sitesinde mevcuttur ve araştırmacılar ayrıca bir YouTube videosu yayınlamışlardır.

The new paper is titled Framer: Interactive Frame Interpolation, and comes from nine researchers across Zhejiang University and the Alibaba-backed Ant Group.

Method

Framer, her iki modunda da kare aralığını temel alır, burada girdi görüntüsü temel topoloji için değerlendirilir ve ‘hareketli’ noktalar atanır. Aslında, bu noktalar, ID tabanlı sistemlerdeki yüzey özelliklerine eşdeğerdir, ancak herhangi bir yüzeye genelleştirilir.

Araştırmacılar fine-tuned Stable Video Diffusion (SVD) on the OpenVid-1M dataset, adding an additional last-frame synthesis capability. This facilitates a trajectory-control mechanism (top right in schema image below) that can evaluate a path toward the end-frame (or back from it).

Framer için şema.

Son kare koşullarının eklenmesine ilişkin olarak, yazarlar şunları belirtir:

‘Önceden eğitilen SVD’nin görsel önceliğini mümkün olduğunca korumak için, SVD’nin koşullandırma paradigmını takip ediyor ve son kare koşullarını sırasıyla latent uzayda ve semantik uzayda enjekte ediyoruz.

‘Özellikle, ilk karenin VAE-kodlu latent özelliklerini ilk karenin gürültülü latent ile birleştirdik, tıpkı SVD’de olduğu gibi. Ayrıca, son karenin latent özelliklerini, son karenin gürültülü latent ile birleştirdik, koşullar ve karşılık gelen gürültülü latentinin uzaysal olarak hizalandığını düşünerek.

‘Ayrıca, ilk ve son karelerin CLIP görüntü gömmeğini ayrı ayrı çıkardık ve bunları çapraz dikkat özelliği enjeksiyonu için birleştirdik.’

Sürükleyici işlevsellik için, yol modülü, Meta Ai liderliğindeki CoTracker çerçevesini kullanır, bu da önümüzdeki olası yolları değerlendirir. Bunlar 1-10 olası yol arasında daraltılır.

Elde edilen nokta koordinatları, DragNUWA ve DragAnything mimarilerine ilham veren bir yöntemle dönüştürülür. Bu, Gaussian ısı haritası oluşturur, bu da hareket için hedef alanları belirler.

Sonrasında, veriler, ControlNet‘in koşullandırma mekanizmalarına beslenir, bu da aslen Stable Diffusion için tasarlanmış ve daha sonra diğer mimarilere uyarlanmış bir yardımcı uyum sistemidir.

Otopilot modu için, özelliklere uyanma ilk olarak SIFT aracılığıyla gerçekleştirilir, bu da bir yol oluşturabilir, daha sonra DragGAN ve DragDiffusion‘e ilham veren bir otomatik güncelleme mekanizmasına geçirilir.

Framer için nokta yol tahmini şeması.

Veri ve Testler

Framer’in ince ayarlanması için, uzaysal dikkat ve artıklar donduruldu ve yalnızca zaman dikkat katmanları ve artıklar etkilenmiştir.

Model, 10.000 iterasyon için AdamW altında, 1e-4’lük bir öğrenme oranı ve 16’lık bir toplu işleme boyutu ile eğitildi. Eğitim, 16 NVIDIA A100 GPU’su üzerinde gerçekleştirildi.

Önceki yaklaşımların sürükleyici düzenleme sunmadığından, araştırmacılar Framer’in otopilot modunu eski yöntemlerin standart işlevselliği ile karşılaştırmaya karar verdi.

Test edilen çerçeve, current diffusion-based video generation sistemleri kategorisi için LDMVFI; Dynamic Crafter; ve SVDKFI idi. ‘Geleneksel’ video sistemleri için, rakip çerçeveler AMT; RIFE; FLAVR; ve yukarıda bahsedilen FILM idi.

Ayrıca, testler DAVIS ve UCF101 veri kümeleri üzerinde gerçekleştirildi.

Niteliksel testler yalnızca araştırma ekibinin ve kullanıcı çalışmalarının nesnel yetenekleri tarafından değerlendirilebilir. Ancak, makale, geleneksel nicel metriklere ilişkin olarak şunları belirtir:

‘[Rekonstrüksiyon] metriği gibi PSNR, SSIM ve LPIPS, ara karelerin kalitesini doğru bir şekilde yakalamak için yetersizdir, çünkü bunlar, orijinal video ile piksel hizalamayan diğer olası aralık sonuçlarını cezalandırır.

‘Üretim metriği gibi FID bazı gelişmeler sunar, ancak bunlar hala yetersizdir, çünkü zaman tutarlılığını hesaba katmaz ve kareleri izole olarak değerlendirir.’

Bununla birlikte, araştırmacılar beberapa popüler metriklere ilişkin nitel testler gerçekleştirdi:

Framer ve rakip sistemler için nicel sonuçlar.

Yazarlar, Framer’in, test edilen yöntemler arasında en iyi FVD puanını elde ettiğini belirtir.

Aşağıda, makalenin nitel karşılaştırma için örnek sonuçları verilmiştir:

Önceki yaklaşımlarla nitel karşılaştırma. Daha iyi bir çözünürlük için makaleye ve https://www.youtube.com/watch?v=4MPGKgn7jRc adresindeki video sonuçlarına bakınız.

Yazarlar şunları belirtir:

‘[Bizim] yöntem, mevcut aralık tekniklerine göre önemli ölçüde daha net tekstürler ve doğal hareket üretir. Özellikle, girdi kareleri arasındaki büyük farklılıkların olduğu senaryolarda, geleneksel yöntemlerin genellikle doğru bir şekilde aralık oluşturamadığı durumlarda özellikle iyi performans gösterir.

‘Diğer difüzyon tabanlı yöntemlerle karşılaştırıldığında, LDMVFI ve SVDKFI, Framer zorlu durumlarda daha iyi adapte olur ve daha iyi kontrol sağlar.’

Kullanıcı çalışması için, araştırmacılar 20 katılımcı topladı, bunlar 100 adet rastgele sıralanmış video sonucunu değerlendirdi. Böylece, 1000 adet değerlendirme elde edildi, en ‘gerçekçi’ teklifleri değerlendirdi:

Kullanıcı çalışması sonuçları.

Görülebileceği gibi, kullanıcılar Framer’den elde edilen sonuçları ezici bir şekilde tercih etti.

Projenin eşlik eden YouTube videosu, Framer için bazı diğer olası kullanımları açıklar, bunlar arasında morfolama ve çizgi film arabellekleri bulunur – burada tüm kavram başladı.

Sonuç

AI tabanlı video oluşturma görevi için bu zorluğun şu anda ne kadar önemli olduğunu vurgulamak zordur. Bugüne kadar, daha eski çözümler gibi FILM ve (non-AI) EbSynth, hobi ve profesyonel topluluklar tarafından kare aralığı için kullanılmıştır, ancak bu çözümler önemli sınırlamalarla gelir.

Resmi örnek videolarının dürüstçe düzenlenmemesi nedeniyle, makine öğrenimi sistemlerinin 3D morphable modelleri (3DMM’ler) veya diğer yardımcı yaklaşımlar gibi rehber mekanizmaları olmadan hareket geometrisini doğru bir şekilde çıkarabileceği konusunda geniş bir kamu yanlış anlaşılması vardır.

İçine bakıldığında, kare aralığı, hareketin kendisi mükemmel bir şekilde gerçekleştirilebilse bile, yalnızca bir ‘hile’ veya bu sorun için bir ‘hile’dir. Bununla birlikte, iki iyi hizalanmış kare görüntüsü oluşturmak, metin promt’ları veya mevcut alternatifler aracılığıyla rehberlik sağlamak kadar kolay olabileceğinden, bu eski yöntemin AI tabanlı bir sürümünde ilerleme kaydetmek iyidir.

İlk olarak 29 Ekim 2024 Salı günü yayınlandı.