Yapay Zekâ ile Videodan Nesneleri ve İnsanları Kaldırmak

Hayır, işin içinde yapay zekâ varsa çocuk görüntüde kalmıyor.

Görüntü ve videolardan insanları ve nesneleri kaldırmak, VFX odaklı yapay zekâ araştırmalarının popüler bir alt dalı. Bu soruna odaklanan özel veri kümeleri ve çerçevelerin sayısı giderek artıyor. Çin’deki Fudan Üniversitesi Büyük Veri Enstitüsünün son çalışması, EffectErase, yazarlarının testlerde mevcut en iyi yöntemleri belirgin biçimde geride bıraktığını savunduğu, ‘etkilerin farkında olan’ bir video nesne kaldırma sistemi:

Proje web sitesindeki materyallerden derlenen EffectErase örnekleri. Bağlantı vermiş olsak da kaynak sitede çok sayıda yüksek çözünürlüklü, optimize edilmemiş ve otomatik oynatılan video bulunduğunu belirtelim; bunlar tarayıcınızın kararlılığını etkileyebilir. Eşlik eden YouTube videosu daha kolay erişilen, daha kapsamlı bir kaynak ve bu yazının sonunda yer alıyor.  Kaynak

Yeni çalışma kapsamında, yaklaşık 350 özgün gerçek dünya sahnesinin yanı sıra sentezlenmiş sahneler içeren, kısmen yeni bir veri kümesi oluşturuldu ve derlendi. Herkese açık depolardan* da yararlanıldı. Sahneler ya özel ekipmanla kaydedildi ya da başka kaynaklardan alınarak açık kaynaklı Blender 3D çerçevesine dayalı bir iş akışına uyarlandı.

Karma Video Object Removal (VOR) veri kümesi, EffectErase uygulamasının temelini oluşturuyor. Uygulama, Wan2.1 video üretim sistemi üzerine kurulmuş. Sistem ayrıca iki yeni ilgili kıyaslama standardı tanımlıyor: VOR Eval ve VOR Wild. Bunlar sırasıyla gerçek referans sonuçları bulunan ve bulunmayan örnekler için tasarlanmış.

(Makalenin bir proje sitesi de var, ancak çok sayıda yüksek çözünürlüklü video nedeniyle siteyi yüklemek zor. Siteyi kullanmakta zorlanırsanız yukarıdaki videoda derlediğim kesitlere bakabilirsiniz.)

Yeni veri kümesi ile önceki benzer veri kümelerinin içerdiği miktarların karşılaştırması. Kaynak

Araştırmacılar, yaklaşımlarının hem nicel metriklerde hem de insanlarla yapılan bir çalışmanın değerlendirdiği nitel sonuçlarda en ileri düzeyde performans sağladığını iddia ediyor.

Önceki çalışmaların, bir nesnenin gölge ve yansıma gibi bağlantılı etkilerini her zaman kaldıramadığını ve kendi veri kümelerinin bu eksikliği gidermek için özenle oluşturulduğunu belirtiyorlar:

Önceki yaklaşımların, kaldırılacak nesnenin ötesine geçip yansımalar ve gölgeler gibi ikincil belirtileri ele alamadığı örnekler.

Bu yeni makalenin başlığı EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing. Çalışma, Fudan Üniversitesi Bilgisayar Bilimi ve Yapay Zekâ Fakültesinden dört araştırmacıya ait.

Yöntem

Karma VOR veri kümesi, bir insanı veya nesneyi videodan kaldırmanın tüm sonuçlarını kapsayacak kadar geniş bir senaryo yelpazesini içerecek biçimde tasarlanmış:

VOR veri kümesindeki eşleştirilmiş kareler, nesne kaldırmanın görünen öznenin yanı sıra onun yol açtığı etkileri de kapsaması gerektiğini gösteriyor. Örtülme, gölge, aydınlatma değişimleri, yansıma ve fiziksel deformasyon örneklerinde, nesnenin bulunduğu girdi ile nesne kaldırıldıktan sonraki temiz arka plan yan yana sunuluyor. Daha fazla örnek için yazının sonunda yer alan YouTube videosuna bakın.

Yazarlar, ele alınacak beş temsili ‘müdahale’ türünü şöyle tanımlıyor: örtülme; çeşitli cam ve duman kaynaklı örtülmeler buna dahil; gölgeler; aydınlatma (örneğin kaldırılacak nesnenin ışığın yolunu oluşturması veya değiştirmesi); yansıma; ve deformasyon (örneğin bir kişinin minderde bıraktığı ve kişi kaldırıldıktan sonra kalmaması gereken iz).

VOR veri kümesinin oluşturulma süreci, Blender ile üretilen sentetik sahneleri gerçek dünya kayıtlarıyla birleştiriyor. Sentetik veriler seçilmiş 3D ortamlar, nesneler ve kamera yörüngelerinden oluşturuluyor; gerçek görüntüler ise çeşitli sahnelerde kaydedilip Ken Burns hareketiyle zenginleştiriliyor. Ardından SAM2 ile bölütleme ve elle düzeltme yapılarak, karşılık gelen maskelerle birlikte hizalanmış ön plan ve arka plan video üçlüleri hazırlanıyor.

Özgün gerçek dünya verileri için araştırmacılar sabit kameralarla nesnenin ‘bulunduğu’ ve ‘bulunmadığı’ sahneler kaydetmiş. Bunlar çeşitli ortamları, günün farklı saatlerini ve hava koşullarını kapsıyor.

Sentetik veriler için birden fazla bakış açısından görüntüler oluşturulmuş ve çok nesneli senaryolar hazırlanmış. Gerçek görüntülerde karşılaşılabilecek kadar karmaşık ve zorlayıcı kamera hareketleri özellikle tercih edilmiş. Araştırmacılar bu yaklaşımın, diğer yönlerden benzer olan Remove Objects with Side Effects in Videos (ROSE) veri kümesinde kullanılandan daha gelişmiş olduğunu ve daha fazla emek gerektirdiğini belirtiyor.

Hareket çeşitliliğini artırmak için kamerayla kaydedilmiş çiftlere Ken Burns efekti uygulanmış. Önceden tanımlanmış on dört kural kapsamında kontrollü pan, yakınlaştırma ve hafif elde kamera hareketleri eklenmiş. Her çift için beş hareket deseni örneklenmiş ve kırpma alanı özgün karenin sınırları içinde tutulmuş.

Sentetik nesneler farklı kamera kurulumlarıyla birleştirilerek ölçek ve çeşitlilik daha da artırılmış. Maskeler, anahtar karelere elle nokta istemleri yerleştirilip bölütlemenin Segment Anything 2 (SAM2) ile diğer karelere yayılmasıyla oluşturulmuş. Sonuçlar temizlenip düzeltilmiş ve eğitim için doğrulanmış ön plan, arka plan ve maske üçlüleri hazırlanmış.

Son koleksiyon, gerçek ve sentetik 60.000 eşleştirilmiş videoda toplam 145 saatlik görüntü içeriyor; 443 sahnede 366 nesne sınıfını kapsıyor.

EffectErase ağı, girdiyi bir Variational Auto-Encoder (VAE^†) aracılığıyla alıyor; gizil temsildeki gürültüyü giderme işlemini Wan2.1 yürütüyor. Bu temel üzerinde EffectErase şu bileşenleri kullanıyor: Kaldırma-Ekleme Ortak Öğrenimi, iki görevi aynı bölgeler üzerinde birlikte eğitiyor; Göreve Duyarlı Bölge Yönlendirmesi (TARG), nesne ve görev belirteçlerini çapraz dikkat ile kullanarak nesnelerle etkileri arasındaki uzamsal ve zamansal ilişkileri modelliyor ve görevler arasında geçiş sağlıyor; Etki Tutarlılığı Kaybı ise kaldırma ve ekleme görevlerindeki etki bölgelerini hizalıyor:

EffectErase çerçevesinin şeması. Eğitim sırasında eşleştirilmiş videolar ortak bir gizil uzaya kodlanıyor, gürültüyle birleştiriliyor ve göreve duyarlı çapraz dikkatin yönlendirdiği bir difüzyon dönüştürücüsünde işleniyor. Etki tutarlılığı kaybı, kaldırma ve ekleme bölgelerini hizalayarak her iki görevin aynı alana odaklanmasını sağlıyor.

Kaldırma ve ekleme süreçleri, ortak bir difüzyon temeli kullanılarak birlikte eğitiliyor. Böylece model aynı etkilenen bölgelere ve yapısal ipuçlarına odaklanmayı öğreniyor.

Nesneleri içeren videolar, yalnızca arka planı içeren videolar ve maskeler önce bir gizil uzaya kodlanıyor. Ardından difüzyon eğitimi için gürültü ekleniyor ve model göreve özgü yönlendirme altında temiz temsilleri geri kazanmayı öğreniyor. Hafif bir bağdaştırıcı, gürültülü özellikleri kaldırma veya ekleme koşullarıyla birleştiriyor. Böylece iki görev aynı denetimi paylaşırken kontrol edilebilirliğini koruyor.

Göreve Duyarlı Bölge Yönlendirmesi, dil belirteçlerini ön plandaki nesneden çıkarılan görsel özelliklerle birleştirerek göreve özgü bir sinyal oluşturuyor. Bunun için CLIP kullanılıyor; genel bir nesne belirtecinin yerine, gerçek görüntü içeriğinden türetilen bir gömme yerleştiriliyor. Bu birleşik temsil çapraz dikkat yoluyla temel ağa aktarılıyor. Böylece model, bir nesnenin ve görsel etkilerinin uzay ve zaman içinde nasıl değiştiğini izleyebiliyor ve kaldırma ile ekleme arasında esnek biçimde geçiş yapabiliyor.

Etki Tutarlılığı Kaybı, kaldırma ve ekleme işlemlerini aynı değişen alanlara odaklanmaya zorluyor; çünkü iki görev de aynı nesne ve görsel etkileriyle ilgileniyor. Her dalın dikkat haritaları yumuşak bölge haritalarında birleştirilip nesneli ve yalnızca arka planı içeren videolardan hesaplanan bir fark haritasıyla hizalanıyor. Böylece aydınlatma ve gölgeler gibi ince değişiklikler korunuyor. Bu ek kayıp, eklemenin kaldırmayı yönlendirmesine yardımcı oluyor ve iki görevin tutarlı kalmasını sağlıyor.

Veriler ve Testler

Araştırmacılar yöntemlerini çeşitli görüntü tamamlama, video tamamlama ve nesne kaldırma yöntemleriyle karşılaştırmış: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; ve MiniMax-Remover.

Wan2.1, LoRA^†† ile VOR veri kümesinde 832×480 piksel çözünürlükte ince ayardan geçirilmiş. Eğitim için art arda gelen 81 kare rastgele örneklenmiş. Bu, WAN için pratik sınır; bunun ötesinde hatalar ortaya çıkma eğiliminde. Eğitim 129.000 yineleme sürmüş ve yığın boyutu 8 olmuş. Her biri 80GB VRAM içeren sekiz H100 GPU kullanılmış. Öğrenme oranı 1×10² ve LoRA rank değeri 256 olarak ayarlanmış.

ROSE-Benchmark sentetik koleksiyonu test edilen tek harici veri kümesi olmuş. Diğer ikisi VOR-Eval, yani VOR veri kümesinin test bölümü; ve internetten derlenen, hareketli nesneler içeren 195 gerçek videodan oluşan VOR-Wild test kümesi.

Kullanılan metrikler şunlar: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); ve Fréchet Video Distance (FVD). Ayrıca VOR-Wild’den üretilen 195 video üzerinde bir kullanıcı çalışması yapılmış ve 20 gönüllünün ortalama puanları dikkate alınmış.

Yazarlar ayrıca QScore adını verdikleri, Qwen-VL çok kipli modelini kullanan bir metrik geliştirmiş. Amaç, nesnelerin kaldırıldığı videoların kalitesini geride kalan görsel bozulmalar veya kaldırılmamış gölge ve aydınlatma gibi çevresel etkiler açısından değerlendirmek:

ROSE ve VOR kıyaslama standartlarında nicel karşılaştırma. En iyi sonuçlar kalın, ikinci en iyi sonuçlar altı çizili olarak gösteriliyor.

Bu sonuçlarla ilgili olarak yazarlar şunları belirtiyor:

‘[Mevcut] görüntü tamamlama yöntemleri, zamansal modelleme yapmadan 2D modellerle tek tek kareler üzerinde çalışır. Bu nedenle videolarda zamansal tutarlılığı koruyamazlar.

Güncel video tamamlama [yöntemleri], nesnelerin yan etkilerini açıkça modellemez; bu da doğal görünmeyen kaldırma sonuçlarına yol açar. Mevcut video nesne kaldırma [yöntemleri], nesne ile yan etkileri arasındaki uzamsal ve zamansal ilişkileri modellemediğinden sıklıkla görsel bozulmalar ve kaldırılan nesnelerin kalıntılarını üretir.

‘Genel olarak EffectErase, tüm veri kümelerinde ve değerlendirme metriklerinde en ileri düzeyde performansa ulaşır. Video kalitesi metriği FVD’de en iyi puanları alması, üretilen videoların zamansal akıcılığının ve tutarlılığının üstünlüğünü gösterir.

‘Yöntemimiz ayrıca en yüksek QScore ve kullanıcı geri bildirim puanlarını alır. Bu da görsel olarak inandırıcı kaldırma sonuçları üretmedeki etkinliğini daha da gösterir.’

Nitel değerlendirme için makalede durağan sonuçlar sunuluyor; bunlar hemen aşağıda gösteriliyor. Hareketli sonuçlar ise proje sitesinde ve eşlik eden YouTube video sunumunda bulunuyor:

VOR-Eval üzerinde örtülme, gölge, aydınlatma, yansıma ve deformasyon durumlarının nitel karşılaştırması. Tamamlama yöntemleri maskenin dışındaki etkileri kaldırmakta zorlanırken, kaldırma modelleri çoğu zaman görünür bozulmalar bırakıyor. EffectErase hem hedef nesneleri hem de bunlarla ilişkili etkileri daha temiz kaldırıyor. Daha yüksek çözünürlük için kaynak makaleye, video örnekleri için proje sitesine bakın.

Ayrıca okuyucuyu proje sitesindeki çeşitli ilgili örneklere yönlendiriyoruz. Bunların bir ön izlemesi aşağıda; resmî YouTube videosu da yazının sonunda yer alıyor:

Oynatmak için tıklayın. EffectErase’in proje sitesinden bir karşılaştırma örneği. Daha yüksek çözünürlük için yukarıdaki uyarıları dikkate alarak siteye bakın; sitede başka örnekler de bulunuyor.

Yazarlar şöyle diyor:

‘Video tamamlama [yöntemleri] maskelenmiş bölgelerde sıklıkla görsel bozulmalar oluşturur ve kaldırılan nesnelerin yol açtığı yan etkileri tamamen silemez. [ROSE] ve [MinMax-Remover] gibi önceki yaklaşımlar hedef nesneleri kaldırmakta başarılı olsa da özellikle örtülme, gölge, aydınlatma, yansıma ve deformasyon durumlarında yan etkilerle baş etmekte zorlanır.

‘Buna karşılık EffectErase hem hedef nesneleri hem de bunlarla ilişkili etkileri etkili biçimde kaldırarak temiz, uyumlu ve yüksek kaliteli sonuçlar üretir.’

Son olarak araştırmacılar, yöntemlerinin ek eğitim gerektirmeden kaldırma yerine ekleme görevlerine de uyarlanabileceğini belirtiyor:

Videoya nesne ekleme sonuçları. EffectErase arka plan içeriğini koruyarak nesneler ekliyor; gölgeler ve yansımalar gibi nesne kaynaklı etkileri kareler boyunca tutarlı biçimde üretiyor.

Ekleme görevinin video sonuçları belirli bir zamana bağlantı veren YouTube videosunda görülebilir. Video, yazının sonunda zaman damgası olmadan da yer alıyor.

Sonuç

Literatürdeki benzer projelere bakıldığında, pek çok kişinin genel amaçlı VFX modellerinin sonunda bu işlevi de yalnızca bu belirli görev için değil, çeşitli efektler için tasarlanmış genel bir ‘araç seti’ modeline dahil edebileceğini umduğu görülüyor.

Bununla birlikte, her işi yapmaya çalışan araçların sınırları düşünüldüğünde, EffectErase gibi özel sistemlerin bu işlevde daha genel yaklaşımlara üstünlüğünü sürdüreceğini varsaymak makul görünüyor. Yine de aradaki fark sonunda o kadar daralabilir ki ayrı bir modeli eğitmek için gereken ek çabaya değmeyebilir.

* Fikrî mülkiyetin kaynağına ilişkin kaygılar artarken bu tür kaynakların tümünün belirtilmesi beklenir. Ancak yeni çalışmanın mevcut materyallerinde 3D modellerin kaynağı listelenmişse bile ben bu referansı bulamadım.

^† Verilen referans, 2013 tarihli genel bir açıklama metni gibi görünüyor; kullanılan VAE’nin ayrıntıları belirtilmiyor.

^†† Makaleden alınan bu ifade anlamsal açıdan belirsiz; çünkü ince ayar ve LoRA, gereksinimleri oldukça farklı iki ayrı süreç.

İlk yayımlanma tarihi: 21 Mart 2026 Cumartesi