Sahneyi Anlayan AI Resim Matting

2003 DVD sürümünün eşlik eden ek belgelerinde Alien³ (1992), görsel efekt efsanesi Richard Edlund, 1930’ların sonları ve 1980’lerin sonları arasında görsel efekt çalışmalarını domine eden foto-kimyasal matte çıkarma işleminin ‘sumo güreşi’ olarak adlandırdığı şeyden dehşetle bahsetti. Edlund, bu sürecin doğasını ‘sumo güreşi’ olarak tanımladı, bu da 1990’ların başlarında ortaya çıkan dijital mavi/yeşil ekran tekniklerine kıyasla.

Bir ön plan öğesini (örneğin, bir kişi veya bir uzay gemisi modeli) bir arka planından çıkarmak, böylece kesilmiş resim bir arka plan plakasına kompozit edilebilirdi, orijinal olarak ön plan nesnesini tek tip bir mavi veya yeşil arka plana karşı filme almak suretiyle gerçekleştirildi.

ILM tarafından ‘Return of the Jedi’ (1983) için yapılan bir VFX çekimi için zahmetli foto-kimyasal çıkarma işlemleri. Kaynak: https://www.youtube.com/watch?v=qwMLOjqPmbQ[/em>

Sonuçta elde edilen görüntüde, arka plan rengi daha sonra kimyasal olarak izole edilecek ve bir optik yazıcıda bir ‘yüzen’ nesne olarak ön plan nesnesini (veya kişiyi) yeniden basmak için bir şablon olarak kullanılacaktı.

İşlem, renk ayrımı örtüsü (CSO) olarak biliniyordu – ancak bu terim daha sonra 1970’ler ve 1980’lerin düşük bütçeli televizyon çıkışındaki kaba ‘Chromakey’ video efektleriyle daha fazla ilişkilendirilecekti. analog chứ değil, kimyasal veya dijital araçlarla elde edildi.

1970’te İngiliz çocuk programı ‘Blue Peter’ için Renk Ayrımı Örtüsü gösterimi. Kaynak: https://www.bbc.co.uk/archive/blue_peter_noakes_CSO/zwb9vwx[/em>

Her durumda, film veya video öğeleri için, daha sonra çıkarılan görüntüleri herhangi bir diğer görüntüye eklemek mümkündü.

Disney’in özellikle daha pahalı ve özel sodyum buharı işlemi (sarıya özel olarak odaklandı ve ayrıca kullanıldı Alfred Hitchcock’un 1963 korku filmi Kuşlar için) daha iyi tanımlama ve daha keskin matlar sağladı, foto-kimyasal çıkarma vẫn zahmetli ve güvensizdi.

Disney’in özel sodyum buharı çıkarma işlemi, spektrumun sarı ucuna yakın arka planlar gerektiriyordu. Burada, Angela Lansbury, ‘Cadı Kazıkları ve Süpürgeler’ (1971) için VFX’li bir dizinin prodüksiyonu sırasında tellere asılı duruyor. Kaynak[/em>

Dijital Matting’in Ötesinde

1990’larda dijital devrim, kimyasalları ortadan kaldırdı, ancak yeşil ekranlara olan ihtiyacı ortadan kaldırmadı. Artık, bir renk düzenleme yazılımı olan Photoshop’da veya video-compozit suites’te, renk tolerans aralığındaki pikselleri aramak suretiyle yeşil (veya herhangi bir renk) arka planını kaldırmak mümkündü. neredeyse aniden, altmış yıl optik baskı endüstrisi tarihe karıştı.

Son on yılın GPU hızlandırmalı bilgisayar görme araştırmaları, matte çıkarma işlemini üçüncü bir çağa sokuyor ve araştırmacılara, yeşil ekranlara gerek kalmadan yüksek kaliteli matlar çıkarmaya yönelik sistemler geliştirme görevi veriyor. Arxiv’de alone, makine öğrenimi tabanlı ön plan çıkarma konusundaki yeniliklere ilişkin makaleler haftalık bir özelliktir.

Bizi Resme Koymak

Bu akademik ve endüstriyel ilgi odağı, AI çıkarma, zaten tüketici alanını etkiledi: kaba ancak işlevsel uygulamalar, Zoom ve Skype filtreleri olarak bize tanıdık geliyor. video konferans görüşmelerinde yaşam odası arka planlarımızı tropik adalarla değiştirebiliyorlar.

Ancak, en iyi matlar hala bir yeşil ekran gerektirir, Zoom geçen çarşamba not edildiği gibi.

Sol, bir yeşil ekran önünde bir adam, Zoom’un Sanal Arka Plan özelliğiyle iyi çıkarılan saçlarla. Sağ, normal bir ev içi sahne önünde bir kadın, algoritmik olarak çıkarılan saçlarla, daha az doğru ve daha yüksek hesaplama gereksinimleriyle. Kaynak: https://support.zoom.us/hc/en-us/articles/210707503-Changing-your-Virtual-Background-image[/em>

Bir diğer yazı Zoom Destek platformundan, yeşil ekran olmayan çıkarma işleminin ayrıca daha fazla hesaplama gücünü yakalama cihazında gerektirdiğini uyarıyor.

Çıkarmaya İhtiyacımız Var

Kalite, taşınabilirlik ve kaynak ekonomisi açısından ‘vahşi’ matte çıkarma sistemleri için (yani, yeşil ekranlara gerek kalmadan insanları izole etme) iyileştirmeler, video konferans filtrelerinden çok daha fazla sektöre ve faaliyete ilişkin.

Veri seti geliştirme için, geliştirilmiş yüz, tam baş ve tam vücut tanıma, arka plan öğelerinin bilgisayar görme modellerine eğitilmesini önleme olanağı sunar; daha doğru izolasyon, anlamsal segmentasyon tekniklerini büyük ölçüde iyileştirir. alanları (yani ‘kedi’, ‘kişi’, ‘tekne’), ve VAE ve transformer-tabanlı tabanlı görüntü sentez sistemlerini iyileştirir. OpenAI’nin yeni DALL-E 2 gibi; ve daha iyi çıkarma algoritmaları, pahalı manuel rotoscoping ihtiyacını azaltacaktır. pahalı VFX boru hatları.

Aslında, çok modlu (genellikle metin/görüntü) metodolojilerinin yükselişi, bir alanın ‘kedi’ olarak kodlandığı ve ilişkili metin referanslarıyla birlikte kodlandığı yerlerde, zaten görüntü işleme alanına giriyor. Bir örnek, Text2Live mimarisi, video oluşturmak için çok modlu (metin/görüntü) eğitimi kullanır. kristal kuğular ve cam zürafalar gibi.

Sahne-Aware AI Matting

AI tabanlı otomatik matting araştırmalarının büyük bir kısmı, sınırları tanıma ve bir görüntü veya video karesi içindeki piksel tabanlı grupların değerlendirilmesine odaklandı. Ancak, Çin’den yeni bir araştırma, bir sahnenin metin tabanlı açıklamalarını kullanarak (son 3-4 yıl içinde bilgisayar görme araştırma sektöründe kabul gören çok modlu bir yaklaşım) delineasyonu ve matte kalitesini iyileştiren bir çıkarma pipeline sunuyor. daha önceki yöntemleri bir dizi şekilde geliştirdiğini iddia ediyor.

Önceki yöntemlerle karşılaştırılmış bir SPG-IM çıkarma örneği. Kaynak: https://arxiv.org/pdf/2204.09276.pdf[/em>

Araştırma alt bölümü için ortaya çıkan zorluk, minimum düzeyde manuel anotasyon ve insan müdahalesi gerektiren iş akışları üretmektir – ideal olarak, hiçbiri. Araştırmacılar, yeni makalede, anotasyonların ve çeşitli kültürlerdeki dış kaynaklı kalabalık çalışanlar tarafından yapılan manuel segmentasyonların, tutarlılıktan yoksun ve tatmin edici olmayan algoritmalarla sonuçlanabileceğini gözlemlediler.

Bunun bir örneği, ‘ön plan nesnesi’ nin subjektif yorumudur:

Yeni makaledeki önceki yöntemler LFM ve MODNet (‘GT’ Ground Truth’u, genellikle manuel veya algoritmik olmayan yöntemlerle elde edilen ‘ideal’ bir sonucu gösterir), ön plan içeriği tanımında farklı ve çeşitli etkili yaklaşımlara sahiptir, oysa yeni SPG-IM yöntemi sahne bağlamı aracılığıyla ‘yakın içeriği’ daha etkili bir şekilde tanımlar.[/em>

Bunu ele almak için, araştırmacılar, Situational Perception Guided Image Matting adlı iki aşamalı bir pipeline geliştirdiler. İki aşamalı kodlayıcı/çözücü mimarisi, Durum Algısı Damıtma (SPD) ve Durum Algısı Kılavuzlu Matting (SPGM) içerir.

SPG-IM mimarisi.[/em>

İlk olarak, SPD, görsel-içerik dönüşümlerini ön eğitti ve ilgili resimlere uygun açıklamalar üreten metinler oluşturdu. Daha sonra, ön plan maskesi tahmini, yeni bir dikkat çekme tahmini tekniği ile bağlantılı olarak etkinleştirildi.

SPGM, ham RGB görüntü girişi ve ilk modülde elde edilen maske temelinde tahmini bir alfa matını çıkardı.

Hedef, durum algısı kılavuzluğudur, burada sistem, örneğin, bir arka planın kompleks saçını çıkarmak gibi belirli bir görevin bilinen özelliklerine dayanarak, görüntünün neye oluştuğuna ilişkin bağlamsal bir anlayışa sahiptir.

Aşağıdaki örnekte, SPG-IM, bir ‘paraşüt’ün intrinsic kordonlara sahip olduğunu anlar, oysa MODNet bu ayrıntıları korumakta ve tanımlamakta başarısız olur. Benzer şekilde, yukarıda, oyun alanı aparatının tam yapısı MODNet’te keyfi olarak kaybedilir.[/em>

Yeni makale, Situational Perception Guided Image Matting olarak adlandırılmıştır ve OPPO Araştırma Enstitüsü, PicUp.ai ve Xmotors’tan araştırmacılardan gelmektedir.

Akıllı Otomatik Matlar

SPG-IM ayrıca, yerel ayrıntıları ve küresel bağlamı ayrı ayrı işleyebilen bir Uyumlu Odak Transformation (AFT) İyileştirme Ağı sunar ve ‘akıllı matlar’ sağlar.

Sahne bağlamını anlama, bu durumda ‘kız ile at’, ön plan çıkarmayı önceki yöntemlerden daha kolay hale getirebilir.[/em>

Makalede şöyle deniyor:

‘Görsel-içerik görevinden, örneğin, görüntü açıklaması, nesne ile nesne ve nesne ile ambiente arasındaki daha anlamlı sinyallere odaklanır ve hem küresel bilgi hem de yerel ayrıntıları kapsayan açıklamalar üretebilir. Ayrıca, görüntü matting’in pahalı piksel anotasyonuna kıyasla, metin etiketleri çok düşük maliyetle toplu olarak toplanabilir.’

SPD dalı, University of Michigan’ın VirTex transformer tabanlı metin kodlayıcısıyla ortaklaşa ön eğitime tabi tutulur ve görsel-içerik dönüşümlerini öğrenir.

VirTex, bir ConvNet ve Transformers’ı, görüntü-açıklama çiftleri aracılığıyla ortaklaşa eğitir ve elde edilen bilgiler, nesne algılama gibi aşağı akım görme görevlerine aktarılır. Kaynak: https://arxiv.org/pdf/2006.06666.pdf[/em>

Araştırmacılar, SPG-IM’i, durum tabanlı trimap yöntemleriyle, Deep Image Matting (DIM), IndexNet, Context-Aware Image Matting (CAM), Guided Contextual Attention (GCA), FBA, ve Semantic Image Mapping (SIM) karşılaştırdı.

Diğer testler ve soykütüğü çalışmaları arasında, araştırmacılar, SPG-IM’i, trimap-free yaklaşım LFM, HAttMatting, ve MODNet ile karşılaştırdı. Adil bir karşılaştırma için, test yöntemleri, farklı metodolojilere dayalı olarak uyarlandı; kod yoksa, makalenin teknikleri, tanımlanan mimariden yeniden üretildi.

Yeni makalede şöyle deniyor:

‘SPG-IM, tüm rekabetçi trimap-free yöntemlerini (LFM, HAttMatting ve MODNet) büyük bir marjla geride bırakıyor. Ayrıca, kamu veri setleri (yani Composition-1K, Distinction-646 ve Human-2K) ve Multi-Object-1K benchmark’indeki tüm dört metrikte durum tabanlı ve maskeli yöntemlere kıyasla üstünlük gösteriyor.’

Ve devam ediyor:

‘Trimap rehberliği olmadan, metodumuzun ince ayrıntıları (örneğin, saç uçları, şeffaf dokular ve sınırlar) koruduğu açıkça görülebilir. Ayrıca, diğer rekabetçi trimap-free modellere kıyasla, SPG-IM daha iyi küresel anlamsal bütünlüğü koruyabilir.’

İlk olarak 24 Nisan 2022’de yayınlandı.