AI-bildmatning som förstår scener

I den extra dokumentären som följer med DVD-utgåvan av Alien³ (1992) minns visuella effekter-legenden Richard Edlund med fasa den “sumobrottning” som dominerade visuella effekter mellan sent 1930-tal och slutet av 1980-talet. Edlund beskrev processens träffsäkerhet som “sumobrottning” i jämförelse med de digitala blå/grön-skärms-teknikerna som tog över i början av 1990-talet (och han har återkommit till metaforen sedan).

Att extrahera ett förgrundsobjekt (såsom en person eller ett rymdskeppmodell) från en bakgrund, så att det klippta objektet kan komponeras in i en bakgrundsplatta, uppnåddes ursprungligen genom att filma förgrundsobjektet mot en enhetlig blå eller grön bakgrund.

Mödosamma foto kemiska extraktionsprocesser för en VFX-skott av ILM för ‘Återkomsten av Jedi’ (1983). Källa: https://www.youtube.com/watch?v=qwMLOjqPmbQ

I den resulterande filmen skulle bakgrunds färg sedan isoleras kemiskt och användas som en mall för att åter skriva förgrundsobjektet (eller personen) i en optisk skrivare som ett “flytande” objekt i en annan transparent filmcell.

Processen kallades färgseparationsöverlagring (CSO) – även om denna term senare skulle bli mer associerad med de grova ‘Chromakey’ videoeffekter i lägre budgeterade TV-utgåvor under 1970- och 1980-talen, som uppnåddes med analog istället för kemisk eller digital metod.

En demonstration av Color Separation Overlay 1970 för den brittiska barnserien ‘Blue Peter’. Källa: https://www.bbc.co.uk/archive/blue_peter_noakes_CSO/zwb9vwx

I vilket fall som helst, antingen för film- eller videoelement, kunde det extraherade materialet sedan infogas i annat material.

Även om Disneys betydligt dyrare och proprietära natriumångprocess (som nycklade på gul, specifikt, och också användes för Alfred Hitchcocks skräckfilm från 1963 Fåglarna) gav bättre definition och skarpare mattor, förblev foto kemisk extraktion mödosam och opålitlig.

Disneys proprietära natriumångextraktionsprocess krävde bakgrunder nära den gula änden av spektrumet. Här är Angela Lansbury upphängd i trådar under produktionen av en VFX-laddad sekvens för ‘Käppar och trollstavar’ (1971). Källa

Bortom digital matning

På 1990-talet gjorde den digitala revolutionen slut på kemikalierna, men inte behovet av grön skärm. Det var nu möjligt att ta bort den gröna (eller vilken färg som helst) bakgrunden genom att söka efter pixlar inom en toleransområde för den färgen i pixelredigeringsprogram som Photoshop, och en ny generation av video-kompositionsprogram som kunde automatiskt nyckla ut de färgade bakgrunderna. Nästan över en natt, sextio år av den optiska tryckningsindustrin förpassades till historien.

De senaste tio åren av GPU-accelererad datorseende-forskning för matningsextraktion in i en tredje era, som uppgiften att utveckla system som kan extrahera högkvalitativa mattor utan behov av grön skärm. På Arxiv ensam, papper relaterade till innovationer inom maskinlärningsbaserad förgrundsextraktion är en veckovis funktion.

Att sätta oss i bilden

Denna fokus på akademisk och industriell intresse för AI-extraktion har redan påverkat konsumentutrymmet: grova men fungerande implementationer är bekanta för oss alla i form av Zoom och Skype filter som kan ersätta våra vardagsrumsbakgrunder med tropiska öar, etc., i video konferenssamtal.

Men de bästa mattorna kräver fortfarande en grön skärm, som Zoom noterade för tre dagar sedan.

Vänster, en man framför en grön skärm, med väl extraherat hår via Zooms Virtual Background-funktion. Höger, en kvinna framför en normal vardagsrumsbakgrund, med hår extraherat algoritmiskt, mindre exakt och med högre beräkningskrav. Källa: https://support.zoom.us/hc/en-us/articles/210707503-Changing-your-Virtual-Background-image

En ytterligare post från Zoom Support-plattformen varnar för att icke-grön skärmsextraktion också kräver större beräkningskraft i inspelningsenheten.

Behovet av att skära ut

Förbättringar i kvalitet, portabilitet och resursekonomi för “i vildmarken” matte-extraktions system (dvs. isolera människor utan behov av grön skärm) är relevanta för många fler sektorer och strävanden än bara video konferensfilter.

För dataset-utveckling erbjuder förbättrad ansikts-, huvud- och fullständig kroppigenkänning möjligheten att säkerställa att extraneous bakgrunds-element inte tränas in i datorseende-modeller av mänskliga ämnen; mer exakt isolering skulle avsevärt förbättra semantisk segmentering tekniker som är utformade för att skilja och assimilera domäner (dvs. ‘katt’, ‘person’, ‘båt’), och förbättra VAE och transformator-baserade bildsyntes-system som OpenAI:s nya DALL-E 2; och bättre extraktionsalgoritmer skulle minska behovet av dyra manuella rotoscoping i dyra VFX-pipelines.

I själva verket är den växande populariteten av multimodala (vanligtvis text/bild) metoder, där en domän som “katt” kodas både som en bild och med associerade textreferenser, redan gör intryck i bildbehandling. Ett nyligt exempel är Text2Live arkitekturen, som använder multimodal (text/bild) utbildning för att skapa videor av, bland många andra möjligheter, kristallsvanar och glasgiraffer.

Scenmedveten AI-matning

En hel del forskning om AI-baserad automatisk matning har fokuserat på gränsigenkänning och utvärdering av pixelbaserade grupperingar inom en bild eller video ram. Men ny forskning från Kina erbjuder en extraktionspipeline som förbättrar avgränsning och mattekvalitet genom att utnyttja textbaserade beskrivningar av en scen (en multimodal metod som har vunnit mark i datorseende-forskningen under de senaste 3-4 åren), och påstår sig ha förbättrat tidigare metoder på flera sätt.

Ett exempel på SPG-IM-extraktion (sista bilden, nedre höger), jämfört med tidigare metoder. Källa: https://arxiv.org/pdf/2204.09276.pdf

Utmaningen för extraktionsforskningsundersektorn är att producera arbetsflöden som kräver minimal manuell annotering och mänsklig inblandning – idealiskt, ingen alls. Utöver kostnaderna observerar forskarna i det nya papperet att annoteringar och manuella segmenteringar som utförs av utkontrakterade crowdworkers över olika kulturer kan orsaka att bilder märks eller till och med segmenteras på olika sätt, vilket leder till inkonsekventa och otillfredsställande algoritmer.

Ett exempel på detta är den subjektiva tolkningen av vad som utgör ett “förgrundsobjekt”:

Från det nya papperet: tidigare metoder LFM och MODNet (‘GT’ betecknar Ground Truth, ett ‘idealt’ resultat som ofta uppnås manuellt eller med icke-algoritmiska metoder), har olika och varierande effektiva tolkningar av definitionen av förgrunds-innehåll, medan den nya SPG-IM-metoden mer effektivt avgränsar ‘nära innehåll’ genom scenkontext.

För att adressera detta har forskarna utvecklat en tvåstegs-pipeline med namnet Situational Perception Guided Image Matting (SPG-IM). Den tvåstegs-encoder/decoder-arkitekturen består av Situational Perception Distillation (SPD) och Situational Perception Guided Matting (SPGM).

SPG-IM-arkitekturen.

Först förbereder SPD visuella-till-textuella funktionstransformationer, genererar lämpliga beskrivningar för sina associerade bilder. Därefter möjliggörs förgrunds maskprediktion genom att ansluta pipelinen till en ny saliensprediktions teknik.

Sedan genererar SPGM en uppskattad alpha-matte baserat på den råa RGB-bildinmatningen och den genererade mask som erhållits i den första modulen.

Målet är situationsperception-guidning, där systemet har en kontextuell förståelse för vad bilden består av, vilket möjliggör för det att ramla in – till exempel – utmaningen att extrahera komplext hår från en bakgrund mot kända egenskaper för en sådan specifik uppgift.

I exemplet nedan förstår SPG-IM att linorna är inneboende i en ‘fallskärm’, där MODNet misslyckas med att behålla och definiera dessa detaljer. Likaså ovanför, förloras den fullständiga strukturen av lekredskapet godtyckligt i MODNet.

Det nya papperet heter Situational Perception Guided Image Matting och kommer från forskare vid OPPO Research Institute, PicUp.ai och Xmotors.

Intelligent automatisk matning

SPG-IM erbjuder också en Adaptive Focal Transformation (AFT) Refinement Network som kan bearbeta lokala detaljer och global kontext separat, vilket möjliggör “intelligent matning”.

Att förstå scenkontext, i det här fallet ‘flicka med häst’, kan potentiellt göra förgrundsextraktion enklare än tidigare metoder.

Papperet förklarar:

‘Vi tror att visuella representationer från den visuella-till-textuella uppgiften, t.ex. bildbeskrivning, fokuserar på mer semantiskt omfattande signaler mellan a) objekt till objekt och b) objekt till den omgivande miljön för att generera beskrivningar som kan täcka både den globala informationen och de lokala detaljerna. Dessutom, jämfört med den dyra pixelannoteringen av bildmatning, kan textmärken samlas in i mycket stor utsträckning till en mycket låg kostnad.’

SPD-grenen i arkitekturen är förtränad tillsammans med University of Michigans VirTex transformer-baserad text-dekoder, som lär sig visuella representationer från semantiskt täta beskrivningar.

VirTex tränar gemensamt en ConvNet och Transformers via bild-beskrivningspar, och överför de erhållna insikterna till nedströms vision-uppgifter som objektigenkänning. Källa: https://arxiv.org/pdf/2006.06666.pdf

Bland andra tester och avlägsnande studier, testade forskarna SPG-IM mot state-of-the-art trimap-baserade metoder Deep Image Matting (DIM), IndexNet, Context-Aware Image Matting (CAM), Guided Contextual Attention (GCA), FBA, och Semantic Image Mapping (SIM).

Andra tidigare ramverk som testades inkluderade trimap-fria metoder LFM, HAttMatting, och MODNet. För en rättvis jämförelse anpassades testmetoderna baserat på de olika metoderna; där kod inte var tillgänglig, reproducerades papperets tekniker från den beskrivna arkitekturen.

Det nya papperet förklarar:

‘Vår SPG-IM överträffar alla konkurrerande trimap-fria metoder ([LFM], [HAttMatting], och [MODNet]) med stor marginal. Samtidigt visar vår modell också en anmärkningsvärd överlägsenhet över state-of-the-art (SOTA) trimap-baserade och mask-guidade metoder i termer av alla fyra mått över de offentliga dataseten (dvs. Composition-1K, Distinction-646, och Human-2K), och vår Multi-Object-1K-benchmark.’

Och fortsätter:

‘Det kan tydligt observeras att vår metod bevarar fina detaljer (t.ex. hårspetsplatser, transparenta texturer och gränser) utan trimap-guidning. Dessutom, jämfört med andra konkurrerande trimap-fria modeller, kan vår SPG-IM behålla bättre global semantisk fullständighet.’

Publicerad första gången den 24 april 2022.