Förbättring av AI-bakgrundsborttagning utan dyra mänskliga annoteringar

Nya studier visar att AI kan rensa bort människor från videor utan dyra mänskliga etiketter, vilket förbättrar kvalitet och stabilitet

De flesta av oss har upplevt att vi “droppas” från en bakgrund genom enkla bakgrundsändrande-/döljande filter på videokonferensplattformar – och vi kan ha märkt begränsningarna i sådana system, som tränas på de vanligaste typerna av fall som troligen kommer att hittas i en videokonferens, och som inte vanligtvis är robusta mot något “oväntat” – eller ens mot förutsägbara föremål, såsom fingrar:

Ett typiskt exempel på ett AI-tränat system för förgrundsutvinning som beskär för mycket av den ursprungliga föremålet. Källa

Den enklaste lösningen, och en som blir alltmer populär i och med att visionsspråkmodeller (VLM) som inte är specifikt utformade för sådana uppgifter, är att finjustera en befintlig modell på data som sannolikt kommer att möta systemet:

Två stora, noggrant annoterade dataset utgör grunden för lösningarna i artikeln “Real-Time High-Resolution Background Matting”. Källa

Men sådan data måste annoteras, till en viss kostnad och med en viss tidsåtgång, av människor; och i vilket fall som helst, resulterar detta i ett mycket specifikt och icke-generaliserat verktyg som kostar mycket pengar och vanligtvis inte kan användas för en bredare variation av uppgifter.

Trots att utveckling av “riktade” modeller av detta slag för närvarande är den kortaste vägen till effektiv inferens i en mängd olika domäner, inte bara video- och bildmatning (dvs. bakgrundsavlägsnande/förgrunds mattor), är det faktum att de flesta av de oövervakade lösningarna som har erbjudits hittills mer eller mindre bara har flyttat problemet runt på tallriken.

Även nu, trots spridningen av AI-förbättrade filter på plattformar som Zoom, rekommenderar Zoom fortfarande en grön skärm som den optimala lösningen för bakgrundsavlägsnande – en betungande och något “professionell” lösning som skulle göra de flesta av oss lite självmedvetna.

Skär av!

På senare tid har intresset ökat för att använda Segment Anything (SAM) -familjen för att tillhandahålla automatiserad och finmaskig utvinning. Eftersom SAM utvecklades för att underlätta annotation snarare än för att tillhandahålla skarpa konturer som accepteras i en visuella effekterpipeline, är dess standardgränser inte lämpliga för att möta utmaningen, oassisterad:

Klicka för att spela, om nödvändigt. Ett exempel på de grova gränser som skapas av en Segment Anything-modell – idealisk för annotation, men inte tillräckligt bra för VFX-utklipp. Källa 

En nyligen publicerad artikel från Kina har föreslagit en mer sofistikerad metod för att använda SAM-modeller för att uppnå överlägsen utvinningsprocess – genom att kombinera en grundläggande spårare som SAM med en region-förslagsbro med dedikerade mattningshuvuden. På detta sätt kan systemet förbättra kanterna i detalj iterativt och lösa utmanande kanter, såsom hår i rörelse:

Klicka för att spela, om nödvändigt. Från den bifogade webbplatsen som stöder den nya artikeln, en samling av tilläggsvideos, som visar den författarnas metod för utvinning. Källa 

Det är avgörande att det nya sammansatta systemet endast tränas på bilder, inte på videor, och kräver ingen ytterligare mänsklig annotation – den traditionella hindret mot framsteg i detta och många andra AI-områden.

Exempel på finmaskig bild- och videomattning som uppnåtts med den nya metoden, med utmanande fall som hår, transparens och rörelse som visas bredvid sekvenser i vildmarken, där metoden producerar – enligt författarna – renare, mer stabila resultat än tidigare tillvägagångssätt. Källa

Med tre experimentella modeller som producerats för arbetet hävdar författarna att de uppnår nytt state-of-the-art-resultat i denna uppgift, samtidigt som de behåller den högre generaliseringsförmågan hos den grundläggande modellen, vilket innebär att metoden producerar en allmän modell med extra förmågor, snarare än ett isolerat verktyg riktat mot en enda uppgift.

Författarna skriver:

‘Omfattande experiment visar att SAM2Matting uppnår state-of-the-art (SOTA) -prestanda på både bild- och videomattning, med videomattning utvärderad i en strikt zero-shot-miljö.

‘Omfattande fältresultat visar dessutom dess starka generaliserbarhet till öppna världsscenarier med snabb rörelse, komplexa bakgrunder och målanslutningar (t.ex. en man som åker cykel).

‘Dessutom är våra mattkomponenter lätta och effektiva, vilket möjliggör att SAM2.1-Tiny-varianten kan köras med 40 FPS på en 200-raders 1080p-videofilm med mindre än 5 GB GPU-minne.’

Den nya artikeln heter SAM2Matting: Generaliserad bild- och videomattning och kommer från fyra författare på Fudan University och Shanghai University of Finance and Economics. Arbetet har ett GitHub-repo, som vid tidpunkten för skrivandet har släppt kontrollpunkter för olika varianter, inferenskod och en interaktiv demo, med ett utlovat utgivningsdatum för utbildningskod. Dessutom finns en projektsajt.

Metod

Författarnas metod separerar spårning från fin detaljutvinning med hjälp av en videoobjektsegmenterings- (VOS) spårare för att producera en tidsmässigt konsekvent grov mask för varje ram, medan en dedikerad mattningpipeline förfinar gränser:

Översikt över pipeline, där en flexibel prompt och indata-videofilm matas in i en videoobjektsegmenterings-spårare för att producera en grov mask, som sedan förfinas av en ROI-detektor och omvandlas till en trimap innan en progressiv multi-skaleprediktor genererar den slutliga högdetaljerade mattan.

En region-of-interest (ROI) -detektor identifierar sedan regioner med fin detalj eller semi-transparens, och omvandlar dessa till en trimap (en tre-region mask som delar upp förgrunden, bakgrunden och osäkra områden) som vägleder förfining, varefter en Progressiv Alfa-prediktor genererar den slutliga mattan genom en grov-till-fin skalkaskad över flera skalor

Traditionella mattningssystem derivrar vanligtvis regioner av intresse med hjälp av enkla morfologiska operationer, eller genom att direkt återanvända masken – tillvägagångssätt som antingen kan förbise fina detaljer eller inkludera områden som inte kräver förfining:

Jämförelse av standardmaskbaserad bearbetning med grund-sanning-trimap, som visar hur enkla morfologiska operationer producerar grova, enhetliga gränser som missar fina strukturer som hår och transparens, vilket leder till förlust av detaljer i den slutliga mattan.

Kompositränta

I stället behandlar den föreslagna Region-of-Interest-Detektorn detta steg som en pixeltill-pixeltilldelning (dvs. behandlar varje enskild pixel i bilden som ett separat beslut, och tilldelar den en etikett baserat på om den tillhör en mattkritisk region eller inte) som integrerar VOS-masken, den aktuella ramen och multi-skalebildfunktioner för att mer exakt isolera mattkritiska regioner.

I den nya metoden omvandlas den förutsagda ROI först till en pseudo-trimap som skiljer på säker förgrund och bakgrund från osäkra regioner, med hjälp av spårarmasken för att tilldela kända områden medan ROI markeras som tvetydig, så att efterföljande bearbetning kan fokusera explicit på gränser där detaljer måste lösas.

Förfining hanteras sedan av en Progressiv Alfa-prediktor som behandlar mattning som en stegvis process, som passerar mellanliggande resultat från grov till finare skalor, där varje stadium använder bilden, trimapen och den tidigare uppskattningen för att successivt skärpa struktur och återställa fina detaljer.

I det sista stadiet är den högsta upplösningsutmatningen uppskalande för att producera den färdiga mattan, vilket möjliggör att breda former etableras tidigt medan finare element som hår och transparens löses i senare passager.

Under utbildning frös författarna VOS-spåraren, medan endast mattkomponenterna tränades på högkvalitetsbilddata – vilket möjliggjorde att fina detaljer kunde förfinas utan att försämra spårningskonsekvens. Övervakning tillämpades per ram, med regioner av intresse som härleddes från grund-sanning-alphamattan och användes för att vägleda inlärning, medan ROI-detektorn tränades med förluster som var utformade för att uppmuntra exakt gränsklassificering och minska hackiga artefakter.

För alfa-uppskattning tillämpades förluster över flera skalor för att successivt förbättra detaljer, tillsammans med en ytterligare begränsning som avsåg att hålla den förutsagda mattan i linje med den ursprungliga masken – vilket hjälpte till att bevara struktur och förhindra hål eller brutna regioner i den slutliga utmatningen.

Data och tester

Åtta bildmattning-datasets användes initialt för testerna: I-HIM50K; P3M-10k; CelebAHairMask-HQ; AIM-500; Distinctions-646; AM-2K; UHRIM; och RefMatte; och tre varianter av ‘Sam2Matting’-tillvägagångssättet utvecklades som VOS-spårare, som använder SAM2.1-Tiny; SAM2.1-Base+; och det konceptfokuserade SAM3.

Spårarkomponenten frystes, med endast mattkomponenterna optimerade. Alla versioner tränades i fem epoker över fyra NVIDIA A6000 GPU:er, var och en med en VRAM-allokering på 48 GB. En batchstorlek på 32 användes, under AdamW-optimeraren. Mätvärden som användes var Medelabsolut differens (MAD); Medelkvadratisk fel (MSE); Gradient (Grad); Anslutning (Conn); och dtSSD (endast för videomattning).

Kvantitativa tester

Författarna började med kvantitativa tester av de nya systemen på bildmattning, med hjälp av benchmark P3M-500-NP; AM-2K (‘GFM’ i resultaten); MAM (‘Matte Anything’, i resultaten); E2E-HIM; Lightweight; och PPM-100 (‘MODNet’, i resultaten):

Kvantitativa resultat på bildmattning-benchmark över P3M-500-NP, AM-2K-test och PPM-100, med lägre värden som indikerar bättre prestanda över alla mätvärden, och bästa, andra bästa och tredje bästa resultat markerade i rött, orange och gult respektive. Vänligen se källartikeln för bättre upplösning.

Av dessa resultat skriver artikeln:

‘Som visas [ovan], överträffar alla tre varianter av SAM2Matting konsekvent tidigare baseline över olika mätvärden. Till exempel uppnår SAM2.1-Tiny-varianten en 11,48 lägre MAD än MAM på P3M-500-NP.’

Författarna hävdar att resultaten över hela linjen visar att deras tillvägagångssätt uppnår överlägsna resultat genom den grundläggande konceptuella designen, och inte på grund av datorkvaliteten.

För videomattning utvärderades SAM2Matting på V-HIM60 och VideoMatte i en zero-shot-miljö, mot video-tränade system som MatAnyone2, MatAnyone, MaGGIe, FTP-VM, och RVM, med konsekventa vinster rapporterade över både medium och hårda delningar.

Över alla benchmark-resultat registrerar de tre varianterna lägre fel på MAD, MSE, Grad, Conn och dtSSD, med SAM3 som uppnår de starkaste övergripande resultaten, medan de lägsta dtSSD-värdena tydligen indikerar mer stabil ram-till-ram-konsekvens:

Kvantitativa resultat på videomattning-benchmark över V-HIM60 och VideoMatte, utvärderad i en zero-shot-miljö, som visar lägre fel över alla mätvärden, med bästa, andra bästa och tredje bästa resultat markerade i rött, orange och gult respektive.

Författarna hävdar att dessa resultat återspeglar den kopplade designen, där VOS-spåraren bevarar tidsmässig struktur och mattmodulerna fokuserar på gränsdetaljer, vilket möjliggör att bildtränade modeller överträffar fullständigt övervakade videotillvägagångssätt.

Kvalitativa tester

För mänsklig mattning i kvalitativa tester fann författarna att Sam2Matting överträffade konkurrerande baseline:

Kvalitativ jämförelse på mänsklig och vilda videomattning, där SAM2Matting bevarar fina hårstrån och semi-transparenta regioner mer exakt än RVM och MatAnyone, producerar renare gränser och färre saknade strukturer i utmanande områden.

Som visas nedan, kämpade befintliga videomattningssystem som MatAnyone2 och MaGGIe, som tränats på domänspecifika och ofta mänskligt centrerade dataset, för att generalisera till vilda sekvenser, särskilt när de hanterade snabbt rörliga föremål som växande rötter, semi-transparenta fjärilar och snabbt droppande vatten:

Kvalitativ jämförelse på vilda sekvenser, där SAM2Matting bevarar fina strukturer och tidsmässig konsekvens mer effektivt än MatAnyone2 och MaGGIe, särskilt för icke-mänskliga föremål, snabb rörelse och semi-transparenta element som vatten, glas och insektvingar. Vänligen se källartikeln för bättre upplösning.

Omvänt visade sig SAM2Matting kunna upprätthålla stabil spårning och extrahera fina detaljer mer tillförlitligt i dessa utmanande scenarier.

Slutligen, som visas i figuren nedan, hanterade SAM2Matting effektivt mål med fästa föremål, som människor som cyklar eller håller skidstavar, samtidigt som de undertryckte närliggande bakgrundsstörningar, till följd av den matt-mask-konsekvensbegränsning som beskrivits tidigare.

Kvalitativ jämförelse på sekvenser med fästa föremål och bakgrundsstörningar, där SAM2Matting bevarar strukturer som cyklar och skidstavar mer exakt än MatAnyone2, samtidigt som den undertrycker närliggande störningar och upprätthåller renare silhuetter över ramarna.

Slutsats

De prestationer som presenteras i den nya artikeln visar i vilken utsträckning utvinning, en av de äldsta uppgifterna inom datormodellering, förblir olöst och motståndskraftigt mot generaliserade tillvägagångssätt. Liksom många andra modeller som bygger på synintryck, kvarstår problemet att utvinningsalgoritmer håller fast vid domänkunskap snarare än att anpassa sig lätt till osynliga och okända föremål; denna specifika uppgift anstränger den yttersta gränsen för en modells generaliseringsförmåga.

Medan det nya arbetet är ett steg framåt från denna beroende, återstår fortfarande en lång väg att gå, med tanke på den utsträckning i vilken denna uppgift är inbäddad i våra dagliga liv, genom videokonferensportaler.

Publicerad första gången måndagen den 13 juli 2026