Forbedring af AI-baggrundsskæring uden dyre menneskelige annotationer

Nyt forskning viser, at AI kan rense mennesker ud af video uden dyre menneskelige mærkninger, hvilket forbedrer kvaliteten og stabiliteten

De fleste af os har oplevet at blive “droppet” ud af en baggrund gennem simple baggrundændrings-/dækkefilter på videokonferenceplatforme – og vi har måske lagt mærke til begrænsningerne af disse systemer, som er trænet på de mest almindelige typer af tilfælde, der kan findes i en videokonference, og som normalt ikke er robuste over for noget “uventet” – eller endda over for forudsigelige objekter, såsom fingre:

Et typisk eksempel på et AI-trænet forgrundsudtræksystem, der beskærer for meget af kildeemnet. Kilde

Den letteste løsning, og en, der bliver mere og mere populær i lyset af visionssprogmodeller (VLM’er), der ikke er specifikt trænet til disse opgaver, er at finjustere en eksisterende model på data, der sandsynligvis vil blive mødt af systemet:

To store, uhyre annoterede datasæt danner grundlag for løsningerne i artiklen fra 2020 ‘Real-Time High-Resolution Background Matting’. Kilde

Det er dog nødvendigt, at sådanne data bliver annoteret af mennesker, på bekostning af både penge og tid; og i alle tilfælde resulterer dette i et meget specifikt og ikke-generaliseret værktøj, der koster meget og normalt ikke kan bruges til en bredere vifte af opgaver.

Trods alt er udviklingen af “målrettede” modeller af denne type stadig den korteste vej til effektiv inferens i en række domæner, ikke kun video- og billedmatning (dvs. baggrundsskæring/forgrundsudtræk). Indtil videre har mange af de uovervågede løsninger, der er tilbudt, mere eller mindre bare flyttet problemet rundt på tallerkenen.

Selv nu, på trods af udbredelsen af AI-forstærkede filter på platforme som Zoom, anbefaler sidstnævnte stadig en grøn skærm som den optimale løsning til baggrundsskæring – en besværlig og noget “professionel” løsning, der måske ville gøre de fleste af os lidt selvbevidste.

Skær det ud!

For nylig er interessen for at bruge Segment Anything (SAM)-familien til at levere automatiseret og finmasket udtrækning vokset:

Klik for at afspille, efter behov. Et eksempel på de ujævne kanter, der skabes af en Segment Anything-model – ideel til annotation, men ikke god nok til VFX-drop-out. Kilde 

En ny tilbud fra Kina har foreslået en mere avanceret måde at bruge SAM-modeller til at opnå overlegne udtrækningprocesser – ved at kombinere en grundlæggende tracker som SAM med en region-forslag-bro med dedikerede matningshoveder. På denne måde kan systemet refinere kantdetaljer iterativt og løse udfordrende kanter, såsom hår i bevægelse:

Klik for at afspille, efter behov. Fra den bifagende side, der understøtter den nye artikel, en samling af supplerende videoer, der demonstrerer sofistikationen af forfatternes metode til udtrækning. Kilde 

Det er afgørende, at det nye sammensatte system kun træner på billeder, ikke på videoer, og kræver ingen yderligere menneskelig annotation – den traditionelle hindring mod fremgang i denne og andre AI-domæner.

Eksempler på finmasket billed- og videomatning, der er opnået med den nye metode, med udfordrende tilfælde såsom hår, gennemsigtighed og bevægelse vist side om side med sekvenser i det vilde, hvor metoden producerer – ifølge forfatterne – renere, mere stabile resultater end tidligere tilgange. Kilde

Med tre eksperimentelle modeller, der er produceret til dette arbejde, hævder forfatterne, at de har opnået ny state-of-the-art-præstation i denne opgave, samtidig med at de har bevaret de højere generaliseringsfærdigheder i den grundlæggende model, hvilket betyder, at metoden producerer en alt-i-en-model med ekstra funktioner, snarere end et siloet værktøj, der er rettet mod en enkelt opgave.

Forfatterne skriver:

‘Omfattende eksperimenter viser, at SAM2Matting opnår state-of-the-art (SOTA)-præstation på både billed- og videomatning, med videomatning vurderet i en strengt zero-shot-måde.

‘Udførlige resultater i det vilde viser yderligere stærk generalisering til åbne verdensscenarier med hurtig bevægelse, komplekse baggrunde og måltilknytninger (f.eks. mand, der kører på cykel).

‘Desuden er vores matningskomponenter lette og effektive, hvilket giver mulighed for, at SAM2.1-Tiny-varianten kan køre med 40 billeder i sekundet på en 200-billede-1080p-video ved hjælp af mindre end 5 GB GPU-hukommelse.’

Den nye artikel har titlen SAM2Matting: Generaliseret billed- og videomatning og kommer fra fire forfattere på Fudan University og Shanghai University of Finance and Economics. Arbejdet har en GitHub-repository, der på tidspunktet for skrivningen havde udgivet checkpoints af forskellige varianter, inference-kode og en interaktiv demo, med en udgivelse af træningskode lovede. Derudover er der en projektside.

Metode

Forfatternes metode adskiller sporing fra fin detalje-udtrækning ved at bruge en videoobjekt-segmentering (VOS)-tracker til at producere en tidsmæssigt konsistent grov maske til hvert billede, mens en dedikeret matningspipeline refinerer grænser:

Oversigt over pipeline, hvor en fleksibel prompt og inputvideo fødes ind i en videoobjekt-segmenteringstracker for at producere en grov maske, der herefter refineres af en Region-of-Interest (ROI)-detektor og konverteres til en trimap, før en progressiv multi-skala-predictor genererer den endelige højdetaljerede matte.

En region-of-interest (ROI)-detektor identificerer herefter områder med fin detalje eller semi-gennemsigtighed, konverterer disse til en trimap (en tre-region-maske, der inddeler forgrund, baggrund og usikre områder), der guider refineringsprocessen, hvorefter en Progressive Alpha Predictor genererer den endelige matte gennem en grov-til-fin-kaskade på tværs af flere skalaer

Traditionelle matningssystemer afhænger normalt af regioner af interesse ved hjælp af simple morfologiske operationer eller ved direkte genbrug af masken – tilgange, der enten kan overse fin detalje eller inkludere områder, der ikke kræver refineringsprocessen:

Sammenligning af standard mask-baseret behandling med grund-sandhed-trimap, der viser, hvordan simple morfologiske operationer producerer grove, ensartede grænser, der overser fine strukturer såsom hår og gennemsigtighed, hvilket fører til tab af detalje i den endelige matte.

Kompositrente

Om vendt, behandler den foreslåede Region-of-Interest-Detektor denne proces som en pixel-vis klassificeringsopgave (dvs. behandling af hvert enkelt pixel i billedet som en separat beslutning og tildeling af en mærkning baseret på, om det tilhører en matnings-kritisk region eller ej), der integrerer VOS-masken, det aktuelle billede og multi-skala-billede-funktioner for at mere præcist isolere matnings-kritiske områder.

I den nye tilgang konverteres den forudsigede ROI først til en pseudo-trimap, der adskiller bestemt forgrund og baggrund fra usikre områder, ved at bruge tracker-masken til at tildele kendte områder, mens ROI markeres som tvivlsom, sådan at efterfølgende behandling kan fokusere eksplicit på grænser, hvor detalje skal løses.

Refineringsprocessen håndteres herefter af en Progressive Alpha Predictor, der behandler matning som en trinvis proces, der passerer mellemstadie-resultater fra grove til finere skalaer, hvor hvert stadie bruger billedet, trimapen og den foregående estimat til at progressive skærpe struktur og genskabe fin detalje.

Ved det endelige stadie opsamples den højeste opløsning til at producere den færdige matte, hvilket giver mulighed for, at brede former kan etableres tidligt, mens finere elementer såsom hår og gennemsigtighed løses i senere passager.

Under træning blev VOS-trackeren frosset, mens kun kun matningskomponenterne blev trænet på højkvalitetsbilleddata – hvilket giver mulighed for, at fin detalje kan refineres uden at forringe sporingens konsistens. Overvågning blev herefter anvendt per billede, med områder af interesse afledt fra grund-sandheds-alphamatten, og brugt til at guide læring, mens ROI-detektoren blev trænet med tab, der var designet til at fremme præcis grænseklassificering og reducere hakketægge-arter.

Til alfa-estimation blev tab anvendt på tværs af flere skalaer for at forbedre detaljen progressive, samt en yderligere begrænsning, der var designet til at holde den forudsigede matte aligneret med den oprindelige maske – hvilket hjælper med at bevare struktur og forhindre hule eller brudte områder i den endelige udgang.

Data og tests

Otte billedmatningsdatasæt blev brugt til de første forsøg:

I-HIM50K; P3M-10k; CelebAHairMask-HQ; AIM-500; Distinctions-646; AM-2K; UHRIM; og RefMatte; og tre varianter af ‘Sam2Matting’-tilgangen blev udviklet som VOS-sporere, der respektivt anvender SAM2.1-Tiny; SAM2.1-Base+; og koncept-fokuseret SAM3.

Tracker-komponenten blev frosset, mens kun matningskomponenterne blev optimeret. Alle versioner blev trænet i fem epoker på fire NVIDIA A6000 GPU’er, hver med en VRAM-allokering på 48 GB. En batch-størrelse på 32 blev brugt under AdamW-optimeren. Metrikkerne, der blev brugt, var Mean Absolute Difference (MAD); Mean Squared Error (MSE); Gradient (Grad); Connectivity (Conn); og dtSSD (kun for videomatning).

Kvantitative tests

Forfatterne startede med kvantitative tests af de nye systemer på billedmatning, ved hjælp af benchmarks P3M-500-NP; AM-2K (‘GFM’ i resultater); MAM (‘Matte Anything’, i resultater); E2E-HIM; Lightweight; og PPM-100 (‘MODNet’, i resultater):

Kvantitative resultater på billedmatningsbenchmarks på tværs af P3M-500-NP, AM-2K-test og PPM-100, med lavere værdier, der indikerer bedre præstation på alle metrikker, og bedste, andenbedste og trediebedste resultater fremhævet i rød, orange og gul, respektivt. Se kildeartiklen for bedre opløsning.

Af disse resultater skriver artiklen:

‘Som vist ovenfor, overgår alle tre varianter af SAM2Matting konsekvent tidligere baseline på tværs af forskellige metrikker. For eksempel opnår SAM2.1-Tiny-varianten en 11,48 lavere MAD end MAM på P3M-500-NP.’

Forfatterne fastslår, at resultaterne over hele linjen indikerer, at deres tilgang opnår overlegne resultater gennem den grundlæggende konceptuelle design, og ikke på grund af niveauet af datakurering.

For videomatning blev SAM2Matting vurderet på V-HIM60 og VideoMatte i en zero-shot-indstilling, mod videotrænede systemer MatAnyone2, MatAnyone, MaGGIe, FTP-VM, og RVM, med konsekvente gevinster rapporteret på tværs af både medium og hård split.

Over alle benchmarks optegner de tre varianter lavere fejl på MAD, MSE, Grad, Conn og dtSSD, med SAM3, der opnår de stærkeste samlede resultater, mens de laveste dtSSD-værdier tilsyneladende indikerer mere stabile ramme-til-ramme-konsistens:

Kvantitative resultater på videomatningsbenchmarks på tværs af V-HIM60 og VideoMatte, vurderet i en zero-shot-indstilling, med lavere fejl på alle metrikker, og bedste, andenbedste og trediebedste resultater fremhævet i rød, orange og gul, respektivt.

Forfatterne fastslår, at disse resultater afspejler den adskilte design, hvor VOS-trackeren bevarede tidsmæssig struktur og matningsmodulerne fokuserede på grænsedetalje, hvilket giver mulighed for, at billedtrænede modeller kan overgå fuldt overvågede videotilgange.

Kvalitative tests

For menneske-matning i kvalitative tests fandt forfatterne, at Sam2Matting overgik konkurrerende baseline:

Kvalitativ sammenligning på menneske- og i-det-vilde-videomatning, hvor SAM2Matting bevarede fine hårstrænge og semi-gennemsigtige områder mere præcist end RVM og MatAnyone, og producerede renere grænser og færre manglende strukturer i udfordrende områder.

Som vist nedenfor, havde eksisterende videomatningssystemer såsom MatAnyone2 og MaGGIe, der var trænet på domænespecifikke og ofte menneske-centreret datasæt, svært ved at generalisere til i-det-vilde-sekvenser, især når de håndterede hurtigt bevægelige emner såsom voksende rødder, semi-gennemsigtige sommerfugle og hurtigt dryppende vand:

Kvalitativ sammenligning på i-det-vilde-sekvenser, hvor SAM2Matting bevarede fine strukturer og tidsmæssig konsistens mere effektivt end MatAnyone2 og MaGGIe, især for ikke-menneskelige emner, hurtig bevægelse og semi-gennemsigtige elementer såsom vand, glas og insektvinger. Se kildeartiklen for bedre opløsning.

Om vendt, kunne SAM2Matting bevare stabil sporing og udtrække fine detaljer mere pålideligt i disse udfordrende scenarier.

Til sidst, som vist i figuren nedenfor, håndterede SAM2Matting effektivt mål med tilknyttede objekter, såsom mennesker, der kører på cykel eller holder ski-stænger, og undertrykte nærvedværende baggrundsforsinkelser, til gavn for den matte-mask-konsistens-begrænsning, der blev beskrevet tidligere.

Kvalitativ sammenligning på sekvenser med tilknyttede objekter og baggrundsforsinkelser, hvor SAM2Matting bevarede strukturer såsom cykler og ski-stænger mere præcist end MatAnyone2, og undertrykte nærvedværende støj og bevarede renere silhuetter på tværs af rammer.

Konklusion

De resultater, der er beskrevet i den nye artikel, viser, hvor meget udtrækning, en af de ældste opgaver i computer-vision, stadig er uløst og modstår generaliserede tilgange. Som med mange andre vision-baserede modeller, er problemet, at udtrækningsalgoritmer holder fast i domæne-kendskab i stedet for at tilpasse sig let til usete og ukendte objekter; denne specifikke opgave strækker sig til de yderste grænser for en models generalisering.

mens det nye arbejde er et skridt fremad fra denne afhængighed, er der stadig langt igen, når man tager i betragtning, hvor meget denne opgave er integreret i vores daglige liv, gennem videokonference-portaler.

Udgivet første gang mandag, 13. juli 2026