Adskillelse af ‘fusede’ mennesker i computer vision

En ny artikel fra Hyundai Motor Group Innovation Center i Singapore tilbyder en metode til at adskille ‘fusede’ mennesker i computer vision – de tilfælde, hvor objektgenkendelsesrammen har fundet et menneske, der på en eller anden måde er ‘for tæt’ på et andet menneske (såsom ‘omfavnelse’ eller ‘står bagved’ stillinger), og ikke kan skille de to personer fra hinanden, hvilket resulterer i, at de bliver forvekslet med én person eller enhed.

To bliver én, men det er ikke en god ting i semantisk segmentering. Her ser vi den nye systems state-of-the-art resultater på individuation af sammenflettede mennesker i komplekse og udfordrende billeder. Kilde: https://arxiv.org/pdf/2210.03686.pdf

Dette er et bemærkelsesværdigt problem, der har fået stor opmærksomhed i forskningssamfundet i de seneste år. At løse det uden den åbenlyse, men normalt dyre, hyperskala, menneskeledede brugerdefinerede mærkning kunne muligvis føre til forbedringer i tekst-til-billede systemer som Stable Diffusion, der ofte ‘smelter’ mennesker sammen, når en prompt stilling kræver, at flere personer er i nærheden af hinanden.

Embracér rædslen – tekst-til-billede modeller som DALL-E 2 og Stable Diffusion (begge vist ovenfor) kæmper med at repræsentere mennesker i meget nærhed til hinanden.

Selvom generative modeller som DALL-E 2 og Stable Diffusion ikke (så vidt nogen ved, i tilfældet af den lukkede DALL-E 2) bruger semantisk segmentering eller objektgenkendelse alligevel, kunne disse groteske menneskelige portmanteauer ikke løses ved at anvende sådanne upstream-metoder – fordi objektgenkendelsesbiblioteker og ressourcer er lige så dårlige til at skille mennesker fra hinanden som CLIP-baserede arbejdsprocesser i latent diffusionsmodeller.

For at løse dette problem tilbyder den nye artikel – med titlen Mennesker behøver ikke at mærke flere mennesker: Occlusion Copy & Paste til Occluded Human Instance Segmentation – en tilpasning og forbedring af en ny ‘klip og indsæt’-tilgang til semi-syntetisk data for at opnå en ny SOTA-føring i opgaven, selv mod de mest udfordrende kilde-materialer:

Den nye Occlusion Copy & Paste-metodik fører feltet, selv mod tidligere rammer og tilgange, der adresserer udfordringen på mere dedikerede måder, såsom specifik modelering for occlusion.

Klip det ud!

Den ændrede metode – med titlen Occlusion Copy & Paste – er afledt fra 2021 Simple Copy-Paste-artiklen, ledet af Google Research, der foreslog, at overlejring af udtrukne objekter og mennesker blandt diverse kilde-træningsbilleder kunne forbedre evnen af et billedgenkendelsessystem til at diskretisere hver instance fundet i et billede:

Fra 2021 Google Research-ledte artikel ‘Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation’, ser vi elementer fra et foto ‘migrere’ til andre billeder, med målet om at træne et bedre billedgenkendelsessystem. Source: https://arxiv.org/pdf/2012.07177.pdf

Den nye version tilføjer begrænsninger og parametre til denne automatiserede og algorithmiske ‘genindsætning’, analogiserer processen til en ‘kurv’ fuld af potentielle kandidater til ‘overførsel’ til andre billeder, baseret på flere nøglefaktorer.

Den konceptuelle arbejdsgang for OC&P.

Kontrollere elementerne

Disse begrænsende faktorer inkluderer sandsynlighed for en klip og indsætning, der sikrer, at processen ikke bare sker hele tiden, hvilket ville føre til en ‘mættende’ effekt, der ville undergrave dataforstærkningen; antallet af billeder, som en kurv vil have på et givent tidspunkt, hvor et større antal ‘segmenter’ kan forbedre variationen af instanser, men øge forarbejdningstiden; og område, der bestemmer antallet af billeder, der vil blive indsæt i et ‘vært’-billede.

Med hensyn til sidstnævnte bemærker artiklen ‘Vi har brug for nok occlusion til at ske, men ikke for mange, da de kan overbelaste billedet, hvilket kan være skadeligt for læringen.’

De to andre innovationer for OC&P er targeted pasting og augmented instance pasting.

Targeted pasting sikrer, at et passende billede lander nær en eksisterende instance i målbilledet. I den tidligere tilgang, fra det tidligere arbejde, var det nye element kun begrænset inden for billedets grænser, uden nogen betragtning af kontekst.

Selvom dette ‘ indsæt i’, med targeted pasting, er åbenlyst for det menneskelige øje, har både OC&P og dets forgænger fundet, at øget visuel autenticitet ikke nødvendigvis er vigtigt, og kunne endda være en belastning (se ‘Reality Bites’ nedenfor).

Augmented instance pasting sikrer, at de indsætte instanser ikke viser en ‘distinkt look’, der kan blive klassificeret af systemet på en eller anden måde, hvilket kan føre til exclusion eller ‘speciel behandling’, der kan hindre generalisering og anvendelighed. Augmented pasting modulerer visuelle faktorer som lysstyrke og skarphed, skala og rotation, og mætning – blandt andre faktorer.

Fra den nye artikels supplerende materiale: tilføjelse af OC&P til eksisterende genkendelsesrammer er ret trivialt, og resulterer i overlegen individuation af mennesker i meget nærhed. Kilde: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

Derudover regulerer OC&P en minimumstørrelse for enhver indsætte instance. For eksempel kan det være muligt at udtrække et billede af en person fra en stor menneskemængde, der kan indsættes i et andet billede – men i sådant tilfælde ville det lille antal pixels ikke sandsynligvis bidrage til genkendelsen. Derfor anvender systemet en minimumsskala baseret på forholdet mellem ligeværdige sider i målbilledet.

Yderligere instituerer OC&P skala-tilpasning, hvor, ud over at søge efter lignende subjekter som indsætningsobjektet, det tager hensyn til størrelsen af begrænsningsboksene i målbilledet. Dette fører dog ikke til sammensatte billeder, som mennesker ville betragte som troværdige eller realistiske (se billedet nedenfor), men snarere samler semantisk passende elementer nær hinanden på måder, der er nyttige under træning.

Realiteten bider

Både det tidligere arbejde, som OC&P er baseret på, og den nuværende implementering, tillægger en lav prioritet til autenticitet eller ‘fotorealistisk’ af enhver endelig ‘montage’-billede. Selvom det er vigtigt, at den endelige samling ikke helt går i retning af Dadaismen (ellers ville de virkelige udrulninger af de trænede systemer aldrig kunne håbe at møde elementer i sådanne scener, som de blev trænet på), har begge initiativer fundet, at en bemærkelsesværdig øgning af ‘visuel troværdighed’ ikke kun tilføjer forarbejdningstid, men også kan være kontraproduktiv.

Fra den nye artikels supplerende materiale: eksempler på forstærkede billeder med ’tilfældig blanding’. Selvom disse scener kan se hallucinogeniske ud for et menneske, har de alligevel lignende subjekter samlet sammen; selvom occlusionerne er fantastiske for det menneskelige øje, kan naturen af en potentiel occlusion ikke kendes på forhånd, og er umulig at træne for – derfor er sådanne bizarre ‘klip af’ af form nok til at tvinge det trænede system til at søge efter og genkende delvise målsubjekter, uden at behøve at udvikle komplekse Photoshop-lignende metoder til at gøre scenerne mere troværdige.

Data og tests

Til testfasen blev systemet trænet på person-klassen af MS COCO-datasettet, der indeholder 262.465 eksempler på mennesker på tværs af 64.115 billeder. For at opnå bedre masker end MS COCO har, modtog billederne også LVIS-mærkning.

Udgivet i 2019, LVIS, fra Facebook-forskning, er en omfattende dataset for Large Vocabulary Instance Segmentation. Kilde: https://arxiv.org/pdf/1908.03195.pdf

For at evaluere, hvor godt det forstærkede system kunne klare sig mod en stor mængde occluede menneskebilleder, satte forskerne OC&P op mod OCHuman (Occluded Human)-benchmarket.

Eksempler fra OCHuman-datasettet, introduceret i forbindelse med Pose2Seg-detektionsprojektet i 2018. Dette initiativ søger at udvikle forbedret semantisk segmentering af mennesker ved at bruge deres holdning og stilling som en semantisk grænse for, hvor pixelene repræsenterende deres kroppe sandsynligvis vil slutte. Kilde: https://github.com/liruilong940607/OCHumanApi

Da OCHuman-benchmarket ikke er udført fuldstændigt, skabte artiklens forfattere en undermængde af kun de eksempler, der var fuldstændigt mærket, med titlen OCHuman^FL. Dette reducerede antallet af person-instanser til 2.240 på tværs af 1.113 billeder til validering, og 1.923 instanser på tværs af 951 billeder, der faktisk blev brugt til test. Begge de originale og ny kuraterede sæt blev testet, med Mean Average Precision (mAP) som det centrale mål.

For konsistens bestod arkitekturen af Mask R-CNN med en ResNet-50-baggrund og en feature pyramid-netværk, sidstnævnte giver en acceptabel kompromis mellem nøjagtighed og træningshastighed.

Med forskerne havde noteret den skadelige effekt af upstream ImageNet-påvirkning i lignende situationer, blev hele systemet trænet fra scratch på 4 NVIDIA V100-GPU’er, i 75 epocher, efter initialiseringsparametrene fra Facebooks 2021-udgivelse Detectron 2.

Resultater

Ud over de ovennævnte resultater viste baseline-resultaterne mod MMDetection (og dens tre associerede modeller) for testene en klar føring for OC&P i dets evne til at udpege mennesker fra komplekse stillinger.

Foruden at overgå PoSeg og Pose2Seg, er en af artiklens mest bemærkelsesværdige præstationer, at systemet kan anvendes generisk til eksisterende rammer, herunder de, der blev sat op mod det i testerne (se med/uden-sammenligningerne i den første resultatsætning, nær starten af artiklen).

Artiklen slutter af med:

‘En nøglefordel ved vores tilgang er, at den kan anvendes let med enhver model eller anden model-centrisk forbedring. Givet den hastighed, hvormed det dybe læringfelt bevæger sig, er det til alles fordel at have tilgange, der er højst interoperable med alle andre aspekter af træning. Vi efterlader det som fremtidigt arbejde at integrere dette med model-centrisk forbedring for effektivt at løse occluderet person-instans-segmentering.’

Potentiale for at forbedre tekst-til-billede syntese

Første forfatter Evan Ling bemærkede i en e-mail til os*, at den primære fordel ved OC&P er, at den kan fastholde originale maskemærkninger og opnå ny værdi fra dem ‘gratis’ i en ny kontekst – dvs. de billeder, de er indsæt i.

Selvom semantisk segmentering af mennesker synes at være tæt relateret til vanskeligheden, modeller som Stable Diffusion har med at individuere mennesker (i stedet for at ‘blende dem sammen’, som det ofte gør), er enhver indflydelse, som semantisk mærkning kan have på de mareridtsagtige menneskegenskaber, der ofte genereres af SD og DALL-E 2, meget langt opstrøms.

De milliarder af LAION 5B-undermængde billeder, der befolker Stable Diffusions generative kraft, indeholder ikke objekt-niveau mærkninger som begrænsningsboks og instansmasker, selvom CLIP-arkitekturen, der komponerer renderne fra billeder og databaseindhold, kan have nydt godt af sådanne instanser; snarere er LAION-billederne mærket ‘gratis’, da deres mærkninger blev afledt fra metadata og miljøunderskrifter, osv., der var associeret med billederne, da de blev hentet fra webben til datasettet.

‘Men det til side,’ sagde Ling til os. ‘en slags forstærkning lignende vores OC&P kan anvendes under tekst-til-billede generativ modeltræning. Men jeg ville tro, at realisme af den forstærkede træningsbillede muligvis kan blive et problem.

‘I vores arbejde viser vi, at ‘perfekt’ realisme generelt ikke er nødvendig for den overvågede instans-segmentering, men jeg er ikke sikker på, om samme konklusion kan drages for tekst-til-billede generativ modeltræning (især når deres output forventes at være højrealistisk). I dette tilfælde kan der muligvis kræves mere arbejde for at ‘perfektionere’ realisme af de forstærkede billeder.’

CLIP bliver allerede brugt som en mulig multimodal værktøj til semantisk segmentering, hvilket antyder, at forbedrede person-genkendelses- og individuationssystemer som OC&P kan udvikles til in-system-filtre eller klassifikatorer, der vil arbitrært afvise ‘fusede’ og forvrængede menneske-repræsentationer – en opgave, der er svær at opnå med Stable Diffusion, fordi det har begrænset evne til at forstå, hvor det fejlede (hvis det havde sådan en evne, ville det sandsynligvis ikke have begået fejlen i første omgang).

Kun ét af en række projekter, der i øjeblikket anvender OpenAIs CLIP-ramme – hjertet af DALL-E 2 og Stable Diffusion – til semantisk segmentering. Kilde: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘En anden spørgsmål ville være,’ foreslår Ling, ‘om det blot at fodre disse generative modeller med billeder af occluede mennesker under træning vil fungere, uden komplet modelarkitektur-design til at afhjælpe problemet med “menneske-fusion”? Det er sandsynligvis et spørgsmål, der er svært at besvare på stedet. Det vil sandsynligvis være interessant at se, hvordan vi kan indføre en slags instans-niveau-vejledning (via instans-niveau-mærkninger som instans-masken) under tekst-til-billede generativ modeltræning.’ * 10. oktober 2022 Først udgivet 10. oktober 2022.