Skille ‘fusjonerte’ mennesker i datavisjon

En ny rapport fra Hyundai Motor Group Innovation Center i Singapore tilbyr en metode for å skille ‘fusjonerte’ mennesker i datavisjon – de tilfellene der objektgjenkjenningrammeverket har funnet et menneske som på noen måte er ‘for nær’ et annet menneske (slik som ‘omfavnelse’ eller ‘står bak’ posisjoner), og ikke kan skille de to personene fra hverandre, og forvirrer dem til å være en enkelt person eller enhet.

To blir en, men det er ikke en god ting i semantisk segmentering. Her ser vi den nye systemet oppnår state-of-the-art resultater på individuering av sammenflettede mennesker i komplekse og utfordrende bilder. Kilde: https://arxiv.org/pdf/2210.03686.pdf

Dette er et betydelig problem som har mottatt mye oppmerksomhet i forskningsmiljøet de siste årene. Å løse dette uten den åpenbare, men vanligvis dyre, menneskeledede tilpassede merking, kunne til slutt muliggjøre forbedringer i menneskeindividuering i tekst-til-bilde-systemer som Stable Diffusion, som ofte ‘smelter’ mennesker sammen når en promptet pose krever flere personer i nærheten av hverandre.

Omfavne skrekk – tekst-til-bilde-modeller som DALL-E 2 og Stable Diffusion (begge vist ovenfor) sliter med å representere mennesker i svært nærheten av hverandre.

Selv om generative modeller som DALL-E 2 og Stable Diffusion ikke (så langt som noen vet, i tilfelle den lukkede DALL-E 2) bruker semantisk segmentering eller objektgjenkjenning likevel, kunne disse groteske menneskelige portmanteauer ikke bli kurert ved å bruke slike oppstrømsmetoder – fordi tilstanden for objektgjenkjenning og ressurser ikke er mye bedre til å skille mennesker enn CLIP-baserte arbeidsflyter i latent diffusjonsmodeller.

For å løse dette problemet, den nye rapporten – tittelen Mennesker trenger ikke merke flere mennesker: Okklusjon Kopi & Lim for Okkludert Menneske Instans Segmentering– tilpasser og forbedrer en nylig ‘kutt og lim’ tilnærming til semi-syntetisk data for å oppnå en ny SOTA-leder i oppgaven, selv mot de mest utfordrende kilde materialet:

Den nye Okklusjon Kopi & Lim-metodikken leder nå feltet, selv mot tidligere rammer og tilnærminger som adresserer utfordringen på en mer dedikert måte, som å modellere spesifikt for okklusjon.

Kutt det ut!

Den reviderte metoden – tittelen Okklusjon Kopi & Lim – er avledet fra 2021 Enkel Kopi-Lim rapport, ledet av Google Research, som foreslo at overlagring av uttrukne objekter og mennesker blant diverse kilde-trening bilder kunne forbedre evnen til et bilde-gjenkjenningssystem til å diskretisere hver instans funnet i et bilde:

Fra 2021 Google Research-ledet rapport ‘Enkel Kopi-Lim er en sterk data-forsterkningsmetode for Instans Segmentering’, ser vi elementer fra ett foto ‘migrere’ til andre bilder, med målet å trene et bedre bilde-gjenkjenningssystem. Kilde: https://arxiv.org/pdf/2012.07177.pdf

Den nye versjonen legger begrensninger og parametre inn i denne automatiske og algoritmiske ‘re-pasting’, analogiserer prosessen til en ‘kurv’ av bilder fullt av potensielle kandidater for ‘overføring’ til andre bilder, basert på flere nøkelfaktorer.

Den konseptuelle arbeidsflyten for OC&P.

Kontrollere Elementene

Disse begrensningene inkluderer sannsynlighet for en kutt og lim-forekomst, som sikrer at prosessen ikke bare skjer hele tiden, som ville oppnå en ‘mettende’ effekt som ville undergrave data-forsterkningen; antall bilder som en kurv vil ha på et gitt tidspunkt, hvor et større antall ‘segmenter’ kan forbedre variasjonen av instanser, men øke forhåndsbehandlingstiden; og område, som bestemmer antall bilder som vil bli limt inn i et ‘vert’ bilde.

Med hensyn til det siste, merker rapporten ‘Vi trenger nok okklusjon for å skje, men ikke for mange, da de kan overbelaste bildet, som kan være skadelig for læring.’

De to andre innovasjonene for OC&P er rettet liming og forsterket instans-liming.

Retter liming sikrer at et passende bilde lander nær en eksisterende instans i målbildet. I den tidligere tilnærmingen, fra det tidligere arbeidet, var det nye elementet bare begrenset innenfor grensene av bildet, uten noen hensyn til kontekst.

Selv om denne ‘lim inn’, med rettet liming, er åpenbar for det menneskelige øye, har både OC&P og dens forgjenger funnet at økt visuell autentisitet ikke nødvendigvis er viktig, og kunne til og med være en belastning (se ‘Reality Bites’ nedenfor).

Forsterket instans-liming sikrer at de limte instansene ikke viser en ‘distinkt utseende’ som kan bli klassifisert av systemet på en måte, som kan føre til eksklusjon eller ‘spesialbehandling’ som kan hindre generalisering og anvendelighet. Forsterket liming modulerer visuelle faktorer som lysstyrke og skarphet, skala og rotasjon, og metning – blant andre faktorer.

Fra den nye rapportens supplementære materiale: å legge til OC&P til eksisterende gjenkjenningssystemer er ganske enkelt, og resulterer i overlegen individuering av mennesker i svært nærheten av hverandre. Kilde: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

I tillegg regulerer OC&P en minimumstørrelse for noen limte instanser. For eksempel kan det være mulig å trekke ut et bilde av en person fra et stort folkemengde-scenarie, som kan bli limt inn i et annet bilde – men i et slikt tilfelle ville det lille antall piksler involvert ikke sannsynligvis bidra til gjenkjenning. Derfor anvender systemet en minimumsskala basert på forholdet mellom likeverdige side lengder for målbildet.

Videre, OC&P institutter skala-avhengig liming, hvor, i tillegg til å søke etter lignende subjekter som lim-subjektet, det tar hensyn til størrelsen på bokser i målbildet. Men dette fører ikke til sammensatte bilder som mennesker ville betrakte som plausibelt eller realistisk (se bildet nedenfor), men heller setter sammen semantisk passende elementer nær hverandre på måter som er nyttige under trening.

Realitet Biter

Både det tidligere arbeidet som OC&P er basert på, og den nåværende implementeringen, setter en lav premie på autentisitet, eller ‘fotorealistisk’ av noen sluttlig ‘montasje’ bilde. Selv om det er viktig at den endelige sammenstillingen ikke helt går ned i Dadaism (ellers ville den virkelige utrullingen av de trenede systemene aldri ha håpet å møte elementer i slike scenerier som de ble trenet på), har både initiativene funnet at en merkbart økning i ‘visuell troverdighet’ ikke bare adderer til forhåndsbehandlingstiden, men at slike ‘realisme-forbedringer’ sannsynligvis vil være kontraproduktive.

Fra den nye rapportens supplementære materiale: eksempler på forsterkede bilder med ’tilfeldig blanding’. Selv om disse scenariene kan se hallusinogene ut for et menneske, har de likevel lignende subjekter satt sammen; selv om okklusjonene er fantastiske for det menneskelige øye, kan naturen til en potensiell okklusjon ikke kjennes på forhånd, og er umulig å trene for – derfor er slike bisarre ‘kutt-av’ former nok til å tvinge det trenede systemet til å søke etter og gjenkjenne delvis målsubjekter, uten å behøve å utvikle komplekse Photoshop-liknende metoder for å gjøre scenariene mer plausibelt.

Data og Tester

For testfasen, ble systemet trenet på person-klassen av MS COCO-datasetten, med 262 465 eksempler på mennesker over 64 115 bilder. Men for å få bedre kvalitet på masker enn MS COCO har, mottok bildene også LVIS-maskemerkninger.

Utgitt i 2019, er LVIS, fra Facebook-forskning, en omfattende datasett for Large Vocabulary Instance Segmentation. Kilde: https://arxiv.org/pdf/1908.03195.pdf

For å vurdere hvor godt det forsterkede systemet kunne konkurrere mot et stort antall okkluderte menneskebilder, satte forskerne OC&P mot OCHuman (Okkludert Menneske)-benchmarken.

Eksempler fra OCHuman-datasettet, introdusert i støtte til Pose2Seg-dette-prosjektet i 2018. Dette initiativet søkte å utvikle forbedret semantisk segmentering av mennesker ved å bruke deres holdning og pose som en semantisk avgrenser for hvor pikslene som representerer deres kropp ville sannsynligvis slutte  Kilde: https://github.com/liruilong940607/OCHumanApi

Siden OCHuman-benchmarken ikke er uttømmende annotert, skapte den nye rapportens forskere en undergruppe av bare de eksemplene som var fullstendig annotert, tittelen OCHuman^FL. Dette reduserte antall person-instanser til 2 240 over 1 113 bilder for validering, og 1 923 instanser over 951 bilder som faktisk ble brukt til testing. Begge de opprinnelige og ny-kurerte settene ble testet, med gjennomsnittlig nøyaktighet (mAP) som hoved-målet.

For konsistens, bestod arkitekturen av Mask R-CNN med en ResNet-50-rygg og en feature-pyramide nettverk, det siste som ga en akseptabel kompromiss mellom nøyaktighet og treningshastighet.

Med forskerne som har notert den skadelige effekten av oppstrøms ImageNet-påvirkning i lignende situasjoner, ble hele systemet trenet fra scratch på 4 NVIDIA V100-GPU-er, i 75 epoker, etter initialiseringsparameterne til Facebooks 2021-utgivelse Detectron 2.

Resultater

I tillegg til ovennevnte resultater, indikerte baseline-resultatene mot MMDetection (og dens tre assosierte modeller) for testene en klar ledelse for OC&P i dens evne til å plukke ut mennesker fra sammenflettede posisjoner.

Foruten å overgå PoSeg og Pose2Seg, er kanskje en av rapportens mest fremtredende prestasjoner at systemet kan bli generisk brukt i eksisterende rammer, inkludert de som ble satt mot det i testene (se med/uten sammenligninger i den første resultatsboksen, nær starten av artikkelen).

Rapporten konkluderer:

‘En nøkkel fordel med vår tilnærming er at den lett kan brukes med noen modeller eller andre modell-sentrerte forbedringer. Gitt hastigheten som det dype læringfeltet beveger seg, er det til alles fordel å ha tilnærminger som er høyt samarbeidsvillige med alle andre aspekter av trening. Vi lar som fremtidig arbeid å integrere dette med modell-sentrerte forbedringer for å løse okkludert person-instans segmentering effektivt.’

Potensial for å forbedre tekst-til-bilde-syntese

Hovedforfatter Evan Ling observerte, i en e-post til oss*, at den viktigste fordelen med OC&P er at den kan beholde originale maskemerkninger og få ny verdi fra dem ‘gratis’ i en ny kontekst – dvs. bildene de er limt inn i.

Selv om semantisk segmentering av mennesker synes å være nært beslektet med vanskeligheten modeller som Stable Diffusion har med å individuere mennesker (i stedet for å ‘blande dem sammen’, som det ofte gjør), er noen innflytelse som semantisk merking kan ha på de mareritt-liknende menneske-rendringene som SD og DALL-E 2 ofte produserer, svært langt oppstrøms.

De milliarder av LAION 5B-underdatasett bilder som populerer Stable Diffusions generative kraft inneholder ikke objekt-nivåmerkinger som bokser og instansmasker, selv om CLIP-arkitekturen som komponerer rendringene fra bilder og databaseinnhold kan ha hatt nytte av en slik instansiering; heller er LAION-bildene merket ‘gratis’, siden deres merkinger ble avledet fra metadata og miljø-underskrifter, osv., som var tilknyttet bildene da de ble skrapt fra nettet inn i datasettene.

“‘Men det er sagt,’ sa Ling til oss. ‘en eller annen form for forsterkning lik vår OC&P kan brukes under tekst-til-bilde-generativ modelltrening. Men jeg ville tro at realisme i det forsterkede treningsbildet muligens kan bli et problem.

“‘I vårt arbeid viser vi at ‘perfekt’ realisme vanligvis ikke er nødvendig for den overvåkede instans-segmenteringen, men jeg er ikke sikker på om samme konklusjon kan trekkes for tekst-til-bilde-generativ modelltrening (spesielt når utdata forventes å være svært realistisk). I dette tilfellet kan mer arbeid måtte gjøres i forhold til å ‘perfeksjonere’ realisme i de forsterkede bildene.’

CLIP brukes allerede som en mulig multimodal verktøy for semantisk segmentering, hvilket antyder at forbedrede person-gjenkjenning og individueringssystemer som OC&P kunne til slutt bli utviklet til in-system-filtre eller klassifisatorer som ville arbitrært avvise ‘fusjonerte’ og forvrengte menneske-representasjoner – en oppgave som er vanskelig å oppnå nå med Stable Diffusion, fordi det har begrenset evne til å forstå hvor det feilet (hvis det hadde en slik evne, ville det sannsynligvis ikke ha gjort feilen fra først).

Bare ett av mange prosjekter som nå bruker OpenAIs CLIP-rammeverk – hjertet av DALL-E 2 og Stable Diffusion – for semantisk segmentering. Kilde: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘En annen spørsmål ville være,’ foreslår Ling, ‘vil det å bare mata disse generative modellene bilder av okkluderte mennesker under trening fungere, uten komplementær modell-arkitektur-design for å mildne problemet med “menneske-fusjon”? Det er sannsynligvis et spørsmål som er vanskelig å svare på uten videre. Det vil definitivt være interessant å se hvordan vi kan innføre noen form for instans-nivå retningslinjer (via instans-nivå merking som instansmask) under tekst-til-bilde-generativ modelltrening.’ * 10. oktober 2022 Først publisert 10. oktober 2022.