Separera ‘sammanfogade’ människor i datorseende

En ny rapport från Hyundai Motor Group Innovation Center i Singapore erbjuder en metod för att separera ‘sammanfogade’ människor i datorseende – de fall där ramen för objekterkännelse har funnit en människa som på något sätt är ‘för nära’ en annan människa (såsom ‘omfamningar’ eller ‘stående bakom’ poser), och inte kan skilja de två personerna åt, vilket förvirrar dem för en enda person eller enhet.

Två blir en, men det är inte en bra sak i semantisk segmentering. Här ser vi den nya systemets state-of-the-art-resultat på individuering av sammanflätade människor i komplexa och utmanande bilder. Källa: https://arxiv.org/pdf/2210.03686.pdf

Detta är ett betydande problem som har fått stor uppmärksamhet i forskarsamhället under de senaste åren. Att lösa det utan den uppenbara men vanligtvis oersättliga kostnaden för hyperskala, människoledd anpassad märkning kunde så småningom möjliggöra förbättringar av människoidentifikation i text-till-bild-system som Stable Diffusion, som ofta ‘smälter’ samman människor där en utlöst pose kräver flera personer i nära anslutning till varandra.

Omfamna skräcken – text-till-bild-modeller som DALL-E 2 och Stable Diffusion (båda presenterade ovan) kämpar för att representera människor i mycket nära anslutning till varandra.

Även om generativa modeller som DALL-E 2 och Stable Diffusion inte (så vitt någon vet, i fallet med den slutna DALL-E 2) för närvarande använder semantisk segmentering eller objekterkännelse, kunde dessa groteska mänskliga portmanteau inte botas genom att tillämpa sådana uppströmsmetoder – eftersom tillståndet för objekterkännelsebibliotek och resurser inte är mycket bättre på att skilja människor åt än CLIP-baserade arbetsflöden för latent diffusionsmodeller.

För att ta itu med detta problem, den nya rapporten – med titeln Människor behöver inte märka fler människor: Occlusion Copy & Paste för Occluded Human Instance Segmentation– anpassar och förbättrar en nyligen ‘klipp och klistra’-metod för semi-syntetisk data för att uppnå en ny SOTA-ledning i uppgiften, även mot de mest utmanande källmaterialet:

Den nya Occlusion Copy & Paste-metodiken leder för närvarande fältet, även mot tidigare ramverk och tillvägagångssätt som tar itu med utmaningen på ett mer dedikerat sätt, såsom att specifikt modellera för occlusion.

Klipp ut det!

Den ändrade metoden – med titeln Occlusion Copy & Paste – är härledd från 2021 års Simple Copy-Paste-rapport, ledd av Google Research, som föreslog att superponera extraherade objekt och människor bland olika källbilder kunde förbättra förmågan hos ett bildigenkänningsystem att diskretisera varje instans som finns i en bild:

Från 2021 års Google Research-ledda rapport ‘Simple Copy-Paste är en stark dataförstärkningsmetod för instanssegmentering’, ser vi element från en bild ‘migrera’ till andra bilder, med målet att träna ett bättre bildigenkänningsmodell. Källa: https://arxiv.org/pdf/2012.07177.pdf

Den nya versionen lägger till begränsningar och parametrar i denna automatiserade och algoritmiska ‘omklistring’, analogiserar processen till en ‘korg’ med bilder fulla av potentiella kandidater för ‘överföring’ till andra bilder, baserat på flera nyckelfaktorer.

Det konceptuella arbetsflödet för OC&P.

Kontrollera elementen

Dessa begränsande faktorer inkluderar sannolikhet för en klipp och klistra-åtgärd, som säkerställer att processen inte bara sker hela tiden, vilket skulle uppnå en ‘mättnadseffekt’ som skulle undergräva dataförstärkningen; antalet bilder som en korg kommer att ha vid en given tidpunkt, där ett större antal ‘segment’ kan förbättra variationen av instanser, men öka förbearbetningstiden; och omfång, som bestämmer antalet bilder som kommer att klistras in i en ‘värd’-bild.

Med avseende på det sistnämnda noterar rapporten ‘Vi behöver tillräckligt med occlusion för att ske, men inte för många eftersom de kan överbelasta bilden, vilket kan vara skadligt för inlärningen.’

De andra två innovationerna för OC&P är riktad klistring och förstärkt instans klistring.

Riktad klistring säkerställer att en lämplig bild hamnar nära en befintlig instans i målbilden. I den tidigare metoden, från det tidigare arbetet, var det nya elementet endast begränsat inom bildens gränser, utan någon hänsyn till sammanhang.

Även om denna ‘klistra in’, med riktad klistring, är uppenbar för det mänskliga ögat, har både OC&P och dess föregångare funnit att ökad visuell autenticitet inte nödvändigtvis är viktig, och kan till och med vara en belastning (se ‘Verkligheten biter’ nedan).

Förstärkt instans klistring säkerställer att de klistrade instanserna inte visar en ‘distinkt utseende’ som kan klassificeras av systemet på något sätt, vilket kan leda till uteslutning eller ‘särbehandling’ som kan hindra generalisering och tillämplighet. Förstärkt klistring modulerar visuella faktorer som ljusstyrka och skärpa, skalning och rotation, och mättnad – bland annat.

Från den nya rapportens bilagor: att lägga till OC&P till befintliga erkänningsramverk är ganska trivialt, och resulterar i överlägsen individuering av människor i mycket nära anslutning. Källa: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

Dessutom reglerar OC&P en minsta storlek för varje klistrad instans. Till exempel kan det vara möjligt att extrahera en bild av en person från en stor folksamling, som kan klistras in i en annan bild – men i ett sådant fall skulle det lilla antalet pixlar som är inblandade inte sannolikt bidra till erkännandet. Därför tillämpar systemet en minimiskalering baserad på förhållandet mellan lika sidolängd för målbilden.

Ytterligare, OC&P inför skala-medveten klistring, där, utöver att söka efter liknande ämnen som klistret, det tar hänsyn till storleken på begränsningsboxarna i målbilden. Men detta leder inte till sammansatta bilder som människor skulle anse vara trovärdiga eller realistiska (se bild nedan), utan snarare sätter samman semantiskt lämpliga element nära varandra på sätt som är användbara under träning.

Verkligheten biter

Både det tidigare arbetet som OC&P bygger på, och den nuvarande implementeringen, lägger en låg premie på autenticitet, eller ‘fotorealistisk’ av den slutliga ‘montage’-bilden. Även om det är viktigt att den slutliga sammansättningen inte helt sjunker ner i Dadaism (annars kunde de faktiska distributionerna av de tränade systemen aldrig hoppas på att möta element i sådana scener som de tränades på), har båda initiativen funnit att en betydande ökning av ‘visuell trovärdighet’ inte bara lägger till förbearbetningstid, utan att sådana ‘realismförbättringar’ sannolikt kommer att vara kontraproduktiva.

Från den nya rapportens bilagor: exempel på förstärkta bilder med ‘slumpmässig blandning’. Även om dessa scener kan se hallucinatoriska ut för en person, har de ändå liknande ämnen som kastas samman; även om occlusionerna är fantastiska för det mänskliga ögat, kan naturen av en potentiell occlusion inte kännas till i förväg, och är omöjlig att träna för – därför är sådana bisarra ‘avklippningar’ av form tillräckliga för att tvinga det tränade systemet att söka efter och känna igen partiella mål-ämnen, utan att behöva utveckla elaborerade Photoshop-liknande metoder för att göra scenerna mer trovärdiga.

Data och tester

För testfasen tränades systemet på person-klassen i MS COCO-databasen, som innehåller 262 465 exempel på människor över 64 115 bilder. Men för att få bättre masker än MS COCO har, fick bilderna också LVIS-maskmärkningar.

Utgiven 2019, LVIS, från Facebook-forskning, är en omfattande databas för Large Vocabulary Instance Segmentation. Källa: https://arxiv.org/pdf/1908.03195.pdf

För att utvärdera hur väl det förstärkta systemet kunde tävla mot ett stort antal occluderade människobilder, ställdes OC&P mot OCHuman (Occluded Human)-benchmarken.

Exempel från OCHuman-databasen, introducerad till stöd för Pose2Seg-detektionsprojektet 2018. Detta initiativ syftade till att få fram förbättrad semantisk segmentering av människor genom att använda deras hållning och pose som en semantisk gräns för var pixlarna som representerar deras kroppar sannolikt kommer att sluta. Källa: https://github.com/liruilong940607/OCHumanApi

Eftersom OCHuman-benchmarken inte är uttömmande annoterad, skapade den nya rapportens forskare en undermängd av endast de exempel som var fullständigt märkta, med titeln OCHuman^FL. Detta minskade antalet person-instanser till 2 240 över 1 113 bilder för validering, och 1 923 instanser över 951 bilder som användes för testning. Både den ursprungliga och den nyskapade uppsättningen testades, med användning av Medelgenomsnittlig precision (mAP) som den centrala metriken.

För konsekvens skull bestod arkitekturen av Mask R-CNN med en ResNet-50-ryggrad och en feature pyramid-nätverk, den senare som en acceptabel kompromiss mellan noggrannhet och träningshastighet.

Med ImageNet-influens i liknande situationer, noterade forskarna att hela systemet tränades från scratch på 4 NVIDIA V100 GPU:er, under 75 epocher, efter initieringsparametrarna för Facebooks 2021-utgåva Detectron 2.

Resultat

Utöver de ovan nämnda resultaten, visade baseline-resultaten mot MMDetection (och dess tre associerade modeller) för testerna en tydlig ledning för OC&P i dess förmåga att plocka ut människor från invecklade poser.

Utöver att överträffa PoSeg och Pose2Seg, är kanske en av rapportens mest utmärkande prestationer att systemet kan appliceras ganska generiskt på befintliga ramverk, inklusive de som sattes emot det i testerna (se med/utan-jämförelserna i den första resultatrutan, nära början av artikeln).

Rapporten avslutas:

‘En nyckelfördel med vår metod är att den är lätt att applicera med alla modeller eller andra modellcentrerade förbättringar. Med tanke på den hastighet med vilken det djupa inlärningsfältet rör sig, är det till alla fördel att ha metoder som är högt interoperabla med alla andra aspekter av träning. Vi lämnar som framtida arbete att integrera detta med modellcentrerade förbättringar för att effektivt lösa occluderad personinstanssegmentering.’

Potential för förbättring av text-till-bild-syntes

Författaren Evan Ling observerade, i ett e-postmeddelande till oss*, att den främsta fördelen med OC&P är att det kan behålla ursprungliga maskmärkningar och få nytt värde från dem ‘kostnadsfritt’ i en ny kontext – d.v.s. de bilder som de har klistrats in i.

Även om den semantiska segmenteringen av människor verkar nära relaterad till svårigheten som modeller som Stable Diffusion har med att individuera människor (i stället för att ‘blanda ihop dem’, som den ofta gör), är varje inflytande som semantisk märkning kan ha på de mardrömslika mänskliga representationerna som SD och DALL-E 2 ofta producerar mycket långt uppströms.

De miljarder LAION 5B-undermängdsbilder som befolkar Stable Diffusions generativa kraft innehåller inte objektnivåmärkningar som begränsningsboxar och instansmasker, även om CLIP-arkitekturen som komponerar renderingsbilderna från bilder och databasinnehåll kan ha haft nytta av sådan instansiering; snarare är LAION-bilderna märkta ‘kostnadsfritt’, eftersom deras märkningar härrörde från metadata och miljöbeskrivningar etc., som var associerade med bilderna när de skrapades från webben till databasen.

‘Men det där’, sa Ling till oss. ‘någon form av förstärkning liknande vår OC&P kan användas under text-till-bild-generativ modellträning. Men jag tror att realismen i den förstärkta träningsbilden kan bli ett problem.

‘I vårt arbete visar vi att ‘perfekt’ realism inte generellt krävs för den övervakade instanssegmenteringen, men jag är inte säker på att samma slutsats kan dras för text-till-bild-generativ modellträning (särskilt när deras utdata förväntas vara mycket realistiska). I det fallet kan mer arbete behöva göras i termer av att ‘perfekta’ realismen i de förstärkta bilderna.’

CLIP används redan som en möjlig multimodal verktyg för semantisk segmentering, vilket tyder på att förbättrade personerkännings- och individueringsystem som OC&P slutligen kan utvecklas till in-systemfilter eller klassificerare som godtyckligt skulle förkasta ‘sammanfogade’ och förvrängda mänskliga representationer – en uppgift som är svår att uppnå för närvarande med Stable Diffusion, eftersom den har begränsad förmåga att förstå var den gick fel (om den hade sådan förmåga, skulle den troligen inte ha gjort misstaget från början).

Bara ett av många projekt som för närvarande använder OpenAIs CLIP-ramverk – hjärtat av DALL-E 2 och Stable Diffusion – för semantisk segmentering. Källa: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘En annan fråga vore,’ föreslår Ling, ‘om det bara att mata dessa generativa modeller med bilder av occluderade människor under träning kommer att fungera, utan kompletterande modellarkitekturdesign för att mildra problemet med “mänsklig sammanfogning”? Det är troligen en fråga som är svår att besvara på förhand. Det kommer att vara intressant att se hur vi kan införa någon form av instansnivåvägledning (via instansnivåmärkningar som instansmask) under text-till-bild-generativ modellträning.’ * 10:e oktober 2022 Första publicering 10:e oktober 2022.