Mensen scheiden in computer vision

Een nieuw artikel van het Hyundai Motor Group Innovation Center in Singapore biedt een methode om ‘samengevoegde’ mensen in computer vision te scheiden – die gevallen waarin het objectherkenningframework een mens heeft gevonden die op de een of andere manier ‘te dichtbij’ is bij een andere mens (zoals ‘omhelzingen’ of ‘achter elkaar staan’), en niet in staat is om de twee personen te ontrafelen en ze voor één persoon of entiteit aanziet.

Twee worden één, maar dat is geen goed ding in semantische segmentatie. Hier zien we het nieuwe systeem van het artikel staat-of-the-art resultaten behalen op individuatie van verstrengelde mensen in complexe en uitdagende afbeeldingen. Bron: https://arxiv.org/pdf/2210.03686.pdf

Dit is een opvallend probleem dat de aandacht heeft getrokken van de onderzoekscommunity in de afgelopen jaren. Het oplossen van dit probleem zonder de duidelijke maar meestal onbetaalbare uitgave van hyperschaal, menselijke custom labeling, kan uiteindelijk leiden tot verbeteringen in de individuatie van mensen in tekst-naar-afbeeldingssystemen zoals Stable Diffusion, die vaak ‘smelten’ mensen samen wanneer een aangegeven pose meerdere personen in de buurt van elkaar vereist.

Omarm de horror – tekst-naar-afbeeldingsmodellen zoals DALL-E 2 en Stable Diffusion (beide hierboven weergegeven) hebben moeite om mensen weer te geven die heel dicht bij elkaar staan.

Hoewel generatieve modellen zoals DALL-E 2 en Stable Diffusion (tot nu toe) niet (voor zover iemand weet, in het geval van de closed-source DALL-E 2) semantische segmentatie of objectherkenning gebruiken, kunnen deze groteske menselijke portmanteaus niet genezen worden door het toepassen van dergelijke upstream-methoden – omdat de staat van de kunst objectherkenningbibliotheken en -bronnen niet veel beter zijn in het ontrafelen van mensen dan de CLIP-gebaseerde workflows van latent diffusiemodellen.

Om dit probleem aan te pakken, past het nieuwe artikel – getiteld Mensen hoeven geen mensen meer te labelen: Occlusion Copy & Paste voor Occluded Human Instance Segmentation – een recente ‘cut and paste’-aanpak aan voor semi-synthetische gegevens om een nieuwe SOTA-voorsprong te behalen in de taak, zelfs tegen de meest uitdagende bronmateriaal:

De nieuwe Occlusion Copy & Paste-methode leidt momenteel het veld, zelfs tegen eerdere kaders en benaderingen die het uitdaging aanpakken op een meer gedetailleerde en toegewijde manier, zoals specifiek modelleren voor occlusie.

Snoeien

De aangepaste methode – getiteld Occlusion Copy & Paste – is afgeleid van de Simple Copy-Paste-artikel uit 2021, geleid door Google Research, die suggereerde dat het superponeren van geëxtraheerde objecten en mensen onder diverse brontrainingsafbeeldingen de mogelijkheid van een beeldherkenningssysteem om elke instantie in een afbeelding te discretiseren kan verbeteren:

Uit het artikel ‘Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation’ van Google Research uit 2021, zien we elementen uit een foto ‘migreren’ naar andere foto’s, met als doel een beter beeldherkenningssysteem te trainen. Bron: https://arxiv.org/pdf/2012.07177.pdf

De nieuwe versie voegt beperkingen en parameters toe aan deze geautomatiseerde en algoritmische ‘herplakking’, door het proces te analogiseren naar een ‘mand’ met afbeeldingen vol potentieel kandidaten voor ‘overdragen’ naar andere afbeeldingen, op basis van een aantal sleutelfactoren.

Het conceptuele werkproces voor OC&P.

De elementen controleren

Deze beperkende factoren omvatten waarborg van een cut en paste, die ervoor zorgt dat het proces niet gewoon elke keer gebeurt, wat een ‘verzadigend’ effect zou hebben dat de gegevensaugmentatie zou ondermijnen; het aantal afbeeldingen dat een mand op een bepaald moment zal hebben, waarbij een groter aantal ‘segmenten’ de variëteit van instanties kan verbeteren, maar de voorverwerkingstijd kan verhogen; en bereik, dat het aantal afbeeldingen bepaalt dat in een ‘host’-afbeelding zal worden geplakt.

Wat dit laatste betreft, merkt het artikel op ‘We hebben genoeg occlusie nodig, maar niet te veel, want dat kan de afbeelding overbelasten, wat schadelijk kan zijn voor het leren.’

De andere twee innovaties voor OC&P zijn gerichte plakking en verhoogde instantieplakking.

Gerichte plakking zorgt ervoor dat een passende afbeelding in de buurt van een bestaande instantie in de doelafbeelding terechtkomt. In de vorige benadering, uit het eerdere werk, was het nieuwe element alleen beperkt tot de grenzen van de afbeelding, zonder enige consideratie van context.

Hoewel deze ‘plakken’, met gerichte plakking, voor het menselijk oog duidelijk is, hebben zowel OC&P als zijn voorganger ontdekt dat een toename van visuele authenticiteit niet noodzakelijkerwijs belangrijk is en zelfs een nadeel kan zijn (zie ‘Realiteit’ hieronder).

Verhoogde instantieplakking zorgt ervoor dat de geplakte instanties geen ‘onderscheidend uiterlijk’ vertonen dat door het systeem kan worden geclassificeerd, wat kan leiden tot uitsluiting of ‘speciale behandeling’ die generalisatie en toepasbaarheid kan hinderen. Verhoogde plakking moduleert visuele factoren zoals helderheid en scherpte, schaling en rotatie, en verzadiging – onder andere factoren.

Uit de aanvullende materialen van het nieuwe artikel: het toevoegen van OC&P aan bestaande herkenningssystemen is vrij triviaal en resulteert in een superieure individuatie van mensen in zeer nabije omgeving. Bron: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

Bovendien reguleert OC&P een minimumgrootte voor elke geplakte instantie. Bijvoorbeeld, het kan mogelijk zijn om een afbeelding van één persoon uit een grote menigte te extraheren, die in een andere afbeelding kan worden geplakt – maar in een dergelijk geval zou het kleine aantal pixels dat betrokken is, waarschijnlijk niet bijdragen aan herkenning. Daarom past het systeem een minimumschaal toe op basis van de verhouding van gelijkwaardige zijdelengte voor de doelafbeelding.

Verder voert OC&P schaalgevoelige plakking uit, waarbij, naast het zoeken naar soortgelijke onderwerpen als het plakonderwerp, rekening wordt gehouden met de grootte van de bounding boxes in de doelafbeelding. Echter, dit leidt niet tot samengestelde afbeeldingen die mensen als plausibel of realistisch zouden beschouwen (zie afbeelding hieronder), maar vormt semantisch passende elementen in de buurt van elkaar samen op een manier die nuttig is tijdens de training.

Realiteit

Zowel het eerdere werk waarop OC&P is gebaseerd, als de huidige implementatie, hechten weinig waarde aan authenticiteit, of de ‘fotorealistische’ kwaliteit van de uiteindelijke ‘gemonteerde’ afbeelding. Hoewel het belangrijk is dat de uiteindelijke assemblage niet geheel in Dadaïsme vervalt (anders zouden de werkelijke implementaties van de getrainde systemen nooit kunnen hopen elementen in dergelijke scènes tegen te komen als waarop ze getraind werden), hebben beide initiatieven ontdekt dat een aanzienlijke toename van ‘visuele geloofwaardigheid’ niet alleen de voorverwerkingstijd toevoegt, maar dat dergelijke ‘realisme-verbeteringen’ waarschijnlijk zelfs contraproductief zouden zijn.

Uit de aanvullende materialen van het nieuwe artikel: voorbeelden van verhoogde afbeeldingen met ‘willekeurige blending’. Hoewel deze scènes hallucinogeen kunnen lijken voor een persoon, worden ze toch samengesteld met soortgelijke onderwerpen; hoewel de occlusies fantastisch kunnen lijken voor het menselijk oog, kan de aard van een potentiële occlusie niet van tevoren worden geweten en is het onmogelijk om hierop te trainen – daarom zijn dergelijke bizarre ‘afsnijdingen’ van vorm voldoende om het getrainde systeem te dwingen om gedeeltelijke doelonderwerpen te zoeken en te herkennen, zonder dat er ingewikkelde Photoshop-achtige methoden nodig zijn om de scènes meer plausibel te maken.

Gegevens en tests

Voor de testfase werd het systeem getraind op de persoon-klasse van de MS COCO-dataset, met 262.465 voorbeelden van mensen over 64.115 afbeeldingen. Echter, om betere maskers te verkrijgen dan MS COCO heeft, ontvingen de afbeeldingen ook LVIS-maskerannotaties.

In 2019 uitgebracht, is LVIS, van Facebook-onderzoek, een omvangrijke dataset voor Large Vocabulary Instance Segmentation. Bron: https://arxiv.org/pdf/1908.03195.pdf

Om te beoordelen hoe goed het verhoogde systeem het op kon nemen tegen een groot aantal occluseerde menselijke afbeeldingen, zetten de onderzoekers OC&P tegen de OCHuman (Occluded Human)-benchmark.

Voorbeelden uit de OCHuman-dataset, geïntroduceerd ter ondersteuning van het Pose2Seg-detectieproject in 2018. Dit initiatief zocht naar verbeterde semantische segmentatie van mensen door hun houding en pose te gebruiken als semantische delimiter van waar de pixels die hun lichamen vertegenwoordigen waarschijnlijk zullen eindigen. Bron: https://github.com/liruilong940607/OCHumanApi

Aangezien de OCHuman-benchmark niet uitputtend is geannoteerd, creëerden de onderzoekers van het nieuwe artikel een subset van alleen die voorbeelden die volledig waren geannoteerd, getiteld OCHuman^FL. Dit reduceerde het aantal persoon-instanties tot 2.240 over 1.113 afbeeldingen voor validatie, en 1.923 instanties over 951 afbeeldingen die daadwerkelijk werden gebruikt voor testen. Zowel de oorspronkelijke als de nieuw gecreëerde sets werden getest, met Mean Average Precision (mAP) als de belangrijkste metric.

Voor consistentie bestond de architectuur uit Mask R-CNN met een ResNet-50-backbone en een feature pyramid-netwerk, waarbij het laatste een aanvaardbare compromis tussen nauwkeurigheid en trainsnelheid bood.

Met de onderzoekers die de nadelige invloed van upstream ImageNet-invloed in soortgelijke situaties hadden opgemerkt, werd het hele systeem getraind vanaf scratch op 4 NVIDIA V100-GPU’s, voor 75 epochs, volgend op de initialisatieparameters van Facebook’s 2021-release Detectron 2.

Resultaten

Naast de hierboven genoemde resultaten, gaven de baseline-resultaten tegen MMDetection (en zijn drie geassocieerde modellen) voor de tests aan dat OC&P duidelijk de leiding nam in zijn vermogen om menselijke wezens te identificeren uit verwarde poses.

Naast het verslaan van PoSeg en Pose2Seg, is een van de meest opvallende prestaties van het artikel misschien wel dat het systeem vrij generiek kan worden toegepast op bestaande kaders, inclusief die waar het in de tests tegen werd gesteld (zie de met/zonder-vergelijkingen in de eerste resultatenbox, bij het begin van het artikel).

Het artikel concludeert:

‘Een belangrijk voordeel van onze benadering is dat deze gemakkelijk kan worden toegepast met elk model of andere model-gerichte verbeteringen. Gezien de snelheid waarmee het diepe leer-veld beweegt, is het voor iedereen voordelig om benaderingen te hebben die hooguit interoperabel zijn met elk ander aspect van training. We laten als toekomstig werk om dit te integreren met model-gerichte verbeteringen om effectief occluseerde persooninstantie-segmentatie op te lossen.’

Potentieel voor verbetering van tekst-naar-afbeeldingssynthese

De hoofdauteur Evan Ling merkte in een e-mail aan ons* op dat het belangrijkste voordeel van OC&P is dat het de oorspronkelijke maskerlabels kan behouden en nieuwe waarde kan verkrijgen uit deze labels ‘gratis’ in een nieuwe context – d.w.z. de afbeeldingen waarin ze zijn geplakt.

Hoewel de semantische segmentatie van mensen nauw verwant lijkt te zijn aan de moeilijkheid die modellen zoals Stable Diffusion hebben bij het identificeren van mensen (in plaats van ze ‘samen te voegen’, zoals ze vaak doen), is elke invloed die semantische labelcultuur zou kunnen hebben op de nachtmerrie-achtige menselijke renders die SD en DALL-E 2 vaak produceren, zeer, zeer ver weg.

De miljarden LAION 5B-subsetafbeeldingen die de generatieve kracht van Stable Diffusion bevolken, bevatten geen objectniveau-labels zoals bounding boxes en instantiemaskers, zelfs niet als de CLIP-architectuur die de renders van afbeeldingen en database-inhoud samenstelt, op een bepaald moment kan hebben geprofiteerd van dergelijke instantiatie; in plaats daarvan zijn de LAION-afbeeldingen ‘gratis’ gelabeld, omdat hun labels zijn afgeleid van metadata en omgevingsbijschriften, enz., die waren geassocieerd met de afbeeldingen toen ze uit het web werden gehaald in de dataset.

‘Maar dat terzijde,’ zei Ling tegen ons. ‘een soortgelijke verhoging als onze OC&P kan worden gebruikt tijdens tekst-naar-afbeelding-generatieve modeltraining. Maar ik denk dat de realiteit van de verhoogde trainingsafbeelding mogelijk een probleem kan worden.

‘In ons werk laten we zien dat ‘perfecte’ realiteit over het algemeen niet nodig is voor de begeleide instantie-segmentatie, maar ik weet niet zeker of dezelfde conclusie kan worden getrokken voor tekst-naar-afbeelding-generatieve modeltraining (vooral wanneer de uitvoer ervan zeer realistisch wordt verwacht). In dit geval kan meer werk nodig zijn om de realiteit van de verhoogde afbeeldingen te ‘perfect maken’.’

CLIP wordt reeds gebruikt als een mogelijke multimodale tool voor semantische segmentatie, wat suggereert dat verbeterde persoonherkenning- en individuatie-systemen zoals OC&P uiteindelijk kunnen worden ontwikkeld tot in-systeemfilters of classificatoren die willekeurig ‘samengevoegde’ en vervormde menselijke voorstellingen zouden kunnen afwijzen – een taak die momenteel moeilijk is om uit te voeren met Stable Diffusion, omdat het een beperkte mogelijkheid heeft om te begrijpen waar het fout ging (als het die mogelijkheid had, zou het waarschijnlijk niet de fout hebben gemaakt in de eerste plaats).

Slechts een van de vele projecten die momenteel OpenAI’s CLIP-framework gebruiken – het hart van DALL-E 2 en Stable Diffusion – voor semantische segmentatie. Bron: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘Een andere vraag zou zijn,’ suggereert Ling, ‘of het simpelweg voeren van deze generatieve modellen met afbeeldingen van occluseerde mensen tijdens training zal werken, zonder aanvullende modelarchitectuurontwerp om het probleem van ‘menselijke fusie’ te mitigeren? Dat is waarschijnlijk een vraag die moeilijk is om direct te beantwoorden. Het zal zeker interessant zijn om te zien hoe we enige vorm van instantieniveau-begeleiding (via instantieniveau-labels zoals instantiemasker) kunnen inbrengen tijdens tekst-naar-afbeelding-generatieve modeltraining.’ * 10e oktober 2022 Eerst gepubliceerd 10e oktober 2022.