Trennung von “verschmolzenen” Menschen in der ComputerVision

Eine neue Studie des Hyundai Motor Group Innovation Center in Singapur bietet eine Methode, um “verschmolzene” Menschen in der ComputerVision zu trennen – also Fälle, in denen das Objekterkennungsframework einen Menschen gefunden hat, der auf eine bestimmte Weise “zu nah” an einem anderen Menschen ist (wie z.B. “Umarmungen” oder “hinter” -Posen) und nicht in der Lage ist, die beiden Personen auseinanderzuhalten und sie für eine einzige Person oder Entität hält.

Zwei werden zu einem, aber das ist nicht gut in der semantischen Segmentierung. Hier sehen wir das neue System, das staatliche Ergebnisse bei der Individuation von miteinander verflochtenen Menschen in komplexen und herausfordernden Bildern erzielt. Quelle: https://arxiv.org/pdf/2210.03686.pdf

Dies ist ein bemerkenswertes Problem, das in den letzten Jahren viel Aufmerksamkeit in der Forschungsgemeinschaft erhalten hat. Die Lösung dieses Problems ohne die offensichtliche, aber meist unerschwingliche Kosten von hyperskalierter, menschlicher, individueller Kennzeichnung könnte letztendlich zu Verbesserungen in der Individuation von Menschen in Text-Bild-Systemen wie Stable Diffusion führen, die häufig Menschen “zusammenkleben”, wenn eine Prompt-Pose mehrere Personen in enger Nähe zueinander erfordert.

Umarmen Sie den Horror – Text-Bild-Modelle wie DALL-E 2 und Stable Diffusion (beide oben abgebildet) haben Schwierigkeiten, Menschen in sehr enger Nähe zueinander darzustellen.

Obwohl generative Modelle wie DALL-E 2 und Stable Diffusion nicht (soweit bekannt) derzeit semantische Segmentierung oder Objekterkennung verwenden, könnten diese grotesken menschlichen Portmanteaus nicht durch die Anwendung solcher Methoden geheilt werden – weil die aktuellen Objekterkennungsbibliotheken und -ressourcen nicht viel besser darin sind, Menschen auseinanderzuhalten, als die CLIP-basierten Workflows von latenten Diffusionsmodellen.

Um dieses Problem anzugehen, bietet die neue Studie – mit dem Titel Menschen müssen nicht mehr Menschen kennzeichnen: Occlusion Copy & Paste für Occluded Human Instance Segmentation – eine Methode, um eine neue Spitzenleistung in dieser Aufgabe zu erzielen, sogar gegen die herausforderndsten Quellenmaterialien:

Die neue Occlusion Copy & Paste-Methode führt derzeit das Feld an, sogar gegen vorherige Frameworks und Ansätze, die diese Herausforderung auf elaborierte und speziellere Weise angehen, wie z.B. die spezifische Modellierung von Occlusion.

Schneiden Sie das aus!

Die modifizierte Methode – mit dem Titel Occlusion Copy & Paste – ist aus der 2021er Simple Copy-Paste-Studie von Google Research abgeleitet, die vorschlug, dass das Überlagern extrahierter Objekte und Menschen in verschiedenen Quellbildern die Fähigkeit eines Bilderkennungssystems verbessern kann, jedes in einem Bild gefundenen Exemplar zu diskretisieren:

Aus der 2021er Google Research-Studie ‘Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation’ sehen wir Elemente aus einem Foto, die in andere Fotos ‘wandern’, mit dem Ziel, ein besseres Bilderkennungsmodell zu trainieren. Quelle: https://arxiv.org/pdf/2012.07177.pdf

Die neue Version fügt Einschränkungen und Parameter in diese automatisierte und algorithmische “Wiederanbringung” ein, indem sie den Prozess in einen “Korb” voller potenzieller Kandidaten für die “Übertragung” in andere Bilder analogisiert, basierend auf mehreren Schlüsselfaktoren.

Das konzeptionelle Arbeitsablaufdiagramm für OC&P.

Die Elemente kontrollieren

Diese Einschränkungen umfassen Wahrscheinlichkeit eines Cut-and-Paste-Vorgangs, die sicherstellt, dass der Prozess nicht einfach immer passiert, was zu einem “sättigenden” Effekt führen würde, der die Datenverstärkung untergraben würde; die Anzahl der Bilder, die ein “Korb” zu einem bestimmten Zeitpunkt haben wird, wobei eine größere Anzahl von “Segmenten” die Vielfalt der Exemplare verbessern, aber die Vorbearbeitungszeit erhöhen kann; und Reichweite, die die Anzahl der Bilder bestimmt, die in ein “Host”-Bild eingefügt werden.

Was Letzteres betrifft, bemerkt die Studie ‘Wir benötigen genug Occlusion, damit sie stattfindet, aber nicht zu viel, da sie das Bild überfüllen und die Lernprozesse behindern könnten.’

Die beiden anderen Neuerungen für OC&P sind gezielte Anbringung und erhöhte Instanzanbringung.

Gezielte Anbringung stellt sicher, dass ein geeignetes Bild in der Nähe eines bestehenden Exemplars im Zielbild landet. Im vorherigen Ansatz, der auf vorheriger Arbeit basiert, war das neue Element nur innerhalb der Bildgrenzen eingeschränkt, ohne Berücksichtigung des Kontexts.

Obwohl diese ‘Einfügung’ mit gezielter Anbringung für das menschliche Auge offensichtlich ist, haben sowohl OC&P als auch sein Vorgänger festgestellt, dass eine erhöhte visuelle Authentizität nicht unbedingt wichtig ist und sogar ein Nachteil sein kann (siehe ‘Reality Bites’ unten).

Erhöhte Instanzanbringung stellt sicher, dass die eingefügten Exemplare nicht ein “ausgeprägtes Aussehen” zeigen, das vom System auf eine bestimmte Weise klassifiziert werden könnte, was zu einer Ausgrenzung oder “Sonderbehandlung” führen könnte, die die Verallgemeinerung und Anwendbarkeit behindern könnte. Erhöhte Anbringung moduliert visuelle Faktoren wie Helligkeit und Schärfe, Skalierung und Rotation sowie Sättigung – unter anderem.

Aus den ergänzenden Materialien der neuen Studie: Das Hinzufügen von OC&P zu bestehenden Erkennungsframeworks ist relativ einfach und führt zu einer überlegenen Individuation von Menschen in sehr engen Räumen. Quelle: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

Zusätzlich reguliert OC&P eine Mindestgröße für jedes eingefügte Exemplar. Zum Beispiel könnte es möglich sein, ein Bild einer Person aus einer großen Menschenmenge zu extrahieren, das in ein anderes Bild eingefügt werden könnte – aber in einem solchen Fall würde die geringe Anzahl von Pixeln, die beteiligt sind, wahrscheinlich nicht zur Erkennung beitragen. Daher wendet das System eine Mindestskalierung basierend auf dem Verhältnis der gleichmäßigen Seitenlänge für das Zielbild an.

Weiterhin führt OC&P eine skalenbewusste Anbringung ein, bei der es neben der Suche nach ähnlichen Subjekten als dem Paste-Subjekt auch die Größe der Begrenzungsboxen im Zielbild berücksichtigt. Dies führt jedoch nicht zu Zusammensetzungen, die für Menschen plausibel oder realistisch erscheinen (siehe Bild unten), sondern ordnet semantisch geeignete Elemente in der Nähe zueinander an, was während des Trainings hilfreich ist.

Realität beißt

Sowohl die vorherige Arbeit, auf der OC&P basiert, als auch die aktuelle Implementierung legen einen niedrigen Wert auf Authentizität oder die “Fotorealität” des finalen “montierten” Bildes. Obwohl es wichtig ist, dass die endgültige Montage nicht vollständig in Dadaismus abrutscht (da die realen Einsatzszenarien der trainierten Systeme nie auf Elemente in solchen Szenen stoßen könnten, wie sie trainiert wurden), haben beide Initiativen festgestellt, dass eine deutliche Erhöhung der “visuellen Glaubwürdigkeit” nicht nur die Vorbearbeitungszeit erhöht, sondern auch kontraproduktiv sein kann.

Aus den ergänzenden Materialien der neuen Studie: Beispiele für augmentierte Bilder mit ‘zufälliger Mischung’. Obwohl diese Szenen für Menschen halluzinogen wirken, haben sie dennoch ähnliche Subjekte, die zusammengefügt sind; obwohl die Occlusions für das menschliche Auge fantastisch sind, kann die Natur einer potenziellen Occlusion nicht im Voraus bekannt sein und ist unmöglich zu trainieren – daher sind solche merkwürdigen ‘Abschnitte’ von Formen ausreichend, um das trainierte System zu zwingen, partielle Zielsubjekte zu suchen und zu erkennen, ohne dass es notwendig ist, aufwändige Photoshop-ähnliche Methoden zu entwickeln, um die Szenen plausibler zu machen.

Daten und Tests

Für die Testphase wurde das System auf der Person-Klasse des MS COCO-Datensatzes trainiert, der 262.465 Beispiele von Menschen über 64.115 Bilder umfasst. Um jedoch bessere Masken als MS COCO zu erhalten, erhielten die Bilder auch LVIS-Maskenannotationen.

2019 veröffentlicht, ist LVIS von Facebook Research ein umfangreicher Datensatz für Large Vocabulary Instance Segmentation. Quelle: https://arxiv.org/pdf/1908.03195.pdf

Um zu bewerten, wie gut das augmentierte System gegen eine große Anzahl von occludierten Menschenbildern bestehen kann, setzten die Forscher OC&P gegen die OCHuman-Benchmark (Occluded Human) ein.

Beispiele aus dem OCHuman-Datensatz, der 2018 im Rahmen des Pose2Seg-Erkennungsprojekts eingeführt wurde. Dieses Projekt zielt darauf ab, durch die Verwendung der Haltung und Pose als semantischer Begrenzung dafür, wo die Pixel, die ihre Körper darstellen, wahrscheinlich enden, eine verbesserte semantische Segmentierung von Menschen zu erzielen. Quelle: https://github.com/liruilong940607/OCHumanApi

Da die OCHuman-Benchmark nicht erschöpfend annotiert ist, erstellten die Forscher der neuen Studie einen Teilbereich, der nur die vollständig annotierten Beispiele umfasst, den sie OCHuman^FL nannten. Dies reduzierte die Anzahl der Person-Instanzen auf 2.240 über 1.113 Bilder für die Validierung und 1.923 Instanzen über 951 Bilder, die tatsächlich für die Tests verwendet wurden. Sowohl die ursprünglichen als auch die neu kuratierten Datensätze wurden getestet, wobei die mittlere Durchschnittsgenauigkeit (mAP) als Kernmetrik verwendet wurde.

Um die Konsistenz zu gewährleisten, bestand die Architektur aus Mask R-CNN mit einem ResNet-50-Backbone und einem Feature-Pyramiden-Netzwerk, das einen akzeptablen Kompromiss zwischen Genauigkeit und Trainingsgeschwindigkeit bot.

Da die Forscher den schädlichen Einfluss von Upstream-ImageNet-Einfluss in ähnlichen Situationen festgestellt haben, wurde das gesamte System von Grund auf auf 4 NVIDIA V100-GPUs trainiert, für 75 Epochen, unter Verwendung der Initialisierungsparameter von Facebooks 2021er Veröffentlichung Detectron 2.

Ergebnisse

Neben den oben genannten Ergebnissen zeigten die Baseline-Ergebnisse gegen MMDetection (und seine drei zugehörigen Modelle) für die Tests eine klare Führung von OC&P in der Fähigkeit, menschliche Wesen aus komplexen Posen herauszuarbeiten.

Neben der Überbietung von PoSeg und Pose2Seg ist vielleicht eine der bemerkenswertesten Errungenschaften der Studie, dass das System relativ generisch auf bestehende Frameworks angewendet werden kann, einschließlich derjenigen, die gegen es in den Tests eingesetzt wurden (siehe die mit/ohne-Vergleiche in der ersten Ergebnisbox, nahe dem Anfang des Artikels).

Die Studie schließt:

‘Ein wichtiger Vorteil unseres Ansatzes ist, dass er leicht auf andere Modelle oder modellzentrierte Verbesserungen anwendbar ist. Angesichts der Geschwindigkeit, mit der das Deep-Learning-Feld sich bewegt, ist es für jeden von Vorteil, Ansätze zu haben, die hochgradig interoperabel mit jedem anderen Aspekt des Trainings sind. Wir lassen als zukünftige Arbeit, dies mit modellzentrierten Verbesserungen zu integrieren, um die Occlusion-Instanzsegmentierung von Personen effektiv zu lösen.’

Potenzial für die Verbesserung der Text-Bild-Synthese

Der Hauptautor Evan Ling bemerkte in einer E-Mail an uns*, dass der Hauptvorteil von OC&P darin besteht, dass es ursprüngliche Maskenlabels beibehalten und neue Werte daraus in einem neuen Kontext “kostenlos” erhalten kann – d.h. in den Bildern, in die sie eingefügt wurden.

Obwohl die semantische Segmentierung von Menschen eng mit den Schwierigkeiten verbunden zu sein scheint, die Modelle wie Stable Diffusion haben, Menschen zu individuieren (anstatt sie “zusammenzuschmelzen”, wie sie es oft tun), ist jeder Einfluss, den die semantische Kennzeichnungskultur auf die albtraumhaften menschlichen Renditionsfehler haben könnte, die SD und DALL-E 2 oft ausgeben, sehr, sehr weit entfernt.

Die Milliarden von LAION 5B-Teilbildern, die die generative Kraft von Stable Diffusion bevölkern, enthalten keine objektniveau-Labels wie Begrenzungsboxen und Instanzmasken, auch wenn die CLIP-Architektur, die die Renditionsfehler aus Bildern und Datenbankinhalten zusammensetzt, möglicherweise zu einem bestimmten Zeitpunkt von solchen Instanziierungen profitiert hat; stattdessen sind die LAION-Bilder “kostenlos” gekennzeichnet, da ihre Labels aus Metadaten und Umgebungskapiteln usw. abgeleitet wurden, die mit den Bildern assoziiert waren, als sie in den Datensatz eingefügt wurden.

‘Aber abgesehen davon’, sagte Ling zu uns. ‘könnte eine Art von Augmentation ähnlich wie unsere OC&P während des Trainings von Text-Bild-Modellen verwendet werden. Aber ich denke, die Realistik der augmentierten Trainingsbilder könnte möglicherweise zu einem Problem werden.

‘In unserer Arbeit zeigen wir, dass “perfekte” Realistik im Allgemeinen nicht erforderlich ist für die überwachte Instanzsegmentierung, aber ich bin nicht sicher, ob dieselbe Schlussfolgerung für das Training von Text-Bild-Modellen gezogen werden kann (insbesondere wenn ihre Ausgaben hochrealistisch sein sollen). In diesem Fall muss möglicherweise mehr Arbeit in Bezug auf die “Vervollkommnung” der Realistik der augmentierten Bilder geleistet werden.’

CLIP wird bereits als mögliches multimodales Werkzeug für die semantische Segmentierung verwendet, was darauf hindeutet, dass verbesserte Personenerkennungs- und Individuationssysteme wie OC&P letztendlich zu in-system-Filtern oder Klassifizierern entwickelt werden könnten, die willkürlich “zusammengefügte” und verzerrte menschliche Darstellungen ablehnen – eine Aufgabe, die derzeit mit Stable Diffusion schwierig zu erreichen ist, da es nur begrenzte Fähigkeiten hat, um zu erkennen, wo es Fehler gemacht hat (wenn es diese Fähigkeit hätte, hätte es wahrscheinlich nicht den Fehler gemacht).

Nur eines von vielen Projekten, die derzeit OpenAIs CLIP-Framework – das Herzstück von DALL-E 2 und Stable Diffusion – für die semantische Segmentierung verwenden. Quelle: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘Eine weitere Frage wäre’, schlägt Ling vor, ‘ob das einfache Füttern dieser generativen Modelle mit Bildern von occludierten Menschen während des Trainings funktionieren wird, ohne dass ergänzende Modellarchitekturen entworfen werden, um das Problem des “Menschenschmelzens” zu mildern? Das ist wahrscheinlich eine Frage, die schwer zu beantworten ist. Es wird definitiv interessant sein, zu sehen, wie wir eine Art von Instanzniveau-Leitung (über Instanzniveau-Labels wie Instanzmasken) während des Trainings von Text-Bild-Modellen einfügen können.’

* 10. Oktober 2022

Erstveröffentlichung 10. Oktober 2022.