Rozdzielanie “złaczonych” ludzi w komputerowym widzeniu

Nowy artykuł z Hyundai Motor Group Innovation Center w Singapurze przedstawia metodę rozdzielania “złaczonych” ludzi w komputerowym widzeniu – przypadków, w których framework rozpoznawania obiektów znalazł człowieka, który jest w jakiś sposób “zbyt blisko” innego człowieka (np. “objęcia” lub “stania za” pozycje), i nie jest w stanie rozplątać tych dwóch osób, myląc je za jedną osobę lub jednostkę.

Dwoje staje się jednym, ale to nie jest dobre w przypadku segmentacji semantycznej. Tutaj widzimy nowy system osiągający najlepsze wyniki w individuacji splątanych ludzi na skomplikowanych i wyzywających obrazach. Źródło: https://arxiv.org/pdf/2210.03686.pdf

To jest znaczący problem, który otrzymał dużą uwagę w społeczności badawczej w ostatnich latach. Rozwiązanie go bez oczywistego, ale zwykle nieopłacalnego wydatku na hyperskali, ręczne, niestandardowe etykietowanie, mogłoby ostatecznie umożliwić poprawę w individuacji ludzi w systemach tekst-obraz, takich jak Stable Diffusion, które często “topią” ludzi razem, gdy wymagana jest pozycja z wieloma osobami w bliskiej odległości od siebie.

Przyjmijcie horror – modele tekst-obraz, takie jak DALL-E 2 i Stable Diffusion (oba przedstawione powyżej), mają trudności z reprezentowaniem ludzi w bardzo bliskiej odległości od siebie.

Chociaż modele generatywne, takie jak DALL-E 2 i Stable Diffusion, nie używają (przynajmniej nie otwarcie, w przypadku zamkniętego DALL-E 2) segmentacji semantycznej ani rozpoznawania obiektów, te groteskowe ludzkie portmanteau nie mogą być wyleczone przez zastosowanie takich metod strumieniowych – ponieważ stan sztuki bibliotek i zasobów rozpoznawania obiektów nie są znacznie lepsze w rozplątywaniu ludzi niż CLIP-oparte przepływy pracy modeli latentnych.

Aby rozwiązać ten problem, nowy artykuł – zatytułowany Ludzie nie muszą etykietować więcej ludzi: Occlusion Copy & Paste for Occluded Human Instance Segmentation – dostosowuje i udoskonala niedawne podejście “wytnij i wklej” do półsyntetycznych danych, aby osiągnąć nowy wynik w tej dziedzinie, nawet przeciwko najbardziej wyzywającym materiałom źródłowym:

Nowa metoda Occlusion Copy & Paste obecnie prowadzi w tej dziedzinie, nawet przeciwko poprzednim ramom i podejściom, które adresują ten wyzwanie w bardziej skomplikowany i dedykowany sposób, takim jak modelowanie okluzji.

Wyciąć to!

Zmodyfikowana metoda – zatytułowana Occlusion Copy & Paste – pochodzi z artykułu z 2021 roku Simple Copy-Paste, prowadzonego przez Google Research, który sugerował, że nakładanie wyodrębnionych obiektów i ludzi na różne źródłowe obrazy szkoleniowe może poprawić zdolność systemu rozpoznawania obrazów do dyskretnej identyfikacji każdej instancji znalezionej w obrazie:

Z artykułu z 2021 roku, prowadzonego przez Google Research, ‘Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation’, widzimy elementy z jednego zdjęcia ‘migrujące’ do innych zdjęć, z celem szkolenia lepszego modelu rozpoznawania obrazów. Źródło: https://arxiv.org/pdf/2012.07177.pdf

Nowa wersja dodaje ograniczenia i parametry do tego zautomatyzowanego i algorytmicznego “przyczepiania”, analogizując ten proces do “koszyka” pełnego potencjalnych kandydatów do “przeniesienia” do innych obrazów, na podstawie kilku kluczowych czynników.

Konceptualny workflow dla OC&P.

Kontrolowanie elementów

Te czynniki ograniczające obejmują prawdopodobieństwo “wycięcia i wklejenia”, które zapewnia, że proces nie występuje zbyt często, co mogłoby doprowadzić do “nasycenia” danych, które mogłoby podważyć wartość danych; liczbę obrazów, które “koszyk” będzie miał w danym momencie, gdzie większa liczba “segmentów” może poprawić różnorodność instancji, ale zwiększyć czas wstępnego przetwarzania; oraz zakres, który określa liczbę obrazów, które będą “wklejone” do “hosta” obrazu.

Co do tego ostatniego, artykuł zauważa ‘Potrzebujemy wystarczającej okluzji, ale nie zbyt dużej, ponieważ może to spowodować nadmierną komplikację obrazu, co może być szkodliwe dla procesu uczenia.’

Inne dwie innowacje w OC&P to targeted pasting i augmented instance pasting.

Targeted pasting zapewnia, że odpowiedni obraz zostanie umieszczony w pobliżu istniejącej instancji w obrazie docelowym. W poprzednim podejściu, z poprzedniej pracy, nowy element był ograniczony tylko do granic obrazu, bez uwzględnienia kontekstu.

Chociaż to ‘wklejenie’ z targeted pasting jest oczywiste dla ludzkiego oka, zarówno OC&P, jak i jego poprzednik, stwierdzili, że zwiększona autentyczność wizualna nie jest konieczna i może być nawet wadą (patrz ‘Reality Bites’ poniżej).

Augmented instance pasting zapewnia, że “wklejone” instancje nie wykazują “wyraźnego wyglądu”, który mógłby zostać sklasyfikowany przez system w jakiś sposób, co mogłoby prowadzić do wykluczenia lub “specjalnego traktowania”, które mogłoby utrudnić uogólnienie i stosowalność. Augmented pasting modyfikuje czynniki wizualne, takie jak jasność i ostrość, skalowanie i rotacja, oraz nasycenie – wśród innych.

Z materiałów uzupełniających nowego artykułu: dodanie OC&P do istniejących ram rozpoznawania jest dość trywialne i prowadzi do lepszej individuacji ludzi w bardzo bliskiej odległości. Źródło: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

Ponadto OC&P reguluje minimalny rozmiar dla każdej “wklejonej” instancji. Na przykład, może być możliwe wyodrębnienie obrazu jednej osoby z ogromnego tłumu, który mógłby zostać “wklejony” do innego obrazu – ale w takim przypadku niewielka liczba pikseli nie byłaby prawdopodobnie pomocna w rozpoznawaniu. Dlatego system stosuje minimalną skalę na podstawie współczynnika długości boku docelowego obrazu.

Dalej, OC&P wprowadza skalę świadomego “przyczepiania”, gdzie, oprócz poszukiwania podobnych przedmiotów do “przyczepiania”, bierze pod uwagę rozmiar pudełek boundingowych w obrazie docelowym. Jednakże, nie prowadzi to do kompozytowych obrazów, które ludzie uważaliby za prawdopodobne lub realistyczne (patrz poniższy obraz), ale raczej łączy semantycznie odpowiednie elementy w pobliżu siebie w sposób, który jest pomocny podczas szkolenia.

Rzeczywistość ugryzie

Zarówno poprzednia praca, na której opiera się OC&P, jak i bieżąca implementacja, przykładają niewielką wagę do autentyczności, czyli “fotorealistyczności” końcowego “montażu” obrazu. Chociaż ważne jest, aby końcowy montaż nie spadł całkowicie w dadaizm (w przeciwnym razie rzeczywiste wdrożenia wytrenowanych systemów nie mogłyby liczyć na spotkanie elementów w takich scenach, na które zostały wytrenowane), obie inicjatywy stwierdziły, że znaczna poprawa “wiarygodności wizualnej” nie tylko zwiększa czas wstępnego przetwarzania, ale że takie “poprawki realistyczności” mogą być nawet szkodliwe.

Z materiałów uzupełniających nowego artykułu: przykłady uzupełnionych obrazów z ‘losowym mieszaniem’. Chociaż te sceny mogą wyglądać hallucynacyjnie dla człowieka, mają jednak podobne przedmioty zebrane razem; chociaż okluzje są fantastyczne dla ludzkiego oka, natura potencjalnej okluzji nie może być znana z wyprzedzeniem i jest niemożliwa do przewidzenia – dlatego takie dziwne ‘odcięcia’ formy są wystarczające, aby zmusić wytrenowany system do poszukiwania i rozpoznawania częściowych celów, bez potrzeby rozwijania skomplikowanych metodologii w stylu Photoshop, aby uczynić sceny bardziej prawdopodobnymi.

Dane i testy

W fazie testowej system został wytrenowany na klasie osoba z zestawu danych MS COCO, zawierającego 262 465 przykładów ludzi w 64 115 obrazach. Jednak aby uzyskać lepsze maski niż MS COCO, obrazy otrzymały również adnotacje maski LVIS.

Wydany w 2019 roku, LVIS, z badań Facebooka, jest obszernym zestawem danych dla Large Vocabulary Instance Segmentation. Źródło: https://arxiv.org/pdf/1908.03195.pdf

Aby ocenić, jak dobrze uzupełniony system może radzić sobie z dużą liczbą okluzji ludzkich, badacze postawili OC&P przeciwko OCHuman (Occluded Human) benchmark.

Przykłady z zestawu danych OCHuman, wprowadzonego w celu wsparcia projektu Pose2Seg w 2018 roku. Ta inicjatywa miała na celu poprawę segmentacji semantycznej ludzi poprzez wykorzystanie ich postawy i pozycji jako delimitera semantycznego, gdzie kończą się piksele reprezentujące ich ciała. Źródło: https://github.com/liruilong940607/OCHumanApi

Ponieważ benchmark OCHuman nie jest wyczerpująco adnotowany, autorzy nowego artykułu stworzyli podzbiór tylko tych przykładów, które były w pełni adnotowane, zatytułowany OCHuman^FL. To zmniejszyło liczbę instancji osoba do 2 240 w 1 113 obrazach do walidacji i 1 923 instancji w 951 obrazach używanych do testowania. Zarówno oryginalne, jak i nowo opracowane zestawy zostały przetestowane, używając Mean Average Precision (mAP) jako podstawowego miernika.

Dla spójności, architektura składała się z Mask R-CNN z ResNet-50 jako backbone i feature pyramid network, który zapewniał akceptowalny kompromis między dokładnością a szybkością szkolenia.

Ponieważ badacze zauważyli szkodliwy wpływ górnych ImageNet w podobnych sytuacjach, cały system został wytrenowany od podstaw na 4 NVIDIA V100 GPU, przez 75 epok, po ustawieniach inicjalizacji Facebooka z 2021 roku Detectron 2.

Wyniki

Oprócz powyższych wyników, wyniki bazowe wobec MMDetection (i trzech powiązanych modeli) wskazały wyraźne prowadzenie OC&P w jego zdolności do wyróżniania ludzi z splątanych pozycji.

Ponadto, poza przewyższeniem PoSeg i Pose2Seg, jeden z najbardziej wybitnych osiągnięć artykułu jest to, że system może być stosunkowo łatwo zastosowany do istniejących ram, w tym tych, które zostały przeciwstawione mu w testach (patrz porównania z/bez w pierwszej skrzynce wyników, na początku artykułu).

Artykuł kończy się:

‘Kluczową zaletą naszego podejścia jest to, że może być łatwo zastosowane z dowolnymi modelami lub innymi ulepszeniami modelu. Biorąc pod uwagę szybkość, z jaką porusza się pole głębokiego uczenia, jest to korzystne dla wszystkich, aby mieć podejścia, które są wysoko interoperacyjne z każdym innym aspektem szkolenia. Pozostawiamy jako przyszłą pracę integrację tego z ulepszeniami modelu, aby skutecznie rozwiązać problem okluzji instancji ludzi.’

Potencjał dla poprawy syntezy tekst-obraz

Prowadzący autor Evan Ling zauważył w e-mailu do nas*, że główną zaletą OC&P jest to, że może on zachować oryginalne etykiety maski i uzyskać nową wartość z nich “za darmo” w nowym kontekście – tj. w obrazach, do których zostały “wklejone”.

Chociaż segmentacja semantyczna ludzi wydaje się ściśle związana z trudnościami, jakie modele takie jak Stable Diffusion mają w individuacji ludzi (zamiast “mieszaniny” ich), jakikolwiek wpływ, jaki kultura etykietowania semantycznego może mieć na koszmarne ludzkie renderowania, które SD i DALL-E 2 często wytwarzają, jest bardzo, bardzo odległy.

Miliardy LAION 5B podzbioru obrazów, które zaludniają generatywną moc Stable Diffusion, nie zawierają etykiet poziomu obiektu, takich jak bounding box i maski instancji, nawet jeśli architektura CLIP, która komponuje renderowania z obrazów i zawartości bazy danych, mogła skorzystać z takiej instancji; raczej, obrazy LAION są oznaczone “za darmo”, ponieważ ich etykiety pochodziły z metadanych i podpisów, itp., które były skojarzone z obrazami, gdy zostały pobrane z sieci do zestawu danych.

‘Ale to wszystko’, powiedział Ling. ‘jakiś rodzaj uzupełnienia podobnego do naszego OC&P może być wykorzystany podczas szkolenia modelu generatywnego tekst-obraz. Ale myślę, że realizm uzupełnionych obrazów szkoleniowych może stać się problemem.

‘W naszej pracy pokazujemy, że “idealna” realność nie jest ogólnie wymagana do nadzorowanego rozdziału instancji, ale nie jestem pewien, czy ten sam wniosek może być wyciągnięty dla szkolenia modelu generatywnego tekst-obraz (szczególnie gdy ich dane wyjściowe są oczekiwane, aby były bardzo realistyczne). W tym przypadku może być konieczna dodatkowa praca, aby “udoskonalić” realność uzupełnionych obrazów.’

CLIP jest już wykorzystywany jako możliwy multimodalny narzędzie do segmentacji semantycznej, co sugeruje, że ulepszone systemy rozpoznawania i individuacji ludzi, takie jak OC&P, mogą ostatecznie zostać opracowane w filtry lub klasyfikatory wewnętrzne, które arbitralnie odrzucą “złaczonych” i zniekształconych ludzkich reprezentacji – zadanie, które jest trudne do osiągnięcia obecnie ze Stable Diffusion, ponieważ ma ograniczoną zdolność do zrozumienia, gdzie się pomylił (gdyby miał taką zdolność, prawdopodobnie nie popełniłby błędu w pierwszej kolejności).

Jeden z wielu projektów, które obecnie wykorzystują ramę CLIP OpenAI – serce DALL-E 2 i Stable Diffusion – do segmentacji semantycznej. Źródło: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘Inne pytanie brzmi’, sugeruje Ling. ‘czy proste karmienie tych generatywnych modeli obrazami okluzji ludzi podczas szkolenia będzie działać, bez uzupełniającego projektu architektury modelu, aby złagodzić problem “złaczania ludzi”? To prawdopodobnie pytanie, które jest trudne do odpowiedzi od ręki. Zdecydowanie będzie interesujące, aby zobaczyć, jak możemy wprowadzić jakiś rodzaj wskazówek na poziomie instancji (za pomocą etykiet na poziomie instancji, takich jak maska instancji) podczas szkolenia modelu generatywnego tekst-obraz.’

* 10 października 2022

Pierwotnie opublikowany 10 października 2022.