Separarea oamenilor “fuzionați” în viziunea computerizată

O nouă lucrare de la Hyundai Motor Group Innovation Center din Singapore oferă o metodă pentru separarea oamenilor “fuzionați” în viziunea computerizată – acele cazuri în care cadrul de recunoaștere a obiectelor a găsit un om care este într-un fel “prea aproape” de alt om (cum ar fi acțiuni de “îmbrățișare” sau poziții de “stare în spatele”), și nu este capabil să despartă cei doi oameni reprezentați, confundându-i cu o singură persoană sau entitate.

Doi devin unul, dar asta nu este un lucru bun în segmentarea semantică. Aici vedem noul sistem care obține rezultate de top la individuarea oamenilor împletiți în imagini complexe și provocatoare. Sursă: https://arxiv.org/pdf/2210.03686.pdf

Acesta este un problemă notabilă care a primit o atenție deosebită în comunitatea de cercetare în ultimii ani. Rezolvarea acestei probleme fără costul evident, dar de obicei neafordabil, al etichetării personalizate la scară largă, ar putea permite îmbunătățiri în individuarea oamenilor în sistemele de text-la-imagine, cum ar fi Stable Diffusion, care frecvent “topesc” oamenii împreună atunci când o poziție solicitată necesită multiple persoane să fie în proximitate unul față de celălalt.

Îmbrățișați ororile – modelele de text-la-imagine, cum ar fi DALL-E 2 și Stable Diffusion (ambele prezentate mai sus), au dificultăți în a reprezenta oamenii în proximitate unul față de celălalt.

Deși modelele generative, cum ar fi DALL-E 2 și Stable Diffusion, nu utilizează (după cunoștința noastră, în cazul DALL-E 2 închis) segmentarea semantică sau recunoașterea obiectelor, aceste portmanteau umane grotesce nu ar putea fi vindecate prin aplicarea unor astfel de metode upstream – pentru că stadiul actual al bibliotecilor și resurselor de recunoaștere a obiectelor nu este mult mai bun la despărțirea oamenilor decât fluxurile de lucru bazate pe CLIP ale modelelor de difuzie latentă.

Pentru a aborda această problemă, noua lucrare – intitulată Oamenii nu trebuie să eticheteze mai mulți oameni: Copiere și lipire a ocluziunii pentru segmentarea instanțelor umane ocluzionate – adaptează și îmbunătățește o abordare recentă “taie și lipește” pentru date semi-sintetice pentru a obține un nou lider în această sarcină, chiar și împotriva materialului sursă cel mai provocator:

Noua metodologie de copiere și lipire a ocluziunii conduce în prezent domeniul, chiar și împotriva cadrelor și abordărilor anterioare care abordează această provocare în moduri elaborate și dedicate, cum ar fi modelarea specifică a ocluziunii.

Taie asta!

Metoda modificată – intitulată Copiere și lipire a ocluziunii – este derivată din lucrarea din 2021 Copiere și lipire simplă, condusă de Google Research, care a sugerat că suprapunerea obiectelor și oamenilor extrași printre imagini de antrenare diverse ar putea îmbunătăți capacitatea unui sistem de recunoaștere a imaginilor de a discretiza fiecare instanță găsită într-o imagine:

Din lucrarea din 2021 condusă de Google Research ‘Copiere și lipire simplă este o metodă puternică de augmentare a datelor pentru segmentarea instanțelor’, vedem elemente dintr-o fotografie ‘migrând’ către alte fotografii, cu obiectivul de a antrena un model de recunoaștere a imaginilor mai bun și mai intuitiv.

Noua versiune adaugă limitări și parametri în această “lipire” automată și algoritmică, analogând procesul într-un “coș” de imagini plin de candidați potențiali pentru “transfer” în alte imagini, pe baza mai multor factori cheie.

Fluxul de lucru conceptual pentru OC&P.

Controlul elementelor

Acei factori limitativi includ probabilitatea unei operațiuni de copiere și lipire, care asigură că procesul nu se produce mereu, ceea ce ar avea un efect “saturant” care ar submina augmentarea datelor; numărul de imagini pe care un “coș” le va avea la un moment dat, unde un număr mai mare de “segmente” poate îmbunătăți varietatea instanțelor, dar crește timpul de preprocesare; și intervalul, care determină numărul de imagini care vor fi lipite într-o imagine “gazdă”.

Referitor la ultimul, lucrarea notează ‘Avem nevoie de suficientă ocluziune pentru a se produce, dar nu prea multă, deoarece aceasta poate aglomera imaginea, ceea ce ar putea fi dăunător învățării.’

Alte două inovații pentru OC&P sunt lipirea țintită și lipirea instanțelor augmentate.

Lipirea țintită asigură că o imagine potrivită ajunge lângă o instanță existentă în imaginea țintă. În abordarea anterioară, din lucrarea anterioară, noul element era constrâns doar în limitele imaginii, fără nicio considerație a contextului.

Deși această ‘lipire’ cu lipire țintită este evidentă pentru ochiul uman, atât OC&P, cât și predecesorul său, au constatat că o creștere semnificativă a ‘credibilității vizuale’ nu este neapărat importantă și ar putea fi chiar o povară (a se vedea ‘Realitatea mușcă’ mai jos).

Lipirea instanțelor augmentate, pe de altă parte, asigură că instanțele lipite nu prezintă un “aspect distinctiv” care ar putea fi clasificat de sistem într-un anumit mod, ceea ce ar putea duce la excludere sau “tratament special” care ar putea împiedica generalizarea și aplicabilitatea. Lipirea augmentată modulează factori vizuali, cum ar fi luminozitatea și ascuțirea, scalarea și rotirea, și saturația – printre alți factori.

Din materialele suplimentare ale noii lucrări: adăugarea OC&P la cadrele de recunoaștere existente este relativ trivială și conduce la o individuare superioară a oamenilor în încăperi foarte strânse. Sursă: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

În plus, OC&P reglementează o mărime minimă pentru orice instanță lipită. De exemplu, ar putea fi posibil să extrageți o imagine a unei persoane dintr-o scenă de mulțime imensă, care ar putea fi lipită într-o altă imagine – dar într-un astfel de caz, numărul mic de pixeli implicați nu ar ajuta probabil la recunoaștere. Prin urmare, sistemul aplică o scară minimă pe baza raportului de lungime egală pentru imaginea țintă.

Mai mult, OC&P instituie lipirea conștientă de scară, unde, pe lângă căutarea subiecților similari cu subiectul de lipit, ține cont de mărimea cutiilor de delimitare în imaginea țintă. Cu toate acestea, acest lucru nu conduce la imagini compozite pe care oamenii le-ar considera plauzibile sau realiste (a se vedea imaginea de mai jos), ci mai degrabă asamblează elemente semantice adecvate lângă unul altul în moduri care sunt utile în timpul antrenamentului.

Realitatea mușcă

Atât lucrarea anterioară pe care se bazează OC&P, cât și implementarea curentă, acordă o importanță scăzută autenticității sau “fotorealismului” oricărei imagini finale “montate”. Deși este important ca ansamblul final să nu coboare complet în dadaism (altfel, implementările din lumea reală ale sistemelor antrenate nu ar putea niciodată să întâlnească elemente în astfel de scene, cum au fost antrenate), ambele inițiative au constatat că o creștere semnificativă a “credibilității vizuale” nu este neapărat importantă și ar putea fi chiar o povară.

Din materialele suplimentare ale noii lucrări: exemple de imagini augmentate cu ‘amestecare aleatorie’. Deși aceste scene ar putea părea halucinogene pentru un om, ele au totuși subiecți asemănători adunați; deși ocluziunile sunt fantastice pentru ochiul uman, natura unei ocluziuni potențiale nu poate fi cunoscută în avans și este imposibil de antrenat – prin urmare, astfel de ‘tăieturi’ bizare de formă sunt suficiente pentru a forța sistemul antrenat să caute și să recunoască subiecți țintă parțiali, fără a necesita dezvoltarea unor metodologii elaborate de tip Photoshop pentru a face scenele mai plauzibile.

Date și teste

Pentru faza de testare, sistemul a fost antrenat pe clasa persoană a setului de date MS COCO, care conține 262.465 de exemple de oameni în 64.115 imagini. Cu toate acestea, pentru a obține măști de calitate superioară decât cele din MS COCO, imaginile au primit, de asemenea, anotări de masca LVIS.

Lansat în 2019, LVIS, de la cercetarea Facebook, este un set de date voluminos pentru segmentarea instanțelor cu vocabular mare. Sursă: https://arxiv.org/pdf/1908.03195.pdf

Pentru a evalua cât de bine sistemul augmentat ar putea concura împotriva unui număr mare de imagini cu oameni ocluzionați, cercetătorii au comparat OC&P cu OCHuman (Omul ocluzionat) benchmark.

Exemple din setul de date OCHuman, introdus în sprijinul proiectului Pose2Seg de detectare în 2018. Această inițiativă a urmărit să deriveze o segmentare semantică îmbunătățită a oamenilor prin utilizarea poziției și a posturii lor ca delimitator semantic al pixelilor care reprezintă corpurile lor. Sursă: https://github.com/liruilong940607/OCHumanApi

Deoarece benchmark-ul OCHuman nu este anotat exhaustiv, cercetătorii noii lucrări au creat un subset care conține doar exemplele care au fost complet anotate, intitulat OCHuman^FL. Acest lucru a redus numărul de instanțe persoană la 2.240 în 1.113 imagini pentru validare și 1.923 de instanțe în 951 de imagini utilizate pentru testare. Atât seturile originale, cât și cele nou create au fost testate, utilizând Precizia Medie a Ariei (mAP) ca metrică principală.

Pentru coerență, arhitectura a fost formată din Mask R-CNN cu o spate ResNet-50 și o rețea de piramidă de caracteristici, aceasta din urmă oferind un compromis acceptabil între precizie și viteză de antrenament.

Întrucât cercetătorii au remarcat efectul dăunător al influenței upstream ImageNet în situații similare, întregul sistem a fost antrenat de la zero pe 4 GPU-uri NVIDIA V100, timp de 75 de epoci, urmând parametrii de inițializare ai lansării Facebook din 2021 Detectron 2.

Rezultate

Pe lângă rezultatele menționate anterior, rezultatele de bază împotriva MMDetection (și cele trei modele asociate) pentru testele menționate au indicat o conducere clară a OC&P în capacitatea sa de a identifica oameni din poziții încâlcite.

Pe lângă depășirea PoSeg și Pose2Seg, poate una dintre cele mai remarcabile realizări ale lucrării este că sistemul poate fi aplicat generic la cadre existente, inclusiv cele care au fost comparate cu el în teste (a se vedea comparațiile cu/și fără în prima casetă de rezultate, aproape de începutul articolului).

Lucrarea concluzionează:

‘Un beneficiu cheie al abordării noastre este că poate fi aplicat cu orice model sau alte îmbunătățiri axate pe model. Având în vedere viteza cu care se mișcă domeniul învățării profunde, este în avantajul tuturor să avem abordări care sunt foarte interoperabile cu orice alt aspect al antrenamentului. Lăsăm ca lucrare viitoare integrarea acesteia cu îmbunătățiri axate pe model pentru a rezolva eficient segmentarea instanțelor ocluzionate de oameni.’

Potential pentru îmbunătățirea sintezei text-la-imagine

Autorul principal, Evan Ling, a observat, într-un e-mail trimis nouă*, că beneficiul principal al OC&P este că poate păstra etichetele originale de masca și obține valoare nouă din ele “gratuit” într-un context nou – adică imaginile în care au fost lipite.

Deși segmentarea semantică a oamenilor pare strâns legată de dificultatea pe care o au modelele, cum ar fi Stable Diffusion, de a individua oameni (în loc de “a-i topi” împreună, așa cum face adesea), orice influență pe care cultura de etichetare semantică ar putea-o avea asupra renderizărilor umane de coșmar pe care SD și DALL-E 2 le produc adesea este foarte, foarte departe upstream.

Miliardele de imagini din subsetul LAION 5B care populează puterea generativă a Stable Diffusion nu conțin etichete de nivel de obiect, cum ar fi cutii de delimitare și măști de instanță, chiar dacă arhitectura CLIP care compune renderizările din imagini și conținut de bază ar fi putut beneficia la un moment dat de astfel de instantanțiere; mai degrabă, imaginile LAION sunt etichetate “gratuit”, deoarece etichetele lor au fost derivate din metadate și captionuri de mediu, etc., care au fost asociate cu imaginile atunci când au fost extrase din web în setul de date.

‘Dar, pe de altă parte,’ a spus Ling, ‘o astfel de augmentare similară cu OC&P poate fi utilizată în timpul antrenamentului modelului generativ text-la-imagine. Dar aș crede că realismul imaginii de antrenament augmentate ar putea deveni o problemă.

‘În lucrarea noastră, arătăm că “realismul perfect” nu este, în general, necesar pentru segmentarea instanțelor supravegheate, dar nu sunt prea sigur dacă aceeași concluzie poate fi trasă pentru antrenamentul modelului generativ text-la-imagine (în special atunci când ieșirile sale sunt așteptate să fie foarte realiste). În acest caz, ar putea fi necesară mai multă muncă pentru “perfecționarea” realismului imaginilor augmentate.’

CLIP este deja utilizat ca un instrument multimodal posibil pentru segmentarea semantică, sugerând că sisteme îmbunătățite de recunoaștere și individuare a oamenilor, cum ar fi OC&P, ar putea fi în cele din urmă dezvoltate în filtre sau clasificatoare interne care ar respinge în mod arbitrar reprezentări umane “fuzionate” și distorsionate – o sarcină care este greu de realizat în prezent cu Stable Diffusion, deoarece are o capacitate limitată de a înțelege unde a greșit (dacă ar fi avut o astfel de capacitate, nu ar fi făcut greșeala în primul rând).

Doar unul dintre numeroasele proiecte care utilizează în prezent cadrul CLIP al OpenAI – inima DALL-E 2 și Stable Diffusion – pentru segmentarea semantică. Sursă: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘O altă întrebare ar fi,’ sugerează Ling, ‘va funcționa simpla alimentare a acestor modele generative cu imagini de oameni ocluzionați în timpul antrenamentului, fără o proiectare complementară a arhitecturii modelului pentru a mitiga problema “fuzionării oamenilor”? Acesta este probabil un răspuns greu de dat din start. Va fi cu siguranță interesant să vedem cum putem îmbunătăți o astfel de îndrumare la nivel de instanță (prin etichete la nivel de instanță, cum ar fi masca instanței) în timpul antrenamentului modelului generativ text-la-imagine.’

* 10 octombrie 2022

Publicat pentru prima dată pe 10 octombrie 2022.