Separazione di esseri umani ‘fusi’ nella visione computerizzata

Un nuovo articolo del centro di innovazione del gruppo Hyundai Motor a Singapore offre un metodo per separare esseri umani ‘fusi’ nella visione computerizzata – quei casi in cui il framework di riconoscimento degli oggetti ha trovato un essere umano che è in qualche modo ‘troppo vicino’ a un altro essere umano (come azioni di ‘abbraccio’ o pose di ‘dietro’), e non è in grado di distinguere le due persone rappresentate, confondendole per una sola persona o entità.

Due diventano uno, ma non è una cosa buona nella segmentazione semantica. Qui vediamo il nuovo sistema del paper raggiungere risultati di stato dell’arte sull’individuazione di persone intrecciate in immagini complesse e sfidanti. Fonte: https://arxiv.org/pdf/2210.03686.pdf

Questo è un problema notevole che ha ricevuto molta attenzione nella comunità di ricerca negli ultimi anni. Risolverlo senza l’evidente ma di solito costoso onere della personalizzazione su larga scala, potrebbe eventualmente consentire miglioramenti nell’individuazione degli esseri umani in sistemi di testo-immagine come Stable Diffusion, che spesso ‘fondono’ le persone insieme quando una posa richiesta richiede più persone vicine l’una all’altra.

Abbracciate l’orrore – modelli di testo-immagine come DALL-E 2 e Stable Diffusion (entrambi presentati sopra) lottano per rappresentare le persone in prossimità l’una dell’altra.

Sebbene i modelli generativi come DALL-E 2 e Stable Diffusion non utilizzino (per quanto ne sa chiunque, nel caso del chiuso DALL-E 2) attualmente la segmentazione semantica o il riconoscimento degli oggetti, questi orribili portmanteau umani non potrebbero attualmente essere curati applicando tali metodi a monte – perché lo stato dell’arte delle librerie e delle risorse di riconoscimento degli oggetti non è molto migliore nel distinguere le persone rispetto ai flussi di lavoro basati su CLIP dei modelli di diffusione latente.

Per affrontare questo problema, il nuovo articolo – intitolato Humans need not label more humans: Occlusion Copy & Paste for Occluded Human Instance Segmentation – adatta e migliora un recente approccio ‘taglia e incolla’ per dati semi-sintetici per raggiungere un nuovo primato nella task, anche contro il materiale di origine più sfidante:

La nuova metodologia Occlusion Copy & Paste attualmente guida il campo anche contro precedenti framework e approcci che affrontano la sfida in modi più elaborati e dedicati, come la modellazione specifica per l’occlusione.

Taglia Via!

Il metodo modificato – intitolato Occlusion Copy & Paste – è derivato dal paper del 2021 Simple Copy-Paste, guidato da Google Research, che suggeriva che sovrapporre oggetti e persone estratti tra diverse immagini di addestramento potesse migliorare la capacità di un sistema di riconoscimento di immagini di discretizzare ogni istanza trovata in un’immagine:

Dal paper del 2021 guidato da Google Research ‘Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation’, vediamo elementi da una foto ‘migrare’ in altre foto, con l’obiettivo di addestrare un modello di riconoscimento di immagini migliore e più acuto. Fonte: https://arxiv.org/pdf/2012.07177.pdf

La nuova versione aggiunge limitazioni e parametri a questo ‘ri-pasting’ automatizzato e algoritmico, analogizzandolo in un ‘cesto’ di immagini piene di potenziali candidati per il ‘trasferimento’ in altre immagini, in base a diversi fattori chiave.

Il flusso di lavoro concettuale per OC&P.

Controllare gli Elementi

Quei fattori limitanti includono probabilità di un taglio e incolla, che garantisce che il processo non si verifichi ogni volta, il che raggiungerebbe un effetto ‘saturante’ che comprometterebbe l’aumento dei dati; il numero di immagini che un cesto avrà in un dato momento, dove un numero maggiore di ‘segmenti’ può migliorare la varietà di istanze, ma aumentare il tempo di pre-elaborazione; e range, che determina il numero di immagini che verranno incollate in un’immagine ‘host’.

Riguardo a quest’ultimo, il paper nota ‘Abbiamo bisogno di abbastanza occlusione, ma non troppa, altrimenti potrebbe sovraccaricare l’immagine, il che potrebbe essere dannoso per l’apprendimento.’

Gli altri due innovazioni per OC&P sono incolla mirato e incolla di istanza aumentata.

L’incolla mirato garantisce che un’immagine appropriata atterri vicino a un’istanza esistente nell’immagine di destinazione. Nel precedente approccio, dal lavoro precedente, il nuovo elemento era limitato solo all’interno dei confini dell’immagine, senza alcuna considerazione del contesto.

Sebbene questo ‘incolla dentro’, con incolla mirato, sia ovvio all’occhio umano, sia OC&P che il suo predecessore hanno trovato che un aumento della credibilità visiva non è necessariamente importante, e potrebbe addirittura essere un ostacolo (vedi ‘Reality Bites’ di seguito).

L’incolla di istanza aumentata, d’altra parte, garantisce che le istanze incollate non dimostrino un ‘aspetto distintivo’ che potrebbe essere classificato dal sistema in qualche modo, il che potrebbe portare a esclusione o ‘trattamento speciale’ che potrebbe ostacolare la generalizzazione e l’applicabilità. L’incolla aumentata modula fattori visivi come luminosità e nitidezza, scala e rotazione, e saturazione – tra gli altri fattori.

Dai materiali supplementari del nuovo paper: aggiungere OC&P a framework di riconoscimento esistenti è abbastanza banale, e produce una migliore individuazione di persone in spazi molto ravvicinati. Fonte: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

Inoltre, OC&P regola una dimensione minima per ogni istanza incollata. Ad esempio, potrebbe essere possibile estrarre un’immagine di una persona da una scena di folla enorme, che potrebbe essere incollata in un’altra immagine – ma in tal caso, il piccolo numero di pixel coinvolti non sarebbe probabilmente utile per il riconoscimento. Pertanto, il sistema applica una scala minima in base al rapporto di lunghezza dei lati ugualizzati per l’immagine di destinazione.

Inoltre, OC&P istituisce un incolla consapevole della scala, dove, oltre a cercare soggetti simili a quello dell’incolla, tiene conto delle dimensioni delle caselle delimitanti nell’immagine di destinazione. Tuttavia, ciò non porta a immagini composite che le persone considererebbero plausibili o realistiche (vedi immagine sotto), ma piuttosto assembla elementi semanticamente appropriati vicino l’uno all’altro in modi che sono utili durante l’addestramento.

La Realtà Morde

Sia il lavoro precedente su cui si basa OC&P, sia l’attuale implementazione, pongono un basso premio sull’autenticità, o la ‘fotorealtà’ di qualsiasi immagine ‘montata’ finale. Sebbene sia importante che l’assemblaggio finale non scenda interamente nel Dadaismo (altrimenti le distribuzioni nel mondo reale dei sistemi addestrati non potrebbero mai sperare di incontrare elementi in tali scene come quelle su cui sono stati addestrati), entrambi gli sforzi hanno trovato che un notevole aumento della ‘credibilità visiva’ non solo aggiunge tempo di pre-elaborazione, ma che tali ‘miglioramenti della realtà’ sono probabilmente controproducenti.

Dai materiali supplementari del nuovo paper: esempi di immagini aumentate con ‘blending casuale’. Sebbene queste scene possano sembrare allucinogene a una persona, hanno comunque soggetti simili messi insieme; sebbene le occlusioni siano fantasiose all’occhio umano, la natura di una potenziale occlusione non può essere conosciuta in anticipo, e non può essere addestrata – pertanto, tali strani ‘tagli’ di forma sono sufficienti per costringere il sistema addestrato a cercare e riconoscere soggetti parziali, senza dover sviluppare metodologie elaborate di tipo Photoshop per rendere le scene più plausibili.

Dati e Test

Per la fase di testing, il sistema è stato addestrato sulla classe persona del dataset MS COCO, che presenta 262.465 esempi di esseri umani su 64.115 immagini. Tuttavia, per ottenere maschere di migliore qualità rispetto a quelle di MS COCO, le immagini hanno anche ricevuto annotazioni di maschera LVIS.

Rilasciato nel 2019, LVIS, della ricerca di Facebook, è un dataset voluminoso per la segmentazione di istanze a vocabolario grande. Fonte: https://arxiv.org/pdf/1908.03195.pdf

Per valutare quanto bene il sistema aumentato potesse contendere con un grande numero di immagini di esseri umani occlusi, i ricercatori hanno confrontato OC&P con il benchmark OCHuman (Occluded Human).

Esempi dal dataset OCHuman, introdotto a sostegno del progetto di rilevamento Pose2Seg nel 2018. Questa iniziativa ha cercato di derivare una segmentazione semantica migliorata delle persone utilizzando la loro posizione e la loro posa come delimitatore semantico dei pixel che rappresentano i loro corpi. Fonte: https://github.com/liruilong940607/OCHumanApi

Dal momento che il benchmark OCHuman non è esaurientemente annotato, i ricercatori del nuovo paper hanno creato un subset di solo quegli esempi che erano completamente etichettati, intitolato OCHuman^FL. Ciò ha ridotto il numero di istanze persona a 2.240 su 1.113 immagini per la convalida, e 1.923 istanze su 951 immagini utilizzate per il testing. Sia il set originale che quello appena creato sono stati testati, utilizzando la precisione media (mAP) come metrica principale.

Per la coerenza, l’architettura è stata formata da Mask R-CNN con un backbone ResNet-50 e una rete a piramide di caratteristiche, quest’ultima fornendo un compromesso accettabile tra accuratezza e velocità di addestramento.

Con i ricercatori che hanno notato l’effetto deleterio dell’influenza upstream di ImageNet in situazioni simili, l’intero sistema è stato addestrato da zero su 4 GPU NVIDIA V100, per 75 epoche, seguendo i parametri di inizializzazione del rilascio di Facebook del 2021 Detectron 2.

Risultati

Oltre ai risultati menzionati sopra, i risultati di base contro MMDetection (e i suoi tre modelli associati) per i test hanno indicato un chiaro vantaggio per OC&P nella sua capacità di individuare esseri umani da pose intricate.

Oltre a superare PoSeg e Pose2Seg, forse uno dei risultati più significativi del paper è che il sistema può essere applicato in modo abbastanza generico a framework esistenti, inclusi quelli che sono stati confrontati con esso nei test (vedi le comparazioni con/senza nel primo riquadro dei risultati, vicino all’inizio dell’articolo).

Il paper conclude:

‘Un vantaggio chiave del nostro approccio è che può essere applicato facilmente con qualsiasi modello o miglioramento del modello. Data la velocità con cui si muove il campo del deep learning, è a vantaggio di tutti avere approcci che siano altamente interoperabili con ogni altro aspetto dell’addestramento. Lasciamo come lavoro futuro integrare questo con miglioramenti del modello per risolvere efficacemente la segmentazione di istanze di persone occluse.’

Potenziale per Migliorare la Sintesi Testo-Immagine

L’autore principale Evan Ling ha osservato, in un’e-mail a noi*, che il principale vantaggio di OC&P è che può mantenere etichette di maschera originali e ottenere nuovo valore da esse ‘gratuitamente’ in un contesto nuovo – cioè, le immagini in cui sono state incollate.

Sebbene la segmentazione semantica degli esseri umani sembri strettamente legata alla difficoltà che modelli come Stable Diffusion hanno nell’individuare le persone (invece di ‘fonderle insieme’, come spesso fa), qualsiasi influenza che l’etichettatura semantica potrebbe avere con i resi umani ‘incubo’ che SD e DALL-E 2 spesso producono è molto a monte.

I miliardi di immagini del subset LAION 5B che popolano il potere generativo di Stable Diffusion non contengono etichette di oggetto come caselle delimitanti e maschere di istanza, anche se l’architettura CLIP che compone i render da immagini e contenuti del database potrebbe aver tratto vantaggio in qualche modo da tali istanze; piuttosto, le immagini LAION sono etichettate ‘gratuitamente’, poiché le loro etichette sono state derivate da metadati e didascalie ambientali, ecc., che erano associate alle immagini quando sono state estratte dal web nel dataset.

‘Ma a parte questo,’ ha detto Ling a noi. ‘un tipo di aumento simile al nostro OC&P può essere utilizzato durante l’addestramento del modello generativo testo-immagine. Ma penso che la realtà dell’immagine di addestramento aumentata potrebbe diventare un problema.

‘Nel nostro lavoro, mostriamo che la ‘perfetta’ realtà non è generalmente richiesta per la segmentazione di istanze supervisionata, ma non sono sicuro se la stessa conclusione possa essere tratta per l’addestramento del modello generativo testo-immagine (soprattutto quando i loro output sono previsti essere altamente realistici). In questo caso, potrebbe essere necessario fare più lavoro in termini di ‘perfezionamento’ della realtà delle immagini aumentate.’

CLIP è già in uso come possibile strumento multimodale per la segmentazione semantica, suggerendo che sistemi di riconoscimento e individuazione di persone migliorati come OC&P potrebbero essere sviluppati in filtri o classificatori in-system che rifiuterebbero arbitrariamente rappresentazioni umane ‘fuse’ e distorte – un compito che è difficile da realizzare attualmente con Stable Diffusion, poiché ha una capacità limitata di capire dove ha sbagliato (se avesse tale capacità, probabilmente non avrebbe fatto l’errore per primo).

Solo uno dei molti progetti attualmente in uso con il framework CLIP di OpenAI – il cuore di DALL-E 2 e Stable Diffusion – per la segmentazione semantica. Fonte: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘Un’altra domanda sarebbe,’ suggerisce Ling. ‘funzionerà semplicemente alimentando questi modelli generativi con immagini di esseri umani occlusi durante l’addestramento, senza un design complementare dell’architettura del modello per mitigare il problema del ‘fusing’ degli esseri umani? Quella è probabilmente una domanda difficile da rispondere a priori. Sarà sicuramente interessante vedere come possiamo infondere un tipo di guida a livello di istanza (tramite etichette di istanza come maschera di istanza) durante l’addestramento del modello generativo testo-immagine.’

* 10 ottobre 2022

Pubblicato per la prima volta il 10 ottobre 2022.