Il rilevamento di oggetti è stato una sfida fondamentale nell’industria della visione artificiale, con applicazioni nella robotica, nella comprensione delle immagini, nei veicoli autonomi e nel riconoscimento di immagini. Negli ultimi anni, il lavoro innovativo nell’ambito dell’intelligenza artificiale, in particolare attraverso le reti neurali profonde, ha avanzato notevolmente il rilevamento di oggetti. Tuttavia, questi modelli hanno un vocabolario fisso, limitato alle 80 categorie del dataset COCO. Questa limitazione deriva dal processo di formazione, in cui i rilevatori di oggetti vengono addestrati a riconoscere solo categorie specifiche, limitando così la loro applicabilità.

Per superare questo limite, introduciamo YOLO-World, un approccio innovativo volto a migliorare la capacità della piattaforma YOLO (You Only Look Once) con capacità di rilevamento di oggetti con vocabolario aperto. Ciò viene realizzato pre-addestrando la piattaforma su grandi dataset e implementando un approccio di modellazione linguaggio-visione. In particolare, YOLO-World utilizza una rete di aggregazione di percorsi linguaggio-visione riparametrizzabile (RepVL-PAN) e una perdita contrastiva regione-testo per favorire l’interazione tra informazioni linguistiche e visive. Attraverso RepVL-PAN e la perdita contrastiva regione-testo, YOLO-World può rilevare con precisione un’ampia gamma di oggetti in un ambiente di zero-shot, mostrando prestazioni notevoli nel rilevamento di oggetti e segmentazione con vocabolario aperto.

Questo articolo si propone di fornire una comprensione approfondita dei fondamenti tecnici di YOLO-World, dell’architettura del modello, del processo di formazione e degli scenari di applicazione. Entriamo nel dettaglio.

YOLO-World: Rilevamento di Oggetti in Tempo Reale con Vocabolario Aperto

YOLO o You Only Look Once è uno dei metodi più popolari per il rilevamento di oggetti moderno all’interno dell’industria della visione artificiale. Riconosciuto per la sua incredibile velocità ed efficienza, l’avvento del meccanismo YOLO ha rivoluzionato il modo in cui le macchine interpretano e rilevano oggetti specifici all’interno di immagini e video in tempo reale. I tradizionali framework di rilevamento di oggetti implementano un approccio di rilevamento di oggetti in due passaggi: nel primo passaggio, il framework propone regioni che potrebbero contenere l’oggetto, e il framework classifica l’oggetto nel passaggio successivo. Il framework YOLO, invece, integra questi due passaggi in un unico modello di rete neurale, un approccio che consente al framework di esaminare l’immagine solo una volta per prevedere l’oggetto e la sua posizione all’interno dell’immagine, e quindi il nome YOLO o You Only Look Once.

Inoltre, il framework YOLO tratta il rilevamento di oggetti come un problema di regressione, e prevede direttamente le probabilità di classe e le caselle delimitanti dall’immagine completa in un’unica occhiata. L’implementazione di questo metodo non solo aumenta la velocità del processo di rilevamento, ma migliora anche la capacità del modello di generalizzare da dati complessi e diversi, rendendolo una scelta adatta per applicazioni che operano in tempo reale come la guida autonoma, la rilevazione della velocità o il riconoscimento di targhe. Inoltre, il notevole avanzamento delle reti neurali profonde negli ultimi anni ha anche contribuito significativamente allo sviluppo dei framework di rilevamento di oggetti, ma il successo dei framework di rilevamento di oggetti è ancora limitato poiché sono in grado di rilevare oggetti solo con un vocabolario limitato. Ciò è principalmente dovuto al fatto che, una volta definite e etichettate le categorie di oggetti nel dataset, i rilevatori di oggetti addestrati nel framework sono in grado di riconoscere solo queste categorie specifiche, limitando così l’applicabilità e la capacità di distribuire modelli di rilevamento di oggetti in scenari reali e aperti.

Proseguendo, i modelli di visione-linguaggio di recente sviluppo utilizzano conoscenze di vocabolario distillate da encoder di linguaggio per affrontare il rilevamento con vocabolario aperto. Sebbene questi framework performino meglio dei tradizionali modelli di rilevamento di oggetti nel rilevamento con vocabolario aperto, hanno ancora una limitata applicabilità a causa della scarsa disponibilità di dati di formazione con limitata diversità di vocabolario. Inoltre, framework selezionati addestrano rilevatori di oggetti con vocabolario aperto su larga scala e categorizzano i rilevatori di oggetti di formazione come pre-addestramento di visione-linguaggio a livello di regione. Tuttavia, l’approccio continua a lottare nel rilevamento di oggetti in tempo reale a causa di due motivi principali: processo di distribuzione complesso per dispositivi edge e pesanti requisiti computazionali. D’altra parte, questi framework hanno dimostrato risultati positivi dall’addestramento di grandi rilevatori per impiegarli con capacità di riconoscimento aperto.

Il framework YOLO-World si propone di raggiungere un rilevamento di oggetti con vocabolario aperto altamente efficiente e di esplorare la possibilità di approcci di pre-addestramento su larga scala per aumentare l’efficienza dei tradizionali rilevatori YOLO per il rilevamento di oggetti con vocabolario aperto. Contrariamente ai lavori precedenti nel rilevamento di oggetti, il framework YOLO-World mostra una notevole efficienza con alte velocità di inferenza e può essere distribuito su applicazioni a valle con facilità. Il modello YOLO-World segue l’architettura tradizionale YOLO e codifica i testi di input sfruttando le capacità di un encoder di testo CLIP pre-addestrato. Inoltre, il framework YOLO-World include un componente di rete di aggregazione di percorsi linguaggio-visione riparametrizzabile (RepVL-PAN) nella sua architettura per collegare caratteristiche di immagine e testo per rappresentazioni visivo-semantiche migliorate. Durante la fase di inferenza, il framework rimuove l’encoder di testo e riparametrizza le codifiche di testo in pesi di RepVL-PAN, risultando in una distribuzione efficiente. Il framework include anche l’apprendimento contrastivo regione-testo nella sua architettura per studiare metodi di pre-addestramento con vocabolario aperto per i modelli YOLO tradizionali. Il metodo di apprendimento contrastivo regione-testo unifica dati di immagine-testo, dati di ancoraggio e dati di rilevamento in coppie regione-testo. Basandosi su ciò, il framework YOLO-World pre-addestrato su coppie regione-testo dimostra capacità notevoli per il rilevamento con vocabolario aperto e grande. Inoltre, il framework YOLO-World esplora anche un paradigma di rilevamento con prompt per migliorare l’efficienza del rilevamento di oggetti con vocabolario aperto in scenari reali e in tempo reale.

Come mostrato nell’immagine seguente, i rilevatori di oggetti tradizionali si concentrano su un insieme chiuso di rilevamento con vocabolario fisso e categorie predefinite, mentre i rilevatori con vocabolario aperto rilevano oggetti codificando prompt utente con encoder di testo per il vocabolario aperto. In confronto, l’approccio di YOLO-World “prompt-then-detect” costruisce prima un vocabolario offline (vocabolario variabile per esigenze variabili) codificando i prompt utente, permettendo ai rilevatori di interpretare il vocabolario offline in tempo reale senza dover ricodificare i prompt.

YOLO-World: Metodi e Architettura

Coppie Region-Testo

Tradizionalmente, i framework di rilevamento di oggetti, inclusa la famiglia di rilevatori YOLO, vengono addestrati utilizzando annotazioni di istanze che contengono etichette di categoria e caselle delimitanti. In contrasto, il framework YOLO-World riformula le annotazioni di istanze come coppie regione-testo dove il testo può essere la descrizione dell’oggetto, frasi nominali o nome di categoria. È importante notare che il framework YOLO-World adotta sia testi che immagini come input e output previsioni di caselle con le relative codifiche di oggetto.

Architettura del Modello

Al suo nucleo, il modello YOLO-World consiste di un encoder di testo, un rilevatore YOLO e il componente di rete di aggregazione di percorsi linguaggio-visione riparametrizzabile (RepVL-PAN), come illustrato nell’immagine seguente.

Per un testo di input, il componente di encoder di testo codifica il testo in codifiche di testo seguite dall’estrazione di caratteristiche multi-scala dall’immagine di input da parte del rilevatore YOLO. Il componente di rete di aggregazione di percorsi linguaggio-visione riparametrizzabile (RepVL-PAN) sfrutta poi la fusione cross-modale tra le codifiche di testo e le caratteristiche per migliorare le rappresentazioni testo-immagine.

Rilevatore YOLO

Il modello YOLO-World è costruito sul framework YOLOv8 esistente che contiene un componente di rete oscura come encoder di immagine, una testa per le codifiche di oggetto e la regressione della casella delimitante, e una rete di aggregazione di percorsi (PAN) per piramidi di caratteristiche multi-scala.

Encoder di Testo

Per un testo dato, il modello YOLO-World estrae le relative codifiche di testo adottando un encoder di testo CLIP pre-addestrato con un certo numero di nomi e dimensione di codifica. Il motivo principale per cui il framework YOLO-World adotta un encoder di testo CLIP è che offre migliori prestazioni visivo-semantiche per collegare testi con oggetti visivi, superando notevolmente gli encoder di linguaggio tradizionali. Tuttavia, se il testo di input è una didascalia o un’espressione di riferimento, il modello YOLO-World opta per un algoritmo n-gram più semplice per estrarre le frasi. Queste frasi vengono poi alimentate all’encoder di testo.

Testa Contrastiva

La testa decoupled è un componente utilizzato da modelli di rilevamento di oggetti precedenti, e il framework YOLO-World adotta una testa decoupled con due convoluzioni 3×3 per regredire le codifiche di oggetto e le caselle delimitanti per un numero fisso di oggetti. Il framework YOLO-World impiega una testa contrastiva per ottenere la similarità oggetto-testo utilizzando l’approccio di normalizzazione L2 e le codifiche di testo. Inoltre, il modello YOLO-World impiega anche l’approccio di trasformazione affine con un fattore di spostamento e un fattore di scala apprendibile, con la normalizzazione L2 e la trasformazione affine che migliorano la stabilità del modello durante l’addestramento regione-testo.

Addestramento del Vocabolario Online

Durante la fase di addestramento, il modello YOLO-World costruisce un vocabolario online per ogni campione mosaico composto da 4 immagini ciascuno. Il modello campiona tutti i nomi positivi inclusi nelle immagini mosaico e campiona alcuni nomi negativi casualmente dal dataset corrispondente. Il vocabolario per ogni campione consiste di un massimo di n nomi, con il valore predefinito pari a 80.

Inferenza del Vocabolario Offline

Durante l’inferenza, il modello YOLO-World presenta una strategia “prompt-then-detect” con vocabolario offline per migliorare ulteriormente l’efficienza del modello. L’utente definisce prima una serie di prompt personalizzati che potrebbero includere categorie o didascalie. Il modello YOLO-World ottiene quindi le codifiche di vocabolario offline utilizzando l’encoder di testo per codificare questi prompt. Di conseguenza, il vocabolario offline per l’inferenza aiuta il modello a evitare calcoli per ogni input e consente anche al modello di regolare il vocabolario in modo flessibile in base alle esigenze.

Rete di Aggregazione di Percorsi Linguaggio-Visione Riparametrizzabile (RevVL-PAN)

La figura seguente illustra la struttura della rete di aggregazione di percorsi linguaggio-visione riparametrizzabile proposta che segue i percorsi top-down e bottom-up per stabilire la piramide di caratteristiche con immagini di caratteristiche multi-scala.

Per migliorare l’interazione tra caratteristiche testo-immagine, il modello YOLO-World propone un’attenzione di pooling di immagine e una guida di testo per lo strato CSPL (Cross-Stage Partial Layers) con l’obiettivo finale di migliorare le rappresentazioni visivo-semantiche per le capacità di vocabolario aperto. Durante l’inferenza, il modello YOLO-World riparametrizza le codifiche di vocabolario offline nei pesi dei layer lineari o convoluzionali per una distribuzione efficace.

Come si può vedere nella figura sopra, il modello YOLO-World utilizza lo strato CSPL dopo la fusione top-down o bottom-up e incorpora la guida di testo nelle caratteristiche di immagine multi-scala, formando lo strato CSPL guidato da testo, estendendo così lo strato CSPL. Per ogni caratteristica di immagine e la sua codifica di testo corrispondente, il modello adotta l’attenzione max-sigmoid dopo l’ultimo blocco di collo per aggregare le caratteristiche di testo nelle caratteristiche di immagine. La caratteristica di immagine aggiornata viene quindi concatenata con le caratteristiche cross-stage e presentata come output.

Proseguendo, il modello YOLO-World aggrega le caratteristiche di immagine per aggiornare la codifica di testo introducendo lo strato di attenzione di pooling di immagine per migliorare le codifiche di testo con informazioni consapevoli di immagine. Invece di utilizzare l’attenzione cross direttamente sulle caratteristiche di immagine, il modello sfrutta il pooling massimo su caratteristiche multi-scala per ottenere 3×3 regioni, risultando in 27 token di patch con il modello che aggiorna le codifiche di testo nel passaggio successivo.

Schema di Pre-Addestramento

Il modello YOLO-World segue due schemi di pre-addestramento principali: apprendimento da perdita contrastiva regione-testo e etichettatura pseudo con dati immagine-testo. Per lo schema di pre-addestramento principale, il modello produce previsioni di oggetti insieme alle annotazioni per un testo e campioni mosaico dati. Il framework YOLO-World abbina le previsioni con le annotazioni di verità di base seguendo e sfruttando l’assegnazione di etichette di task, e assegna previsioni positive individuali con un indice di testo che serve come etichetta di classificazione. D’altra parte, lo schema di pre-addestramento di etichettatura pseudo con dati immagine-testo propone di utilizzare un approccio di etichettatura automatizzata invece di utilizzare coppie immagine-testo per generare coppie regione-testo. L’approccio di etichettatura proposto consiste di tre passaggi: estrazione di frasi nominali, etichettatura pseudo e filtraggio. Il primo passaggio utilizza l’algoritmo n-gram per estrarre frasi nominali dal testo di input, il secondo passaggio adotta un rilevatore di vocabolario aperto pre-addestrato per generare caselle pseudo per la frase nominale data per immagini individuali, mentre il terzo e ultimo passaggio impiega un framework CLIP pre-addestrato per valutare la rilevanza delle coppie regione-testo e testo-immagine, dopo di che il modello filtra immagini e annotazioni di bassa rilevanza.

YOLO-World: Risultati

Una volta che il modello YOLO-World è stato pre-addestrato, viene valutato direttamente sul dataset LVIS in un ambiente di zero-shot, con il dataset LVIS che consiste di oltre 1200 categorie, significativamente più dei dataset di pre-addestramento utilizzati da framework esistenti per testare le loro prestazioni nel rilevamento di vocabolario grande. La figura seguente dimostra le prestazioni del framework YOLO-World con alcuni dei framework di rilevamento di oggetti attuali sul dataset LVIS in un ambiente di zero-shot.

Come si può osservare, il framework YOLO-World supera la maggior parte dei framework esistenti in termini di velocità di inferenza e prestazioni di zero-shot, anche con framework come Grounding DINO, GLIP e GLIPv2 che incorporano più dati. Complessivamente, i risultati dimostrano che modelli di rilevamento di oggetti piccoli come YOLO-World-S con solo 13 milioni di parametri possono essere utilizzati per il pre-addestramento su compiti di visione-linguaggio con capacità di vocabolario aperto notevoli.

Pensieri Finali

In questo articolo, abbiamo parlato di YOLO-World, un approccio innovativo che si propone di migliorare le capacità del framework YOLO con capacità di rilevamento di oggetti con vocabolario aperto pre-addestrando la piattaforma su grandi dataset e implementando l’approccio di modellazione linguaggio-visione. In particolare, il framework YOLO-World propone di implementare una rete di aggregazione di percorsi linguaggio-visione riparametrizzabile (RepVL-PAN) insieme alla perdita contrastiva regione-testo per favorire l’interazione tra informazioni linguistiche e visive. Implementando RepVL-PAN e la perdita contrastiva regione-testo, il framework YOLO-World è in grado di rilevare con precisione un’ampia gamma di oggetti in un ambiente di zero-shot, mostrando prestazioni notevoli nel rilevamento di oggetti e segmentazione con vocabolario aperto.