AnomalyGPT: rilevamento di anomalie industriali utilizzando LVLM

Recentemente, i Large Vision Language Models (LVLM) come LLava e MiniGPT-4 hanno dimostrato la capacità di comprendere le immagini e raggiungere un’elevata accuratezza ed efficienza in diversi compiti visivi. Tuttavia, i LVLM eccellono nel riconoscere oggetti comuni a causa dei loro estensivi set di dati di addestramento, ma mancano di conoscenze specifiche di dominio e hanno una limitata comprensione dei dettagli localizzati all’interno delle immagini. Ciò limita la loro efficacia nei compiti di rilevamento di anomalie industriali (IAD). D’altro lato, i framework IAD esistenti possono solo identificare le fonti di anomalie e richiedono impostazioni manuali di soglie per distinguere tra campioni normali e anomali, rendendoli così inadatti per applicazioni pratiche.

L’obiettivo principale di un framework IAD è rilevare e localizzare le anomalie in scenari industriali e immagini di prodotti. Tuttavia, a causa dell’imprevedibilità e della rarità dei campioni di immagini del mondo reale, i modelli sono solitamente addestrati solo su dati normali. Essi differenziano i campioni anomali da quelli normali in base alle deviazioni dai campioni tipici. Attualmente, i framework IAD e i modelli forniscono principalmente punteggi di anomalia per i campioni di test. Inoltre, distinguere tra istanze normali e anomale per ogni classe di oggetti richiede la specificazione manuale di soglie, rendendoli inadatti per applicazioni del mondo reale.

Per esplorare l’utilizzo e l’implementazione dei Large Vision Language Models nel risolvere le sfide poste dai framework IAD, è stato introdotto AnomalyGPT, un approccio IAD innovativo basato su LVLM. AnomalyGPT può rilevare e localizzare le anomalie senza la necessità di impostazioni manuali di soglie. Inoltre, AnomalyGPT può anche offrire informazioni pertinenti sull’immagine per interagire interattivamente con gli utenti, consentendo loro di porre domande successive in base all’anomalia o alle loro esigenze specifiche.

Rilevamento di anomalie industriali e Large Vision Language Models

I framework IAD esistenti possono essere categorizzati in due categorie.

1. Rilevamento di anomalie basato sulla ricostruzione.
2. Rilevamento di anomalie basato sull’incorporamento di caratteristiche.

In un framework IAD basato sulla ricostruzione, l’obiettivo principale è ricostruire i campioni di anomalia nei loro rispettivi campioni normali e rilevare le anomalie calcolando l’errore di ricostruzione. SCADN, RIAD, AnoDDPM e InTra utilizzano diversi framework di ricostruzione che vanno dalle reti antagoniste generate a autoencoder, ai modelli di diffusione e trasformatori.

D’altro lato, in un framework IAD basato sull’incorporamento di caratteristiche, l’obiettivo principale è concentrarsi sul modello di incorporamento di caratteristiche dei dati normali. Metodi come PatchSSVD cercano di trovare un’ipersfera che possa racchiudere strettamente i campioni normali, mentre framework come PyramidFlow e Cfl proiettano i campioni normali su una distribuzione gaussiana utilizzando flussi normalizzanti. I framework CFA e PatchCore hanno stabilito una banca di memoria di campioni normali da incorporamenti di patch e utilizzano la distanza tra l’incorporamento del campione di test e l’incorporamento normale per rilevare le anomalie.

Entrambi questi metodi seguono il paradigma di apprendimento “uno classe uno modello”, che richiede un grande numero di campioni normali per apprendere le distribuzioni di ogni classe di oggetti. La richiesta di un grande numero di campioni normali li rende impraticabili per nuove categorie di oggetti e con applicazioni limitate in ambienti di produzione dinamici. D’altro lato, il framework AnomalyGPT utilizza un paradigma di apprendimento in contesto per le categorie di oggetti, consentendogli di abilitare l’interferenza solo con un numero limitato di campioni normali.

Funzionamento di AnomalyGPT

AnomalyGPT è essenzialmente un modello di linguaggio visivo conversazionale IAD innovativo progettato principalmente per rilevare anomalie industriali e localizzarle esattamente utilizzando immagini. Il framework AnomalyGPT utilizza un modello LLM e un encoder di immagini pre-addestrato per allineare le immagini con le loro descrizioni testuali corrispondenti utilizzando dati di anomalia stimolati. Il modello introduce un modulo decodificatore e un modulo di apprendimento di prompt per migliorare le prestazioni dei sistemi IAD e raggiungere un output di localizzazione a livello di pixel.

Architettura del modello

L’immagine sopra rappresenta l’architettura di AnomalyGPT. Il modello passa prima l’immagine di query all’encoder di immagini congelato. Il modello estrae quindi le caratteristiche a livello di patch dai layer intermedi e le alimenta a un decodificatore di immagini per calcolare la loro somiglianza con testi anormali e normali per ottenere i risultati di localizzazione. Il modulo di apprendimento di prompt converte quindi i risultati in incorporamenti di prompt adatti per essere utilizzati come input nel modello LLM insieme agli input testuali dell’utente. Il modello LLM sfrutta quindi gli incorporamenti di prompt, gli input di immagine e gli input testuali dell’utente per rilevare le anomalie, localizzarle e creare risposte finali per l’utente.

Decodificatore

Per raggiungere la localizzazione di anomalie a livello di pixel, il modello AnomalyGPT utilizza un decodificatore di immagini basato sulla corrispondenza di caratteristiche leggero che supporta sia i framework IAD a pochi shot che quelli non supervisionati. La progettazione del decodificatore utilizzato in AnomalyGPT è ispirata ai framework WinCLIP, PatchCore e APRIL-GAN. Il modello divide l’encoder di immagini in 4 fasi e estrae le caratteristiche a livello di patch intermedie in ogni fase.

Tuttavia, queste caratteristiche intermedie non sono state sottoposte all’allineamento finale immagine-testo, il che significa che non possono essere confrontate direttamente con le caratteristiche. Per risolvere questo problema, il modello AnomalyGPT introduce strati aggiuntivi per proiettare le caratteristiche intermedie e allinearle con le caratteristiche testuali che rappresentano semantica normale e anormale.

Apprendimento di prompt

Il framework AnomalyGPT introduce un modulo di apprendimento di prompt che tenta di trasformare il risultato di localizzazione in incorporamenti di prompt per sfruttare la semantica fine-grana dalle immagini e mantenere la coerenza semantica tra gli output del decodificatore e del modello LLM. Inoltre, il modello incorpora incorporamenti di prompt apprendibili, non correlati agli output del decodificatore, nel modulo di apprendimento di prompt per fornire informazioni aggiuntive per il compito IAD. Infine, il modello alimenta gli incorporamenti e le informazioni di immagine originale al modello LLM.

Il modulo di apprendimento di prompt consiste in incorporamenti di prompt di base apprendibili e una rete neurale convoluzionale. La rete converte il risultato di localizzazione in incorporamenti di prompt e forma un set di incorporamenti di prompt che vengono quindi combinati con gli incorporamenti di immagine nel modello LLM.

Simulazione di anomalie

Il modello AnomalyGPT adotta il metodo NSA per simulare dati anormali. Il metodo NSA utilizza la tecnica di taglia-e-incolla utilizzando il metodo di editing di immagini di Poisson per alleviare la discontinuità introdotta dall’incolla di segmenti di immagini. La tecnica di taglia-e-incolla è comunemente utilizzata nei framework IAD per generare immagini di anomalie simulate.

Il metodo di taglia-e-incolla consiste nel ritagliare una regione di blocco da un’immagine in modo casuale e incollarla in una posizione casuale in un’altra immagine, creando così una porzione di anomalia simulata. Questi campioni di anomalie simulate possono migliorare le prestazioni dei modelli IAD, ma hanno uno svantaggio, poiché possono spesso produrre discontinuità evidenti. Il metodo di editing di Poisson mira a clonare in modo trasparente un oggetto da un’immagine all’altra risolvendo le equazioni differenziali parziali di Poisson.

L’immagine sopra illustra il confronto tra il metodo di Poisson e il metodo di taglia-e-incolla di editing di immagini. Come si può vedere, ci sono discontinuità evidenti nel metodo di taglia-e-incolla, mentre i risultati del metodo di Poisson sembrano più naturali.

Contenuto di domande e risposte

Per eseguire il tuning di prompt sul modello di linguaggio visivo, il modello AnomalyGPT genera una query testuale corrispondente in base all’immagine di anomalia. Ogni query consiste in due componenti principali. La prima parte della query consiste in una descrizione dell’immagine di input che fornisce informazioni sugli oggetti presenti nell’immagine insieme ai loro attributi attesi. La seconda parte della query è per rilevare la presenza di anomalie all’interno dell’oggetto o verificare se c’è un’anomalia nell’immagine.

Il modello LLM risponde prima alla query se c’è un’anomalia nell’immagine. Se il modello rileva un’anomalia, continua a specificare la posizione e il numero delle aree anormali. Il modello divide l’immagine in una griglia 3×3 di regioni distinte per consentire al modello LLM di indicare verbalmente la posizione delle anomalie come mostrato nella figura seguente.

Il modello LLM viene alimentato con le conoscenze descrittive dell’input con le conoscenze fondamentali dell’immagine di input che aiutano la comprensione dei componenti dell’immagine da parte del modello.

Set di dati e metriche di valutazione

Il modello esegue gli esperimenti principalmente sui set di dati VisA e MVTec-AD. Il set di dati MVTec-AD consiste in 3629 immagini per l’addestramento e 1725 immagini per il test, suddivise in 15 categorie diverse, il che lo rende uno dei set di dati più popolari per i framework IAD. Le immagini di addestramento presentano solo immagini normali, mentre le immagini di test presentano sia immagini normali che anormali. D’altro lato, il set di dati VisA consiste in 9621 immagini normali e quasi 1200 immagini anormali, suddivise in 12 categorie diverse.

Proseguendo, come i framework IAD esistenti, il modello AnomalyGPT utilizza l’AUC (Area Under the Receiver Operating Characteristics) come metrica di valutazione, con AUC a livello di pixel e a livello di immagine utilizzati per valutare le prestazioni di localizzazione di anomalie e rilevamento di anomalie, rispettivamente. Tuttavia, il modello utilizza anche l’accuratezza a livello di immagine per valutare le prestazioni del suo approccio proposto, poiché consente di determinare la presenza di anomalie senza la necessità di impostare manualmente le soglie.

Risultati

Risultati quantitativi

Rilevamento di anomalie industriali a pochi shot

Il modello AnomalyGPT confronta i suoi risultati con i framework IAD a pochi shot precedenti, tra cui PaDiM, SPADE, WinCLIP e PatchCore, come baseline.

La figura sopra confronta i risultati del modello AnomalyGPT con i framework IAD a pochi shot. In entrambi i set di dati, il metodo seguito da AnomalyGPT supera gli approcci adottati dai modelli precedenti in termini di AUC a livello di immagine e restituisce anche una buona accuratezza.

Rilevamento di anomalie industriali non supervisionato

In un ambiente di addestramento non supervisionato con un grande numero di campioni normali, AnomalyGPT addestra un singolo modello su campioni ottenuti da tutte le classi all’interno di un set di dati. Gli sviluppatori di AnomalyGPT hanno scelto il framework UniAD perché è stato addestrato nello stesso setup e agirà come baseline per il confronto. Inoltre, il modello confronta anche con i framework JNLD e PaDim utilizzando lo stesso setup unificato.

La figura sopra confronta le prestazioni di AnomalyGPT rispetto ad altri framework.

Risultati qualitativi

La figura sopra illustra le prestazioni del modello AnomalyGPT nel rilevamento di anomalie non supervisionato, mentre la figura seguente dimostra le prestazioni del modello nel metodo di apprendimento in contesto a un solo shot.

Il modello AnomalyGPT è in grado di indicare la presenza di anomalie, segnalare la loro posizione e fornire risultati di localizzazione a livello di pixel. Quando il modello è nel metodo di apprendimento in contesto a un solo shot, le prestazioni di localizzazione del modello sono leggermente inferiori rispetto al metodo di apprendimento non supervisionato a causa dell’assenza di addestramento.

Conclusione

AnomalyGPT è un modello di linguaggio visivo conversazionale IAD innovativo progettato per sfruttare le potenti capacità dei Large Vision Language Models. Non solo può identificare le anomalie in un’immagine, ma può anche localizzarle esattamente. Inoltre, AnomalyGPT consente dialoghi multi-turni focalizzati sul rilevamento di anomalie e dimostra prestazioni eccezionali nell’apprendimento in contesto a pochi shot. AnomalyGPT esplora le potenziali applicazioni dei LVLM nel rilevamento di anomalie, introducendo nuove idee e possibilità per l’industria IAD.