AnomalyGPT: Detektion af industrielle anomalier ved hjælp af LVLM

For nylig har Large Vision Language Models (LVLM) som LLava og MiniGPT-4 demonstreret evnen til at forstå billeder og opnå høj nøjagtighed og effektivitet i flere visuelle opgaver. Mens LVLM er gode til at genkende almindelige objekter på grund af deres omfattende træningsdata, mangler de specifik domæneviden og har en begrænset forståelse af lokaliserede detaljer inden for billeder. Dette begrænser deres effektivitet i opgaver med detektion af industrielle anomalier (IAD). På den anden side kan eksisterende IAD-rammer kun identificere kilder til anomalier og kræver manuel indstilling af grænseværdier for at skelne mellem normale og anomale prøver, hvilket begrænser deres praktiske implementering.

Det primære formål med en IAD-ramme er at detektere og lokaliserer anomalier i industrielle scenarier og produktbilleder. Men på grund af de uforudsigelige og sjældne virkelige billedprøver, trænes modellerne normalt kun på normale data. De skelner mellem anomale prøver og normale prøver på basis af afvigelser fra de typiske prøver. For tiden giver IAD-rammer og -modeller primært anomaliværdier for testprøver. Desuden kræver det at skelne mellem normale og anomale instanser for hver klasse af objekter, manuel specificering af grænseværdier, hvilket gør dem upraktiske til virkelige anvendelser.

For at udforske brugen og implementeringen af Large Vision Language Models i forhold til udfordringerne, der stilles af IAD-rammer, blev AnomalyGPT, en ny IAD-tilgang baseret på LVLM, introduceret. AnomalyGPT kan detektere og lokaliserer anomalier uden behov for manuel indstilling af grænseværdier. Desuden kan AnomalyGPT også tilbyde relevant information om billedet for at engagere brugerne interaktivt, så de kan stille følgespørgsmål baseret på anomalien eller deres specifikke behov.

Industri-anomalidetektion og Large Vision Language Models

Eksisterende IAD-rammer kan kategoriseres i to kategorier.

1. Rekonstruktionsbaseret IAD.
2. Feature-embedding-baseret IAD.

I en rekonstruktionsbaseret IAD-ramme er det primære mål at rekonstruere anomalprøver til deres respektive normale modpartprøver og detektere anomalier ved rekonstruktionsfejlberægning. SCADN, RIAD, AnoDDPM og InTra anvender forskellige rekonstruktionsrammer, der spænder fra Generative Adversarial Networks (GAN) og autoencodere til diffusionsmodeller og transformatorer.

På den anden side, i en feature-embedding-baseret IAD-ramme, er det primære formål at fokusere på at modellere feature-embeddingen af normale data. Metoder som PatchSSVD forsøger at finde en hypersfære, der kan omfatte normale prøver tæt, mens rammer som PyramidFlow og Cfl projicerer normale prøver på en Gaussian distribution ved hjælp af normaliserende flader. CFA- og PatchCore-rammer har etableret en hukommelsesbank af normale prøver fra patch-embeddings og anvender afstanden mellem testprøve-embedding og normalt embedding til at detektere anomalier.

Begge disse metoder følger ”one class one model”, en læringsparadigme, der kræver en stor mængde normale prøver for at lære distributionerne af hver objektklasse. Kravet om en stor mængde normale prøver gør det upraktisk for nye objekt-kategorier og med begrænsede anvendelser i dynamiske produkt-miljøer. På den anden side, anvender AnomalyGPT-rammen en in-context-læringsparadigme for objekt-kategorier, der giver mulighed for at aktivere kun med en håndfuld normale prøver.

Herefter har vi Large Vision Language Models eller LVLM. LLM eller Large Language Models har haft enorm succes i NLP-industrien og bliver nu udforsket for deres anvendelser i visuelle opgaver. BLIP-2-rammen udnytter Q-former til at indføre visuelle funktioner fra Vision Transformer i Flan-T5-modellen. Desuden forbinder MiniGPT-rammen billedsegmentet af BLIP-2-rammen og Vicuna-modellen med en lineær lag og udfører en to-trins finjusteringsproces ved hjælp af billed-tekstdata. Disse tilgange indikerer, at LLM-rammer kan have visse anvendelser for visuelle opgaver. Men disse modeller er trænet på generelle data og mangler den nødvendige domænespecifikke ekspertise til vidt anvendt anvendelse.

Hvordan fungerer AnomalyGPT?

AnomalyGPT er i sin kerne en ny konversationel IAD-stor vision language model designet primært til at detektere industrielle anomalier og pege på deres præcise lokalitet ved hjælp af billeder. AnomalyGPT-rammen anvender en LLM og en fortrænet billed-encoder til at alignere billeder med deres respektive tekstbeskrivelser ved hjælp af stimuleret anomalidata. Modellen introducerer en decoder-modul og en prompt-lærer-modul for at forbedre IAD-systemernes ydeevne og opnå pixel-niveau lokaliseringsoutput.

Modelarkitektur

Billedet ovenfor viser arkitekturen af AnomalyGPT. Modellen passerer først forespørgselsbilledet til den frosne billed-encoder. Modellen udtrækker herefter patch-niveau-funktioner fra de mellemste lag og føder disse funktioner til en billed-decoder for at beregne deres lighed med abnorme og normale tekster for at opnå resultaterne for lokaliseringsformål. Prompt-læreren konverterer herefter disse til prompt-embeddings, der er egnet til at blive anvendt som input i LLM sammen med brugerens tekst-input. LLM-modellen udnytter herefter prompt-embeddings, billed-input og brugerens tekst-input for at detektere anomalier, pege på deres lokalitet og oprette slut-svar for brugeren.

Decoder

For at opnå pixel-niveau-anomalilokalisering, anvender AnomalyGPT-modellen en letvægts-funktion-matching-baseret billed-decoder, der understøtter både few-shot IAD-rammer og unsupervised IAD-rammer. Designet af decoderen, der anvendes i AnomalyGPT, er inspireret af WinCLIP-, PatchCore- og APRIL-GAN-rammerne. Modellen opdeler billed-encoderen i 4 faser og udtrækker de mellemste patch-niveau-funktioner fra hver fase.

Men disse mellemste funktioner er ikke gået igennem den endelige billed-tekst-alignment, hvilket er hvorfor de ikke kan sammenlignes direkte med funktioner. For at tackle dette problem, introducerer AnomalyGPT-modellen yderligere lag for at projicere mellemste funktioner og aligne dem med tekst-funktioner, der repræsenterer normale og abnorme semantik.

Prompt-lærer

AnomalyGPT-rammen introducerer en prompt-lærer, der forsøger at omdanne lokaliseringsresultatet til prompt-embeddings for at udnytte fin-grænse-semantik fra billeder og også opretholde semantisk konsistens mellem decoder- og LLM-outputs. Desuden inkorporerer modellen lærbare prompt-embeddings, der ikke er relateret til decoder-outputs, i prompt-læreren for at give yderligere information til IAD-opgaven. Til sidst føder modellen embeddings og original billed-information til LLM.

Prompt-læreren består af lærbare basis-prompt-embeddings og et convolutionelt neuralt netværk. Netværket konverterer lokaliseringsresultatet til prompt-embeddings og danner en samling af prompt-embeddings, der herefter kombineres med billed-embeddings i LLM.

Anomal-simulation

AnomalyGPT-modellen anvender NSA-metoden til at simulere anomal-data. NSA-metoden anvender Cut-paste-teknikken ved hjælp af Poisson-billed-redigering-metoden for at lette den diskontinuitet, der introduceres ved at indsætte billed-segmenter. Cut-paste er en almindelig anvendt teknik i IAD-rammer til at generere simulerede anomal-billeder.

Cut-paste-metoden indebærer at udskære en blok-region fra et billede tilfældigt og indsætte den i en tilfældig lokalitet i et andet billede, hvilket skaber en del af simuleret anomal. Disse simulerede anomal-prøver kan forbedre ydeevnen af IAD-modeller, men der er en ulempe, da de ofte kan producere synlige diskontinuiteter. Poisson-redigering-metoden sigter mod at klone et objekt fra et billede til et andet billede ved at løse Poisson-differentialligninger.

Billedet ovenfor viser sammenligningen mellem Poisson og Cut-paste-billed-redigering. Som det kan ses, er der synlige diskontinuiteter i Cut-paste-metoden, mens resultaterne fra Poisson-redigering synes mere naturlige.

Spørgsmål og svar-indhold

For at udføre prompt-justering på Large Vision Language Model, genererer AnomalyGPT-modellen en tilsvarende tekst-spørgsmål på basis af anomal-billedet. Hver spørgsmål består af to store komponenter. Den første del af spørgsmålet består af en beskrivelse af input-billedet, der giver information om objekterne, der er til stede i billedet, sammen med deres forventede attributter. Den anden del af spørgsmålet er at detektere tilstedeværelsen af anomalier inden for objektet eller at kontrollere, om der er en anomal i billedet.

LVLM-modellen responderer først på spørgsmålet om, hvorvidt der er en anomal i billedet? Hvis modellen detekterer anomalier, fortsætter den med at specificere lokaliteten og antallet af de anomale områder. Modellen opdeler billedet i en 3×3-grid af distinkte regioner for at tillade LVLM at verbalt angive positionen af anomalierne, som vist i figuren nedenfor.

LVLM-modellen får grundlæggende viden om input-billedet, der hjælper modellens forståelse af billed-komponenter bedre.

Datasæt og evaluering-mål

Modellen udfører sine eksperimenter primært på VisA- og MVTec-AD-datasættene. MVTec-AD-datasættet består af 3629 billeder til træningsformål og 1725 billeder til testformål, der er fordelt på 15 forskellige kategorier, hvilket gør det til et af de mest populære datasæt for IAD-rammer. Træningsbillederne indeholder kun normale billeder, mens testbillederne indeholder både normale og anomale billeder. På den anden side består VisA-datasættet af 9621 normale billeder og næsten 1200 anomale billeder, der er fordelt på 12 forskellige kategorier.

Herefter, ligesom eksisterende IAD-rammer, anvender AnomalyGPT-modellen AUC eller Area Under the Receiver Operating Characteristics som evaluering-mål, med pixel-niveau og billed-niveau AUC anvendt til at vurderere anomal-lokaliserings-ydeevne og anomal-detektions-ydeevne henholdsvis. Men modellen anvender også billed-niveau-nøjagtighed for at evaluere ydeevnen af den foreslåede tilgang, da den unikt giver mulighed for at bestemme tilstedeværelsen af anomalier uden behov for manuel indstilling af grænseværdier.

Resultater

Kvantitative resultater

Few-Shot industri-anomal-detektion

AnomalyGPT-modellen sammenligner sine resultater med tidligere few-shot IAD-rammer, herunder PaDiM, SPADE, WinCLIP og PatchCore som baseline.

Figuren ovenfor sammenligner resultaterne af AnomalyGPT-modellen i forhold til few-shot IAD-rammer. Over begge datasæt, overgår metoden, der følges af AnomalyGPT, tilgange, der er anvendt af tidligere modeller, i billed-niveau AUC og giver også god nøjagtighed.

Unsupervised industri-anomal-detektion

I en unsupervised trænings-indstilling med en stor mængde normale prøver, træner AnomalyGPT en enkelt model på prøver, der er erhvervet fra alle klasser inden for et datasæt. Udviklerne af AnomalyGPT har valgt UniAD-rammen, da den er trænet under den samme opsætning og vil fungere som en baseline for sammenligning. Desuden sammenligner modellen også med JNLD- og PaDim-rammer ved hjælp af den samme samlede opsætning.

Figuren ovenfor sammenligner ydeevnen af AnomalyGPT i forhold til andre rammer.

Kvalitative resultater

Figuren ovenfor viser ydeevnen af AnomalyGPT-modellen i unsupervised anomal-detektion, mens figuren nedenfor demonstrerer ydeevnen af modellen i 1-shot in-context-læringsmetoden.

AnomalyGPT-modellen er i stand til at angive tilstedeværelsen af anomalier, markere deres lokalitet og give pixel-niveau lokaliseringsresultater. Når modellen er i 1-shot in-context-læringsmetoden, er lokaliserings-ydeevnen af modellen lidt lavere i forhold til unsupervised læringsmetoden på grund af manglen på træning.

Konklusion

AnomalyGPT er en ny konversationel IAD-vision language model designet til at udnytte de kraftfulde muligheder i large vision language models. Den kan ikke kun identificere anomalier i et billede, men også pege på deres præcise lokalitet. Desuden giver AnomalyGPT mulighed for multi-turn dialoger fokuseret på anomal-detektion og viser fremragende ydeevne i few-shot in-context-læringsmetoden. AnomalyGPT udforsker de potentielle anvendelser af LVLM i anomal-detektion, introducerer nye ideer og muligheder for IAD-industrien.