AnomalyGPT: Detektering av industrielle anomalier ved hjelp av LVLM

Nylig har Large Vision Language Models (LVLM) som LLava og MiniGPT-4 vist evnen til å forstå bilder og oppnå høy nøyaktighet og effektivitet i flere visuelle oppgaver. Mens LVLM er gode til å gjenkjenne vanlige objekter på grunn av deres omfattende treningsdatasett, mangler de spesifik domenekunnskap og har en begrenset forståelse av lokaliseringsdetaljer i bilder. Dette begrenser deres effektivitet i industrielle anomalioppgaver (IAD). På den andre siden kan eksisterende IAD-rammeverk bare identifisere kilder til anomalier og krever manuell innstilling av terskler for å skille mellom normale og anomale prøver, noe som begrenser deres praktiske implementering.

Hovedformålet med et IAD-rammeverk er å detektere og lokalisere anomalier i industrielle scenarioer og produktbilder. Imidlertid, på grunn av uforutsigbarheten og sjeldenheten av ekte bildesamples, er modellene vanligvis trenet bare på normale data. De skille anomale prøver fra normale basert på avvik fra typiske prøver. For tiden tilbyr IAD-rammeverk og modeller hovedsakelig anomaliscore for testprøver. I tillegg krever skille mellom normale og anomale eksemplarer for hver klasse av objekter manuell spesifisering av terskler, noe som gjør dem uegnet for virkelige anvendelser.

For å utforske bruken og implementeringen av Large Vision Language Models i å løse utfordringene som IAD-rammeverkene stiller, ble AnomalyGPT, en ny IAD-tilnærming basert på LVLM, introdusert. AnomalyGPT kan detektere og lokalisere anomalier uten behov for manuell innstilling av terskler. Videre kan AnomalyGPT også tilby relevant informasjon om bildet for å engasjere interaktivt med brukerne, slik at de kan stille følgespørsmål basert på anomalien eller deres spesifikke behov.

Industriell anomalioppgave og Large Vision Language Models

Eksisterende IAD-rammeverk kan deles inn i to kategorier.

1. Rekonstruksjonsbasert IAD.
2. Egenskapsinnbedningsbasert IAD.

I et rekonstruksjonsbasert IAD-rammeverk er hovedmålet å rekonstruere anomale prøver til deres respektive normale motpartprøver, og detektere anomalier ved rekonstruksjonsfeilberegningsmetode. SCADN, RIAD, AnoDDPM og InTra bruker ulike rekonstruksjonsrammeverk som varierer fra Generative Adversarial Networks (GAN) og autoencodere til diffusjonsmodell og transformatorer.

På den andre siden, i et egenskapsinnbedningsbasert IAD-rammeverk, er hovedmotivet å fokusere på å modellere egenskapsinnbedning av normale data. Metoder som PatchSSVD prøver å finne en hypersfære som kan omfatte normale prøver tett, mens rammeverk som PyramidFlow og Cfl projiserer normale prøver på en Gaussisk distribusjon ved hjelp av normaliserende flater. CFA- og PatchCore-rammeverkene har etablert en minnebank av normale prøver fra patch-egenskapsinnbedninger og bruker avstanden mellom testprøve-egenskapsinnbedning og normal egenskapsinnbedning for å detektere anomalier.

Begge disse metodene følger ” en klasse en modell”, et læringsparadigme som krever en stor mengde normale prøver for å lære distribusjonene av hver objekt klasse. Kravet om en stor mengde normale prøver gjør det upraktisk for nye objekt kategorier og begrenser anvendelsene i dynamiske produktmiljøer. På den andre siden, AnomalyGPT-rammeverket bruker et kontekstlæringsparadigme for objekt kategorier, noe som gjør det mulig å aktivere interferens bare med en håndfull normale prøver.

Videre, Large Vision Language Models eller LVLM. LLM eller Large Language Models har hatt enorm suksess i NLP-industrien og utforskes nå for deres anvendelser i visuelle oppgaver. BLIP-2-rammeverket utnytter Q-former for å innføre visuelle egenskaper fra Vision Transformer i Flan-T5-modellen. Videre, MiniGPT-rammeverket kobler bildesegmentet av BLIP-2-rammeverket og Vicuna-modellen med en lineær lag, og utfører en to-trinns finjusteringsprosess ved hjelp av bilde-tekst data. Disse tilnærmingene indikerer at LLM-rammeverk kan ha noen anvendelser for visuelle oppgaver. Imidlertid, disse modellene er trenet på generelle data og mangler den nødvendige domenespesifikke ekspertise for vidstrakte anvendelser.

Hvordan fungerer AnomalyGPT?

AnomalyGPT i kjernen er en ny konversasjonsbasert IAD-stor visuell språkmodell designet primært for å detektere industrielle anomalier og angi deres nøyaktige lokalisering ved hjelp av bilder. AnomalyGPT-rammeverket bruker en LLM og en forhåndstrent bilde-encoder for å justere bilder med deres respektive tekstbeskrivelser ved hjelp av stimulert anomali-data. Modellen innfører en dekodermodul og en promptlærermodul for å forbedre ytelsen av IAD-systemene og oppnå pikselnivålokalisering.

Modellarkitektur

Bildet over viser arkitekturen av AnomalyGPT. Modellen passerer først spørrebildet til den frosne bilde-encoderen. Modellen trekker deretter ut patch-nivåegenskaper fra mellomliggende lag og matar disse egenskapene til en bilde-dekoder for å beregne deres likhet med abnormale og normale tekster for å få resultater for lokalisering. Promptlæreren konverterer dem deretter til prompt-egenskapsinnbedninger som er egnet for å brukes som inndata i LLM sammen med bruker-tekstinndata. LLM-modellen bruker deretter prompt-egenskapsinnbedningene, bildeinndata og bruker-tekstinndata for å detektere anomalier, angi deres lokalisering og lage sluttsvar for brukeren.

Dekoder

For å oppnå pikselnivåanomalilokalisering, AnomalyGPT-modellen setter en lettvektig funksjonsmatchingsbasert bilde-dekoder som støtter både few-shot IAD-rammeverk og usupervised IAD-rammeverk. Designet av dekoderen som brukes i AnomalyGPT er inspirert av WinCLIP-, PatchCore- og APRIL-GAN-rammeverkene. Modellen deler bilde-encoderen inn i 4 stadier og trekker ut mellomliggende patch-nivåegenskaper fra hvert stadium.

Imidlertid, disse mellomliggende egenskapene har ikke vært gjennom den endelige bilde-tekstjusteringen, og kan derfor ikke sammenlignes direkte med egenskaper. For å løse dette problemet, AnomalyGPT-modellen innfører ekstra lag for å projicere mellomliggende egenskaper og justere dem med tekstegenskaper som representerer normale og abnorme semantikker.

Promptlærer

AnomalyGPT-rammeverket innfører en promptlærer som prøver å transformere lokaliseringresultatet til prompt-egenskapsinnbedninger for å utnytte fine-grained semantikker fra bilder og også opprettholde semantisk konsistens mellom dekoder- og LLM-utdata. Videre, modellen inkorporerer lærbare prompt-egenskapsinnbedninger, uavhengig av dekoder-utdata, i promptlæreren for å gi ekstra informasjon for IAD-oppgaven. Til slutt, modellen matar inn egenskapsinnbedningene og original bildeinformasjon til LLM.

Promptlæreren består av lærbare base prompt-egenskapsinnbedninger og et konvolusjonsnevralt nettverk. Nettverket konverterer lokaliseringresultatet til prompt-egenskapsinnbedninger og danner en samling av prompt-egenskapsinnbedninger som deretter kombineres med bilde-egenskapsinnbedningene i LLM.

Anomaliesimulering

AnomalyGPT-modellen bruker NSA-metoden for å simulere anomale data. NSA-metoden bruker Cut-paste-teknikken ved hjelp av Poisson-bilde-redigering for å lette discontinuiteten introdusert av lime-bilde-segmenter. Cut-paste er en vanlig teknikk i IAD-rammeverk for å generere simuleringsanomalibilder.

Cut-paste-metoden innebærer å klippe en blokkregion fra et bilde tilfeldig og lime den inn i en tilfeldig lokalisering i et annet bilde, og dermed skape en del av simuleringsanomalier. Disse simuleringsanomaliprøvene kan forbedre ytelsen av IAD-modellene, men det er en ulempe, da de ofte kan produsere merkbare discontinuiteter. Poisson-redigeringen har som mål å klonere et objekt fra ett bilde til et annet ved å løse Poisson-differensialligninger.

Bildet over viser sammenligningen mellom Poisson og Cut-paste-bilde-redigering. Som det kan sees, er det synlige discontinuiteter i Cut-paste-metoden, mens resultater fra Poisson-redigering ser mer naturlige ut.

Spørsmål og svarinnhold

For å utføre prompt-justering på Large Vision Language Model, genererer AnomalyGPT-modellen en tilhørende tekstlig spørsmål basert på anomali-bildet. Hvert spørsmål består av to hovedkomponenter. Den første delen av spørsmålet består av en beskrivelse av inndata-bildet som gir informasjon om objektene som er til stede i bildet sammen med deres forventede attributter. Den andre delen av spørsmålet er å detektere tilstedeværelsen av anomalier innenfor objektet eller å sjekke om det er en anomali i bildet.

LVLM-modellen svarer først på spørsmålet om det er en anomali i bildet? Hvis modellen detekterer anomalier, fortsetter den å spesifisere lokaliseringen og antallet av anomale områder. Modellen deler bildet inn i en 3×3-rutenett av distinkte regioner for å tillate LVLM å verbalt indikere posisjonen av anomalier, som vist i figuren nedenfor.

LVLM-modellen mates med deskriptiv kunnskap om inndata-bildet som gir grunnleggende kunnskap om inndata-bildet som hjelper modellens forståelse av bildekomponenter bedre.

Datasett og evaluering

Modellen utfører eksperimentene hovedsakelig på VisA- og MVTec-AD-datasettene. MVTec-AD-datasettet består av 3629 bilder for treningsformål og 1725 bilder for testing som er delt over 15 ulike kategorier, noe som gjør det til ett av de mest populære datasettene for IAD-rammeverk. Treningsbildene har kun normale bilder, mens testbildene har både normale og anomale bilder. På den andre siden, består VisA-datasettet av 9621 normale bilder og omtrent 1200 anomale bilder som er delt over 12 ulike kategorier.

Videre, på samme måte som eksisterende IAD-rammeverk, AnomalyGPT-modellen bruker AUC eller Area Under the Receiver Operating Characteristics som evalueringmetode, med pikselnivå- og bildenivå-AUC brukes for å vurdere anomali-lokalisering og anomali-detektering, henholdsvis. Imidlertid, modellen bruker også bildenivå-nøyaktighet for å vurdere ytelsen av den foreslåtte tilnærmingen, da den unikt tillater å bestemme tilstedeværelsen av anomalier uten å måtte sette opp terskler manuelt.

Resultater

Kvantitative resultater

Few-Shot industriell anomalioppgave

AnomalyGPT-modellen sammenligner resultater med tidligere few-shot IAD-rammeverk, inkludert PaDiM, SPADE, WinCLIP og PatchCore som baseline.

Bildet over sammenligner resultater fra AnomalyGPT-modellen sammen med few-shot IAD-rammeverk. Over begge datasett, metoden som følges av AnomalyGPT overgår tilnærmingene til tidligere modeller i forhold til bildenivå-AUC og returnerer også god nøyaktighet.

Usupervised industriell anomalioppgave

I en usupervised treningsinnstilling med en stor mengde normale prøver, AnomalyGPT trener en enkelt modell på prøver fra alle klasser i et datasett. Utviklerne av AnomalyGPT har valgt UniAD-rammeverket fordi det er trenet under samme oppsett og vil fungere som en baseline for sammenligning. Videre, modellen sammenligner også med JNLD- og PaDim-rammeverkene ved hjelp av samme samlet oppsett.

Bildet over sammenligner ytelsen av AnomalyGPT sammen med andre rammeverk.

Kvalitative resultater

Bildet over viser ytelsen av AnomalyGPT-modellen i usupervised anomalioppgave, mens figuren nedenfor demonstrerer ytelsen av modellen i 1-shot i kontekstlæring.

AnomalyGPT-modellen er i stand til å indikere tilstedeværelsen av anomalier, angi deres lokalisering og gi pikselnivålokaliseringresultater. Når modellen er i 1-shot i kontekstlæring, er lokaliseringytelsen av modellen noe lavere sammenlignet med usupervised læring på grunn av mangelen på trening.

Konklusjon

AnomalyGPT er en ny konversasjonsbasert IAD-stor visuell språkmodell designet for å utnytte de kraftige evnene til store visuelle språkmodeller. Den kan ikke bare identifisere anomalier i et bilde, men også angi deres nøyaktige lokalisering. Videre, AnomalyGPT muliggjør fler-omgangssamtaler fokusert på anomalioppgave og viser fremragende ytelse i few-shot i kontekstlæring. AnomalyGPT utforsker de potensielle anvendelsene av LVLM i anomalioppgave og introduserer nye ideer og muligheter for IAD-industrien.