AnomalyGPT: Erkennung von industriellen Anomalien mit LVLMs

Erst kürzlich haben Large Vision Language Models (LVLMs) wie LLava und MiniGPT-4 gezeigt, dass sie in der Lage sind, Bilder zu verstehen und hohe Genauigkeit und Effizienz in verschiedenen visuellen Aufgaben zu erzielen. Während LVLMs bei der Erkennung von häufigen Objekten aufgrund ihrer umfangreichen Trainingsdaten hervorragend sind, fehlt ihnen spezifisches Domänenwissen und sie haben ein begrenztes Verständnis von lokalen Details in Bildern. Dies begrenzt ihre Wirksamkeit bei der Erkennung von industriellen Anomalien (IAD). Andererseits können bestehende IAD-Frameworks nur die Quellen von Anomalien identifizieren und erfordern manuelle Schwellenwerteinstellungen, um zwischen normalen und anomalen Proben zu unterscheiden, was ihre praktische Umsetzung einschränkt.

Der Hauptzweck eines IAD-Frameworks ist es, Anomalien in industriellen Szenarien und Produktbildern zu erkennen und zu lokalisieren. Allerdings sind die Unvorhersehbarkeit und Seltenheit von realen Bildproben so groß, dass Modelle normalerweise nur mit normalen Daten trainiert werden. Sie unterscheiden anomale Proben von normalen Proben anhand von Abweichungen von den typischen Proben. Derzeit liefern IAD-Frameworks und -Modelle in erster Linie Anomalie-Scores für Testproben. Darüber hinaus erfordert die Unterscheidung zwischen normalen und anomalen Instanzen für jede Klasse von Elementen die manuelle Festlegung von Schwellenwerten, was sie für reale Anwendungen untauglich macht.

Um die Verwendung und Implementierung von Large Vision Language Models bei der Lösung der Herausforderungen von IAD-Frameworks zu erforschen, wurde AnomalyGPT, ein neuer IAD-Ansatz auf der Grundlage von LVLM, vorgestellt. AnomalyGPT kann Anomalien erkennen und lokalisieren, ohne dass manuelle Schwellenwerteinstellungen erforderlich sind. Darüber hinaus kann AnomalyGPT auch relevante Informationen über das Bild bereitstellen, um interaktiv mit Benutzern zu kommunizieren, sodass diese Follow-up-Fragen auf der Grundlage der Anomalie oder ihrer spezifischen Bedürfnisse stellen können.

Industrielle Anomalie-Erkennung und Large Vision Language Models

Bestehende IAD-Frameworks können in zwei Kategorien unterteilt werden.

1. Rekonstruktionsbasierte IAD.
2. Feature-Embedding-basierte IAD.

In einem rekonstruktionsbasierten IAD-Framework ist das Hauptziel, Anomalie-Proben in ihre jeweiligen normalen Gegenstück-Proben zu rekonstruieren und Anomalien durch Rekonstruktionsfehlerberechnung zu erkennen. SCADN, RIAD, AnoDDPM und InTra verwenden unterschiedliche Rekonstruktionsframeworks, die von Generative Adversarial Networks (GAN) und Autoencodern bis hin zu Diffusionsmodellen und Transformern reichen.

Andererseits liegt in einem Feature-Embedding-basierten IAD-Framework das Hauptziel darin, die Feature-Embedding von normalen Daten zu modellieren. Methoden wie PatchSSVD versuchen, eine Hypersphäre zu finden, die normale Proben eng umschließt, während Frameworks wie PyramidFlow und CFA normale Proben auf eine Gaußsche Verteilung mithilfe von Normalisierungsflüssen projizieren. Die Frameworks CFA und PatchCore haben eine Speicherbank von normalen Proben aus Patch-Embeddings erstellt und verwenden den Abstand zwischen der Testprobe-Embedding und der normalen Embedding, um Anomalien zu erkennen.

Beide Methoden folgen dem “one class one model”-Prinzip, einem Lernparadigma, das eine große Anzahl von normalen Proben erfordert, um die Verteilungen jeder Objektklasse zu erlernen. Die Anforderung einer großen Anzahl von normalen Proben macht es unpraktisch für neue Objektkategorien und begrenzt die Anwendungen in dynamischen Produktumgebungen. Andererseits ermöglicht das AnomalyGPT-Framework die Verwendung eines In-Context-Lernparadigmas für Objektkategorien, was es ermöglicht, mit nur einer Handvoll normaler Proben zu interferieren.

Wenn wir voranschreiten, haben wir Large Vision Language Models oder LVLMs. LLMs oder Large Language Models haben im NLP-Bereich enormen Erfolg gehabt und werden nun für ihre Anwendungen in visuellen Aufgaben erforscht. Das BLIP-2-Framework nutzt Q-Former, um visuelle Features aus Vision Transformer in das Flan-T5-Modell einzugeben. Darüber hinaus verbindet das MiniGPT-Framework den Bildsegment des BLIP-2-Frameworks und das Vicuna-Modell mit einer linearen Schicht und führt einen zweistufigen Feinabstimmungsprozess mit Bild-Text-Daten durch. Diese Ansätze zeigen, dass LLM-Frameworks möglicherweise einige Anwendungen für visuelle Aufgaben haben. Allerdings wurden diese Modelle auf allgemeinen Daten trainiert und verfügen nicht über die erforderliche domänenpezifische Expertise für umfassende Anwendungen.

Wie funktioniert AnomalyGPT?

AnomalyGPT ist im Kern ein neuer konversationeller IAD-Großvisionssprachmodell, das primär für die Erkennung von industriellen Anomalien und die Lokalisierung ihrer genauen Position mithilfe von Bildern konzipiert ist. Das AnomalyGPT-Framework verwendet ein LLM und einen vorgefertigten Bildencoder, um Bilder mit ihren entsprechenden textlichen Beschreibungen unter Verwendung von stimulierten Anomaliedaten auszurichten. Das Modell führt ein Dekoder-Modul und ein Prompt-Lernmodul ein, um die Leistung von IAD-Systemen zu verbessern und eine pixelgenaue Lokalisierungsausgabe zu erzielen.

Modellarchitektur

Das obige Bild zeigt die Architektur von AnomalyGPT. Das Modell gibt zunächst das Abfragebild an den gefrorenen Bildencoder aus. Das Modell extrahiert dann patchbasierte Features aus den Zwischenlagen und füttert diese in einen Bilddekoder, um ihre Ähnlichkeit mit abnormalen und normalen Texten zu berechnen und die Ergebnisse für die Lokalisierung zu erhalten. Der Prompt-Lerner wandelt diese dann in Prompt-Embeddings um, die als Eingaben in das LLM neben den Benutzertexteingaben verwendet werden können. Das LLM-Modell nutzt dann die Prompt-Embeddings, Bild-Eingaben und Benutzertext-Eingaben, um Anomalien zu erkennen, ihre Position zu lokalisieren und End-Antworten für den Benutzer zu erstellen.

Dekoder

Um eine pixelgenaue Anomalie-Lokalisierung zu erreichen, setzt das AnomalyGPT-Modell einen leichten Feature-Matching-basierten Bilddekoder ein, der sowohl few-shot-IAD-Frameworks als auch unsupervised-IAD-Frameworks unterstützt. Die Dekoder-Design von AnomalyGPT ist von den Frameworks WinCLIP, PatchCore und APRIL-GAN inspiriert. Das Modell teilt den Bildencoder in 4 Stufen auf und extrahiert die Zwischen-Patch-Features aus jeder Stufe.

Allerdings wurden diese Zwischen-Features noch nicht durch die endgültige Bild-Text-Ausrichtung, was bedeutet, dass sie nicht direkt mit Features verglichen werden können. Um dieses Problem zu lösen, führt das AnomalyGPT-Modell zusätzliche Schichten ein, um Zwischen-Features zu projizieren und sie mit Text-Features auszurichten, die normale und anomale Semantik darstellen.

Prompt-Lerner

Das AnomalyGPT-Framework führt einen Prompt-Lerner ein, der versucht, das Lokalisierungsergebnis in Prompt-Embeddings umzuwandeln, um feinkörnige Semantik aus Bildern zu nutzen und die semantische Konsistenz zwischen Dekoder- und LLM-Ausgaben aufrechtzuerhalten. Darüber hinaus integriert das Modell lernbare Prompt-Embeddings, die nicht mit Dekoder-Ausgaben verwandt sind, in den Prompt-Lerner, um zusätzliche Informationen für die IAD-Aufgabe bereitzustellen. Schließlich füttert das Modell die Embeddings und die ursprünglichen Bildinformationen in das LLM ein.

Der Prompt-Lerner besteht aus lernbaren Basis-Prompt-Embeddings und einem konvolutionalen neuronalen Netzwerk. Das Netzwerk wandelt das Lokalisierungsergebnis in Prompt-Embeddings um und bildet eine Menge von Prompt-Embeddings, die dann mit den Bild-Embeddings in das LLM kombiniert werden.

Anomalie-Simulation

Das AnomalyGPT-Modell verwendet die NSA-Methode, um anomale Daten zu simulieren. Die NSA-Methode verwendet die Cut-Paste-Technik unter Verwendung der Poisson-Bildbearbeitungsmethode, um die durch das Einsetzen von Bildsegmenten eingeführte Diskontinuität zu mildern. Cut-Paste ist eine häufig verwendete Technik in IAD-Frameworks, um simulierte Anomalie-Bilder zu generieren.

Die Cut-Paste-Methode beinhaltet das Zuschneiden einer Blockregion aus einem Bild und das Einsetzen in eine zufällige Position in einem anderen Bild, wodurch ein Teil des simulierte Anomalie entsteht. Diese simulierte Anomalie-Proben können die Leistung von IAD-Modellen verbessern, aber es gibt einen Nachteil, da sie oft bemerkbare Diskontinuitäten erzeugen. Die Poisson-Bearbeitungsmethode zielt darauf ab, ein Objekt aus einem Bild in ein anderes zu klonen, indem die Poisson-Teil differentialgleichungen gelöst werden.

Das obige Bild zeigt den Vergleich zwischen Poisson- und Cut-Paste-Bildbearbeitung. Wie man sehen kann, gibt es sichtbare Diskontinuitäten in der Cut-Paste-Methode, während die Ergebnisse aus der Poisson-Bearbeitung natürlicher erscheinen.

Frage- und Antwort-Inhalt

Um eine Prompt-Tuning auf dem Large Vision Language Model durchzuführen, generiert das AnomalyGPT-Modell eine entsprechende textliche Abfrage auf der Grundlage des Anomalie-Bildes. Jede Abfrage besteht aus zwei Hauptkomponenten. Der erste Teil der Abfrage besteht aus einer Beschreibung des Eingabe-Bildes, die Informationen über die im Bild vorhandenen Objekte und ihre erwarteten Attribute bereitstellt. Der zweite Teil der Abfrage besteht darin, die Anwesenheit von Anomalien innerhalb des Objekts oder die Überprüfung, ob es eine Anomalie im Bild gibt.

Das LVLM antwortet zunächst auf die Abfrage, ob es eine Anomalie im Bild gibt. Wenn das Modell Anomalien erkennt, gibt es die Position und die Anzahl der anomalen Bereiche an. Das Modell teilt das Bild in ein 3×3-Raster von unterschiedlichen Regionen auf, um es dem LVLM zu ermöglichen, die Position der Anomalien verbal anzugeben, wie in der folgenden Abbildung gezeigt.

Das LVLM-Modell wird mit grundlegenden Kenntnissen des Eingabe-Bildes gefüttert, die dem Modell helfen, die Bildkomponenten besser zu verstehen.

Datensätze und Bewertungsmetriken

Das Modell führt seine Experimente hauptsächlich auf den Datensätzen VisA und MVTec-AD durch. Der MVTec-AD-Datensatz besteht aus 3629 Bildern für Trainingszwecke und 1725 Bildern für Testzwecke, die auf 15 verschiedene Kategorien aufgeteilt sind, was ihn zu einem der beliebtesten Datensätze für IAD-Frameworks macht. Die Trainingsbilder enthalten nur normale Bilder, während die Testbilder sowohl normale als auch anomale Bilder enthalten. Andererseits besteht der VisA-Datensatz aus 9621 normalen Bildern und etwa 1200 anomalen Bildern, die auf 12 verschiedene Kategorien aufgeteilt sind.

Wenn wir weitermachen, verwendet das AnomalyGPT-Modell, ähnlich wie bestehende IAD-Frameworks, die AUC oder die Fläche unter der Receiver-Operating-Characteristics-Kurve als Bewertungsmetrik, wobei die pixelgenaue und bildgenaue AUC verwendet wird, um die Anomalie-Lokalisierungsleistung zu bewerten, und die Anomalie-Erkennung. Allerdings verwendet das Modell auch die bildgenaue Genauigkeit, um die Leistung des vorgeschlagenen Ansatzes zu bewerten, da es einzigartig ermöglicht, die Anwesenheit von Anomalien ohne die Notwendigkeit, Schwellenwerte manuell einzustellen, zu bestimmen.

Ergebnisse

Quantitative Ergebnisse

Few-Shot-Industrielle Anomalie-Erkennung

Das AnomalyGPT-Modell vergleicht seine Ergebnisse mit vorherigen few-shot-IAD-Frameworks, einschließlich PaDiM, SPADE, WinCLIP und PatchCore, als Baselines.

Das obige Bild vergleicht die Ergebnisse des AnomalyGPT-Modells mit few-shot-IAD-Frameworks. Über beide Datensätze hinweg übertrifft die Methode, die von AnomalyGPT verfolgt wird, die Ansätze, die von vorherigen Modellen verfolgt werden, in Bezug auf die bildgenaue AUC und liefert auch eine gute Genauigkeit.

Unsupervised Industrielle Anomalie-Erkennung

In einer unsupervised-Trainingsumgebung mit einer großen Anzahl von normalen Proben trainiert AnomalyGPT ein einzelnes Modell auf Proben, die aus allen Klassen innerhalb eines Datensatzes stammen. Die Entwickler von AnomalyGPT haben sich für das UniAD-Framework entschieden, da es unter der gleichen Einrichtung trainiert wird und als Baseline für den Vergleich dienen wird. Darüber hinaus vergleicht das Modell auch mit den JNLD- und PaDim-Frameworks unter Verwendung der gleichen einheitlichen Einrichtung.

Das obige Bild vergleicht die Leistung von AnomalyGPT im Vergleich zu anderen Frameworks.

Qualitative Ergebnisse

Das obige Bild zeigt die Leistung des AnomalyGPT-Modells bei der unsupervised-Anomalie-Erkennung, während die folgende Abbildung die Leistung des Modells bei der 1-Shot-In-Context-Lernmethode demonstriert.

Das AnomalyGPT-Modell kann die Anwesenheit von Anomalien anzeigen, ihre Position markieren und pixelgenaue Lokalisierungsergebnisse liefern. Wenn das Modell in der 1-Shot-In-Context-Lernmethode ist, ist die Lokalisierungsleistung des Modells slightly niedriger im Vergleich zur unsupervised-Lernmethode, da es an Trainingsdaten mangelt.

Schlussfolgerung

AnomalyGPT ist ein neuer konversationeller IAD-Großvisionssprachmodell, das darauf ausgelegt ist, die leistungsstarken Fähigkeiten von Large Vision Language Models zu nutzen. Es kann nicht nur Anomalien in einem Bild erkennen, sondern auch ihre genaue Position bestimmen. Darüber hinaus ermöglicht AnomalyGPT mehrstufige Dialoge, die auf die Anomalie-Erkennung fokussiert sind, und zeigt eine hervorragende Leistung bei der few-shot-In-Context-Lernmethode. AnomalyGPT erforscht die potenziellen Anwendungen von LVLMs bei der Anomalie-Erkennung und introduceert neue Ideen und Möglichkeiten für die IAD-Industrie.