AnomalyGPT: LVLM을 사용하여 산업 이상 감지

최근 LLava 및 MiniGPT-4와 같은 LVLM(대형 비전 언어 모델)은 이미지를 이해하고 여러 시각적 작업에서 높은 정확성과 효율성을 달성하는 능력을 보여주었습니다. LVLM은 광범위한 교육 데이터 세트로 인해 공통 개체를 인식하는 데는 탁월하지만 특정 도메인 지식이 부족하고 이미지 내의 지역화된 세부 정보에 대한 이해가 제한적입니다. 이로 인해 IAD(산업 이상 징후 탐지) 작업의 효율성이 제한됩니다. 반면, 기존 IAD 프레임워크는 이상 현상의 원인만 식별할 수 있으며 정상 샘플과 비정상 샘플을 구별하기 위해 수동 임계값 설정이 필요하므로 실제 구현이 제한됩니다.

IAD 프레임워크의 주요 목적은 산업 시나리오 및 제품 이미지에서 이상 현상을 감지하고 위치를 파악하는 것입니다. 그러나 실제 이미지 샘플은 예측 불가능하고 드물기 때문에 모델은 일반적으로 일반 데이터로만 학습됩니다. 이는 일반적인 샘플과의 편차를 기반으로 비정상적인 샘플과 정상 샘플을 구별합니다. 현재 IAD 프레임워크와 모델은 주로 테스트 샘플에 대한 이상 점수를 제공합니다. 더욱이 각 항목 클래스에 대해 정상 인스턴스와 변칙 인스턴스를 구별하려면 임계값을 수동으로 지정해야 하므로 실제 응용 프로그램에 적합하지 않게 됩니다.

IAD 프레임워크로 인한 문제를 해결하기 위해 대형 비전 언어 모델의 사용 및 구현을 탐색하기 위해 LVLM을 기반으로 하는 새로운 IAD 접근 방식인 AnomalyGPT가 도입되었습니다. AnomalyGPT는 수동으로 임계값을 설정할 필요 없이 이상 현상을 감지하고 위치를 파악할 수 있습니다. 또한 AnomalyGPT는 이미지에 대한 관련 정보를 제공하여 사용자와 대화형으로 소통할 수 있으므로 사용자가 이상 현상이나 특정 요구 사항에 따라 후속 질문을 할 수 있습니다.

산업 이상 탐지 및 대형 비전 언어 모델

기존 IAD 프레임워크는 두 가지 범주로 분류될 수 있습니다. 

1. 재건 기반 IAD. 
2. Embedding 기반 IAD 기능. 

재구성 기반 IAD 프레임워크에서 주요 목표는 이상 샘플을 각각의 정상 대응 샘플로 재구성하고 재구성 오류 계산을 통해 이상을 탐지하는 것입니다. SCADN, RIAD, AnoDDPM 및 InTra는 GAN(Generative Adversarial Networks) 및 자동 인코더부터 확산 모델 및 변환기에 이르기까지 다양한 재구성 프레임워크를 사용합니다. 

반면에 Feature Embedding 기반 IAD 프레임워크에서는 기본 동기는 일반 데이터의 Feature Embedding을 모델링하는 데 중점을 두는 것입니다. PatchSSVD와 같은 방법은 일반 샘플을 단단히 캡슐화할 수 있는 하이퍼스피어를 찾으려고 시도하는 반면, PyramidFlow 및 Cfl과 같은 프레임워크는 정규화 흐름을 사용하여 일반 샘플을 가우스 분포에 투영합니다. CFA 및 PatchCore 프레임워크는 패치 임베딩의 일반 샘플 메모리 뱅크를 구축하고 테스트 샘플 임베딩 일반 임베딩 사이의 거리를 사용하여 이상 현상을 감지합니다. 

이 두 가지 방법 모두 “하나의 클래스 하나의 모델”, 각 객체 클래스의 분포를 학습하기 위해 많은 양의 정규 샘플이 필요한 학습 패러다임입니다. 많은 양의 일반 샘플에 대한 요구 사항으로 인해 새로운 개체 범주에 적합하지 않으며 동적 제품 환경에서는 적용이 제한됩니다. 반면에 AnomalyGPT 프레임워크는 객체 범주에 대한 상황 내 학습 패러다임을 사용하여 소수의 정상 샘플에만 간섭을 허용합니다. 

앞으로는 Large Vision Language Model(LVLM)이 있습니다. LLM 또는 대규모 언어 모델 NLP 업계에서 엄청난 성공을 거두었으며 현재 시각적 작업에 적용할 수 있는 방법이 모색되고 있습니다. BLIP-2 프레임워크는 Q-former를 활용하여 Vision Transformer의 시각적 기능을 Flan-T5 모델에 입력합니다. 더욱이, MiniGPT 프레임워크 BLIP-2 프레임워크의 이미지 세그먼트와 Vicuna 모델을 선형 레이어로 연결하고 이미지-텍스트 데이터를 사용하여 XNUMX단계 미세 조정 프로세스를 수행합니다. 이러한 접근 방식은 LLM 프레임워크에 시각적 작업을 위한 일부 응용 프로그램이 있을 수 있음을 나타냅니다. 그러나 이러한 모델은 일반 데이터에 대해 교육을 받았기 때문에 광범위한 적용에 필요한 도메인별 전문 지식이 부족합니다. 

AnomalyGPT는 어떻게 작동하나요?

AnomalyGPT의 핵심은 주로 산업 이상 현상을 감지하고 이미지를 사용하여 정확한 위치를 찾아내기 위해 설계된 새로운 대화형 IAD 대형 비전 언어 모델입니다. AnomalyGPT 프레임워크는 LLM과 사전 훈련된 이미지 인코더를 사용하여 자극된 이상 데이터를 사용하여 이미지를 해당 텍스트 설명과 정렬합니다. 이 모델은 IAD 시스템의 성능을 향상시키고 픽셀 수준의 현지화 출력을 달성하기 위해 디코더 모듈과 프롬프트 학습자 모듈을 도입합니다. 

모델 아키텍처

위 이미지는 AnomalyGPT의 아키텍처를 보여줍니다. 모델은 먼저 쿼리 이미지를 고정 이미지 인코더에 전달합니다. 그런 다음 모델은 중간 계층에서 패치 수준 기능을 추출하고 이러한 기능을 이미지 디코더에 공급하여 비정상 및 정상 텍스트와의 유사성을 계산하여 현지화 결과를 얻습니다. 그런 다음 프롬프트 학습자는 이를 사용자 텍스트 입력과 함께 LLM에 대한 입력으로 사용하기에 적합한 프롬프트 임베딩으로 변환합니다. 그런 다음 LLM 모델은 프롬프트 임베딩, 이미지 입력 ​​및 사용자 제공 텍스트 입력을 활용하여 이상 현상을 감지하고 해당 위치를 정확히 파악하며 사용자를 위한 최종 응답을 생성합니다. 

디코더

픽셀 수준의 이상 위치 파악을 달성하기 위해 AnomalyGPT 모델은 소수의 IAD 프레임워크와 감독되지 않는 IAD 프레임워크를 모두 지원하는 경량 기능 일치 기반 이미지 디코더를 배포합니다. AnomalyGPT에 사용되는 디코더의 디자인은 WinCLIP, PatchCore 및 APRIL-GAN 프레임워크에서 영감을 받았습니다. 모델은 영상 인코더를 4단계로 분할하고, 각 단계별로 중간 패치 수준의 특징을 추출합니다. 

그러나 이러한 중간 기능은 최종 이미지-텍스트 정렬을 거치지 않았으므로 기능과 직접 비교할 수 없습니다. 이 문제를 해결하기 위해 AnomalyGPT 모델은 추가 레이어를 도입합니다. 중간 기능을 투영하고 정상 및 비정상적인 의미를 나타내는 텍스트 기능과 정렬합니다. 

프롬프트 학습자

AnomalyGPT 프레임워크는 현지화 결과를 프롬프트 임베딩으로 변환하여 이미지의 세분화된 의미를 활용하고 디코더와 LLM 출력 간의 의미 일관성을 유지하는 프롬프트 학습자를 도입합니다. 또한 이 모델은 디코더 출력과 관련 없는 학습 가능한 프롬프트 임베딩을 프롬프트 학습자에 통합하여 IAD 작업에 대한 추가 정보를 제공합니다. 마지막으로 모델은 임베딩과 원본 이미지 정보를 LLM에 제공합니다. 

프롬프트 학습자는 학습 가능한 기본 프롬프트 임베딩과 컨벌루션 신경망으로 구성됩니다. 네트워크는 현지화 결과를 프롬프트 임베딩으로 변환하고, 이미지 임베딩과 결합된 프롬프트 임베딩 세트를 형성합니다. LLM. 

이상 시뮬레이션

AnomalyGPT 모델은 NSA 방식을 채택하여 변칙 데이터를 시뮬레이션합니다. NSA 방법은 푸아송(Poisson) 이미지 편집 방법을 사용하여 컷-붙여넣기(Cut-paste) 기술을 사용하여 이미지 세그먼트 붙여넣기로 인해 발생하는 불연속성을 완화합니다. Cut-Paste는 시뮬레이션된 이상 이미지를 생성하기 위해 IAD 프레임워크에서 일반적으로 사용되는 기술입니다. 

잘라내기-붙여넣기 방법은 이미지에서 블록 영역을 무작위로 자르고 이를 다른 이미지의 무작위 위치에 붙여 넣어 시뮬레이션된 이상 현상의 일부를 생성하는 것입니다. 이러한 시뮬레이션된 이상 샘플은 IAD 모델의 성능을 향상시킬 수 있지만 종종 눈에 띄는 불연속성을 생성할 수 있다는 단점이 있습니다. 푸아송 편집 방법은 푸아송 편미분 방정식을 풀어서 한 이미지에서 다른 이미지로 객체를 원활하게 복제하는 것을 목표로 합니다. 

위 이미지는 포아송 이미지 편집과 잘라내기-붙여넣기 이미지 편집을 비교한 것입니다. 보시다시피, 잘라내기-붙여넣기 방법에서는 눈에 띄는 불연속성이 있는 반면, 포아송 편집의 결과는 더 자연스러워 보입니다. 

질문과 답변 내용

대형 비전 언어 모델에 대한 신속한 조정을 수행하기 위해 AnomalyGPT 모델은 이상 이미지를 기반으로 해당 텍스트 쿼리를 생성합니다. 각 쿼리는 두 가지 주요 구성 요소로 구성됩니다. 쿼리의 첫 번째 부분은 예상 속성과 함께 이미지에 있는 개체에 대한 정보를 제공하는 입력 이미지에 대한 설명으로 구성됩니다. 쿼리의 두 번째 부분은 객체 내에서 이상이 있는지 감지하거나 이미지에 이상이 있는지 확인하는 것입니다. 

LVLM은 먼저 이미지에 이상이 있는지 묻는 질문에 응답합니다. 모델이 이상 현상을 감지하면 이상 영역의 위치와 개수를 계속해서 지정합니다. 모델은 아래 그림과 같이 LVLM이 이상 위치를 구두로 표시할 수 있도록 이미지를 별개의 영역으로 구성된 3×3 그리드로 나눕니다. 

LVLM 모델에는 모델이 이미지 구성 요소를 더 잘 이해하는 데 도움이 되는 입력 이미지에 대한 기본 지식과 함께 입력에 대한 설명적 지식이 제공됩니다. 

데이터 세트 및 평가 지표

이 모델은 주로 VisA 및 MVTec-AD 데이터 세트에 대한 실험을 수행합니다. MVTech-AD 데이터 세트는 훈련 목적을 위한 3629개의 이미지와 1725개의 서로 다른 카테고리로 분할된 테스트용 15개의 이미지로 구성되어 있으며 이것이 IAD 프레임워크에서 가장 인기 있는 데이터 세트 중 하나입니다. 훈련 이미지에는 정상 이미지만 포함되어 있는 반면, 테스트 이미지에는 정상 이미지와 변칙 이미지가 모두 포함되어 있습니다. 반면 VisA 데이터세트는 9621개의 정상 이미지와 1200개의 서로 다른 카테고리로 분할된 거의 12개의 변칙 이미지로 구성됩니다. 

기존 IAD 프레임워크와 마찬가지로 AnomalyGPT 모델은 AUC(수신기 작동 특성 아래 영역)를 평가 지표로 사용하며 픽셀 수준 및 이미지 수준 AUC는 각각 변칙 위치 파악 성능 및 변칙 탐지를 평가하는 데 사용됩니다. 그러나 이 모델은 임계값을 수동으로 설정할 필요 없이 이상 징후의 존재 여부를 고유하게 확인할 수 있기 때문에 이미지 수준 정확도를 활용하여 제안된 접근 방식의 성능을 평가합니다. 

결과

양적 결과

퓨샷(Few-Shot) 산업 이상 탐지

AnomalyGPT 모델은 결과를 PaDiM, SPADE, WinCLIP 및 PatchCore를 기준으로 포함한 이전의 몇 번의 샷 IAD 프레임워크와 비교합니다. 

위 그림은 AnomalyGPT 모델의 결과를 Few-shot IAD 프레임워크와 비교한 것입니다. 두 데이터 세트 모두에서 AnomalyGPT가 따르는 방법은 이미지 수준 AUC 측면에서 이전 모델에서 채택한 접근 방식보다 성능이 뛰어나고 정확도도 좋습니다. 

비지도 산업 이상 탐지

다수의 정상 샘플이 포함된 비지도 학습 환경에서 AnomalyGPT는 데이터 세트 내의 모든 클래스에서 얻은 샘플에 대해 단일 모델을 학습합니다. AnomalyGPT 개발자는 UniAD 프레임워크가 동일한 설정에서 훈련되고 비교 기준 역할을 하기 때문에 UniAD 프레임워크를 선택했습니다. 또한 이 모델은 동일한 통합 설정을 사용하여 JNLD 및 PaDim 프레임워크와도 비교됩니다. 

위 그림은 AnomalyGPT의 성능을 다른 프레임워크와 비교한 것입니다. 

질적 결과

위 이미지는 비지도 이상 탐지 방법에서 AnomalyGPT 모델의 성능을 보여주고, 아래 그림은 1-Shot 상황 내 학습에서 모델의 성능을 보여줍니다. 

AnomalyGPT 모델은 이상 징후의 존재를 표시하고 위치를 표시하며 픽셀 수준의 현지화 결과를 제공할 수 있습니다. 모델이 1-shot in-context 학습 방식인 경우 훈련이 없기 때문에 비지도 학습 방식에 비해 모델의 위치 파악 성능이 약간 낮습니다. 

결론

AnomalyGPT는 대규모 비전 언어 모델의 강력한 기능을 활용하도록 설계된 새로운 대화형 IAD 비전 언어 모델입니다. 이미지에서 이상 현상을 식별할 수 있을 뿐만 아니라 정확한 위치를 찾아낼 수도 있습니다. 또한 AnomalyGPT는 이상 탐지에 초점을 맞춘 다중 턴 대화를 촉진하고 상황 내 학습에서 뛰어난 성능을 보여줍니다. AnomalyGPT는 이상 탐지에 LVLM을 적용할 수 있는 가능성을 조사하여 IAD 산업에 새로운 아이디어와 가능성을 소개합니다.