AnomalyGPT: Phát hiện dị thường công nghiệp sử dụng LVLMs

Gần đây, các mô hình ngôn ngữ tầm nhìn lớn (LVLMs) như LLava và MiniGPT-4 đã chứng minh khả năng hiểu hình ảnh và đạt được độ chính xác và hiệu quả cao trong nhiều nhiệm vụ trực quan. Trong khi LVLMs excels tại việc nhận dạng các đối tượng phổ biến do các tập dữ liệu đào tạo rộng lớn, chúng thiếu kiến thức miền cụ thể và có hiểu biết hạn chế về các chi tiết được định vị trong hình ảnh. Điều này hạn chế hiệu quả của chúng trong các nhiệm vụ Phát hiện dị thường công nghiệp (IAD). Mặt khác, các khuôn khổ IAD hiện có chỉ có thể xác định nguồn gốc của các dị thường và yêu cầu thiết lập ngưỡng thủ công để phân biệt giữa các mẫu bình thường và dị thường, do đó hạn chế việc triển khai thực tế của chúng.

Mục đích chính của một khuôn khổ IAD là phát hiện và định vị dị thường trong các kịch bản công nghiệp và hình ảnh sản phẩm. Tuy nhiên, do tính不可 đoán trước và hiếm hoi của các mẫu hình ảnh thực tế, các mô hình thường được đào tạo chỉ trên dữ liệu bình thường. Chúng phân biệt các mẫu dị thường từ các mẫu bình thường dựa trên sự偏差 từ các mẫu điển hình. Hiện tại, các khuôn khổ IAD và mô hình chủ yếu cung cấp điểm số dị thường cho các mẫu thử nghiệm. Hơn nữa, việc phân biệt giữa các trường hợp bình thường và dị thường cho từng lớp đối tượng yêu cầu việc chỉ định thủ công các ngưỡng, khiến chúng không phù hợp cho các ứng dụng thực tế.

Để khám phá việc sử dụng và triển khai các Mô hình ngôn ngữ tầm nhìn lớn trong việc giải quyết các thách thức do các khuôn khổ IAD đặt ra, AnomalyGPT, một phương pháp IAD mới dựa trên LVLM, đã được giới thiệu. AnomalyGPT có thể phát hiện và định vị dị thường mà không cần thiết lập ngưỡng thủ công. Hơn nữa, AnomalyGPT cũng có thể cung cấp thông tin liên quan về hình ảnh để tương tác với người dùng một cách tương tác, cho phép họ đặt câu hỏi tiếp theo dựa trên dị thường hoặc nhu cầu cụ thể của họ.

Phát hiện dị thường công nghiệp và Mô hình ngôn ngữ tầm nhìn lớn

Các khuôn khổ IAD hiện có có thể được phân loại thành hai loại.

1. Phát hiện dị thường dựa trên tái tạo.
2. Phát hiện dị thường dựa trên nhúng tính năng.

Trong một khuôn khổ phát hiện dị thường dựa trên tái tạo, mục tiêu chính là tái tạo các mẫu dị thường thành các mẫu bình thường tương ứng, và phát hiện dị thường bằng cách tính toán lỗi tái tạo. SCADN, RIAD, AnoDDPM, và InTra sử dụng các khuôn khổ tái tạo khác nhau, từ Mạng đối kháng tạo sinh (GAN) và tự mã hóa, đến mô hình khuếch tán và biến đổi.

Mặt khác, trong một khuôn khổ phát hiện dị thường dựa trên nhúng tính năng, mục tiêu chính là tập trung vào việc mô hình hóa nhúng tính năng của dữ liệu bình thường. Các phương pháp như PatchSSVD cố gắng tìm một siêu cầu mà có thể bao gồm các mẫu bình thường một cách chặt chẽ, trong khi các khuôn khổ như PyramidFlow và Cfl chiếu các mẫu bình thường lên một phân phối Gaussian bằng cách sử dụng các dòng chảy bình thường hóa. CFA và PatchCore đã thiết lập một ngân hàng nhớ của các mẫu bình thường từ nhúng patch, và sử dụng khoảng cách giữa nhúng mẫu thử nghiệm và nhúng bình thường để phát hiện dị thường.

Cả hai phương pháp này đều tuân theo nguyên tắc “một lớp một mô hình”, một khuôn khổ học tập yêu cầu một lượng lớn mẫu bình thường để học các phân phối của từng lớp đối tượng. Yêu cầu về một lượng lớn mẫu bình thường làm cho nó không thực tế cho các loại đối tượng mới, và có ứng dụng hạn chế trong môi trường sản phẩm động. Mặt khác, khuôn khổ AnomalyGPT sử dụng một khuôn khổ học tập trong ngữ cảnh cho các loại đối tượng, cho phép nó có thể can thiệp chỉ với một số mẫu bình thường.

Tiếp theo, chúng ta có Mô hình ngôn ngữ tầm nhìn lớn hoặc LVLMs. LLMs hoặc Mô hình ngôn ngữ lớn đã đạt được thành công lớn trong ngành NLP, và chúng đang được khám phá cho các ứng dụng trong các nhiệm vụ trực quan. Khuôn khổ BLIP-2 tận dụng Q-former để nhập các tính năng trực quan từ Vision Transformer vào mô hình Flan-T5. Hơn nữa, khuôn khổ MiniGPT kết nối phần hình ảnh của khuôn khổ BLIP-2 và mô hình Vicuna với một lớp tuyến tính, và thực hiện một quá trình tinh chỉnh hai giai đoạn sử dụng dữ liệu hình ảnh-văn bản. Các phương pháp này cho thấy rằng các khuôn khổ LLM có thể có một số ứng dụng cho các nhiệm vụ trực quan. Tuy nhiên, các mô hình này đã được đào tạo trên dữ liệu chung, và chúng thiếu kiến thức miền cụ thể cần thiết cho các ứng dụng rộng rãi.

Làm thế nào AnomalyGPT hoạt động?

AnomalyGPT ở cốt lõi là một mô hình ngôn ngữ tầm nhìn lớn mới cho phát hiện dị thường công nghiệp, được thiết kế chủ yếu để phát hiện và định vị dị thường trong hình ảnh. Khuôn khổ AnomalyGPT sử dụng một LLM và một mã hóa hình ảnh đã được đào tạo trước để căn chỉnh hình ảnh với các mô tả văn bản tương ứng bằng cách sử dụng dữ liệu dị thường kích thích. Mô hình giới thiệu một mô-đun giải mã, và một mô-đun học hỏi lời nhắc để tăng cường hiệu suất của các hệ thống IAD, và đạt được đầu ra định vị pixel-level.

Kiến trúc mô hình

Hình ảnh trên mô tả kiến trúc của AnomalyGPT. Mô hình đầu tiên truyền hình ảnh truy vấn đến mã hóa hình ảnh đã được đóng băng. Mô hình sau đó trích xuất các tính năng cấp patch từ các lớp trung gian, và cung cấp các tính năng này cho một giải mã hình ảnh để tính toán sự tương tự của chúng với văn bản bất thường và bình thường để thu được kết quả định vị. Mô-đun học hỏi lời nhắc sau đó chuyển đổi chúng thành các nhúng lời nhắc phù hợp để sử dụng làm đầu vào vào LLM cùng với đầu vào văn bản do người dùng cung cấp. Mô hình LLM sau đó tận dụng các nhúng lời nhắc, đầu vào hình ảnh, và đầu vào văn bản do người dùng cung cấp để phát hiện dị thường, định vị chúng, và tạo ra các phản hồi cuối cùng cho người dùng.

Giải mã

Để đạt được định vị dị thường cấp pixel, mô hình AnomalyGPT triển khai một giải mã hình ảnh dựa trên việc khớp tính năng nhẹ nhàng hỗ trợ cả các khuôn khổ IAD vài-shot và không giám sát. Thiết kế của giải mã được sử dụng trong AnomalyGPT được lấy cảm hứng từ các khuôn khổ WinCLIP, PatchCore, và APRIL-GAN. Mô hình chia mã hóa hình ảnh thành 4 giai đoạn, và trích xuất các tính năng cấp patch trung gian từ mỗi giai đoạn.

Tuy nhiên, các tính năng trung gian này chưa trải qua việc căn chỉnh hình ảnh-văn bản cuối cùng, đó là lý do tại sao chúng không thể được so sánh trực tiếp với các tính năng. Để giải quyết vấn đề này, mô hình AnomalyGPT giới thiệu các lớp bổ sung để chiếu các tính năng trung gian, và căn chỉnh chúng với các tính năng văn bản đại diện cho các ngữ nghĩa bình thường và bất thường.

Học hỏi lời nhắc

Khuôn khổ AnomalyGPT giới thiệu một mô-đun học hỏi lời nhắc nhằm chuyển đổi kết quả định vị thành các nhúng lời nhắc để tận dụng các ngữ nghĩa tinh粒 từ hình ảnh, và cũng duy trì sự nhất quán ngữ nghĩa giữa đầu ra của giải mã và LLM. Hơn nữa, mô hình kết hợp các nhúng lời nhắc có thể học được, không liên quan đến đầu ra của giải mã, vào mô-đun học hỏi lời nhắc để cung cấp thông tin bổ sung cho nhiệm vụ IAD. Cuối cùng, mô hình cung cấp các nhúng và thông tin hình ảnh ban đầu cho LLM.

Mô-đun học hỏi lời nhắc bao gồm các nhúng lời nhắc cơ sở có thể học được, và một mạng nơ-ron tích hợp. Mạng này chuyển đổi kết quả định vị thành các nhúng lời nhắc, và tạo thành một tập hợp các nhúng lời nhắc được kết hợp với các nhúng hình ảnh vào LLM.

Simulacrum dị thường

Mô hình AnomalyGPT áp dụng phương pháp NSA để mô phỏng dữ liệu dị thường. Phương pháp NSA sử dụng kỹ thuật cắt-dán bằng cách sử dụng phương pháp chỉnh sửa hình ảnh Poisson để giảm thiểu sự không liên tục được giới thiệu bởi việc dán các đoạn hình ảnh. Kỹ thuật cắt-dán là một kỹ thuật phổ biến được sử dụng trong các khuôn khổ IAD để tạo ra hình ảnh dị thường mô phỏng.

Kỹ thuật cắt-dán liên quan đến việc cắt một khối vùng từ một hình ảnh một cách ngẫu nhiên, và dán nó vào một vị trí ngẫu nhiên trong một hình ảnh khác, do đó tạo ra một phần của hình ảnh dị thường mô phỏng. Các mẫu dị thường mô phỏng này có thể tăng cường hiệu suất của các mô hình IAD, nhưng có một hạn chế, vì chúng thường tạo ra sự không liên tục rõ ràng. Phương pháp chỉnh sửa Poisson nhằm mục đích sao chép một đối tượng từ một hình ảnh sang một hình ảnh khác một cách mịn màng bằng cách giải quyết các phương trình vi phân Poisson.

Hình ảnh trên minh họa sự so sánh giữa phương pháp Poisson và kỹ thuật cắt-dán. Như có thể thấy, có sự không liên tục rõ ràng trong kỹ thuật cắt-dán, trong khi kết quả từ phương pháp Poisson dường như tự nhiên hơn.

Nội dung câu hỏi và trả lời

Để thực hiện việc tinh chỉnh lời nhắc trên Mô hình ngôn ngữ tầm nhìn lớn, mô hình AnomalyGPT tạo ra một truy vấn văn bản tương ứng dựa trên hình ảnh dị thường. Mỗi truy vấn bao gồm hai thành phần chính. Phần đầu tiên của truy vấn bao gồm một mô tả của hình ảnh đầu vào cung cấp thông tin về các đối tượng hiện diện trong hình ảnh cùng với các thuộc tính dự kiến của chúng. Phần thứ hai của truy vấn là để phát hiện sự hiện diện của dị thường trong đối tượng, hoặc kiểm tra xem có dị thường trong hình ảnh.

Mô hình LLM đầu tiên trả lời truy vấn về việc liệu có dị thường trong hình ảnh. Nếu mô hình phát hiện dị thường, nó tiếp tục chỉ định vị trí và số lượng của các khu vực dị thường. Mô hình chia hình ảnh thành một lưới 3×3 của các vùng riêng biệt để cho phép LLM chỉ định vị trí của các dị thường bằng lời nói như được hiển thị trong hình dưới đây.

Mô hình LLM được cung cấp kiến thức mô tả về đầu vào cùng với kiến thức cơ bản về hình ảnh đầu vào giúp mô hình hiểu các thành phần hình ảnh tốt hơn.

Tập dữ liệu và các chỉ số đánh giá

Mô hình thực hiện các thí nghiệm của nó chủ yếu trên các tập dữ liệu VisA và MVTec-AD. Tập dữ liệu MVTech-AD bao gồm 3629 hình ảnh cho mục đích đào tạo, và 1725 hình ảnh cho mục đích thử nghiệm được chia thành 15 loại khác nhau, đó là lý do tại sao nó là một trong những tập dữ liệu phổ biến nhất cho các khuôn khổ IAD. Hình ảnh đào tạo bao gồm chỉ hình ảnh bình thường, trong khi hình ảnh thử nghiệm bao gồm cả hình ảnh bình thường và dị thường. Mặt khác, tập dữ liệu VisA bao gồm 9621 hình ảnh bình thường, và gần 1200 hình ảnh dị thường được chia thành 12 loại khác nhau.

Tiếp theo, giống như các khuôn khổ IAD hiện có, mô hình AnomalyGPT sử dụng AUC hoặc diện tích dưới đường cong ROC làm chỉ số đánh giá của nó, với AUC cấp pixel và AUC cấp hình ảnh được sử dụng để đánh giá hiệu suất định vị dị thường, và phát hiện dị thường tương ứng. Tuy nhiên, mô hình cũng sử dụng độ chính xác cấp hình ảnh để đánh giá hiệu suất của phương pháp đề xuất của nó vì nó cho phép xác định sự hiện diện của dị thường mà không cần thiết lập ngưỡng thủ công.

Kết quả

Kết quả định lượng

Phát hiện dị thường công nghiệp vài-shot

Mô hình AnomalyGPT so sánh kết quả của nó với các khuôn khổ IAD vài-shot trước đó, bao gồm PaDiM, SPADE, WinCLIP, và PatchCore làm các đường cơ sở.

Hình ảnh trên so sánh kết quả của mô hình AnomalyGPT so với các khuôn khổ IAD vài-shot. Trên cả hai tập dữ liệu, phương pháp được thực hiện bởi AnomalyGPT vượt trội so với các phương pháp được áp dụng bởi các mô hình trước đó về mặt AUC cấp hình ảnh, và cũng trả về độ chính xác tốt.

Phát hiện dị thường công nghiệp không giám sát

Trong một môi trường đào tạo không giám sát với một lượng lớn mẫu bình thường, AnomalyGPT đào tạo một mô hình duy nhất trên mẫu thu được từ tất cả các lớp trong một tập dữ liệu. Các nhà phát triển của AnomalyGPT đã chọn khuôn khổ UniAD vì nó được đào tạo trong cùng một thiết lập, và sẽ hoạt động như một đường cơ sở so sánh. Hơn nữa, mô hình cũng so sánh với các khuôn khổ JNLD và PaDim sử dụng cùng một thiết lập thống nhất.

Hình ảnh trên so sánh hiệu suất của AnomalyGPT khi so sánh với các khuôn khổ khác.

Kết quả định tính

Hình ảnh trên minh họa hiệu suất của mô hình AnomalyGPT trong phương pháp phát hiện dị thường không giám sát, trong khi hình dưới đây minh họa hiệu suất của mô hình trong phương pháp học hỏi trong ngữ cảnh 1-shot.

Mô hình AnomalyGPT có khả năng chỉ định sự hiện diện của dị thường, đánh dấu vị trí của chúng, và cung cấp kết quả định vị cấp pixel. Khi mô hình hoạt động trong phương pháp học hỏi trong ngữ cảnh 1-shot, hiệu suất định vị của mô hình slightly thấp hơn so với phương pháp học hỏi không giám sát do sự thiếu đào tạo.

Kết luận

AnomalyGPT là một mô hình ngôn ngữ tầm nhìn lớn mới cho phát hiện dị thường công nghiệp, được thiết kế để tận dụng các khả năng mạnh mẽ của các mô hình ngôn ngữ tầm nhìn lớn. Nó không chỉ có thể xác định dị thường trong một hình ảnh mà còn có thể định vị chính xác vị trí của chúng. Hơn nữa, AnomalyGPT cũng hỗ trợ các cuộc đối thoại đa lượt tập trung vào phát hiện dị thường và thể hiện hiệu suất vượt trội trong việc học hỏi trong ngữ cảnh vài-shot. AnomalyGPT khám phá các ứng dụng tiềm năng của các mô hình ngôn ngữ tầm nhìn lớn trong phát hiện dị thường, giới thiệu các ý tưởng và khả năng mới cho ngành công nghiệp IAD.