AnomalyGPT: ตรวจจับอาการผิดปกติทางอุตสาหกรรมโดยใช้ LVLMs

เมื่อเร็วๆ นี้ โมเดลภาษาและภาพขนาดใหญ่ (LVLMs) เช่น LLava และ MiniGPT-4 ได้แสดงให้เห็นถึงความสามารถในการเข้าใจภาพและบรรลุความแม่นยำและประสิทธิภาพสูงในหลายงานที่เกี่ยวข้องกับการมองเห็น ในขณะที่ LVLMs มีความสามารถในการตระหนักวัตถุธรรมดาเนื่องจากชุดข้อมูลการฝึกที่กว้างขวาง แต่ก็ขาดความรู้เฉพาะด้านและเข้าใจรายละเอียดที่อยู่ภายในภาพ ซึ่งจำกัดประสิทธิภาพในการตรวจจับอาการผิดปกติทางอุตสาหกรรม (IAD)

วัตถุประสงค์หลักของโครงสร้าง IAD คือการตรวจจับและระบุตำแหน่งอาการผิดปกติในสถานการณ์และภาพอุตสาหกรรม อย่างไรก็ตาม เนื่องจากความไม่แน่นอนและความหายากของตัวอย่างภาพในโลกแห่งความเป็นจริง โมเดลจึงได้รับการฝึกฝนเพียงบนข้อมูลปกติเท่านั้น โดยแยกแยะตัวอย่างผิดปกติจากตัวอย่างปกติโดยอาศัยการเบี่ยงเบนจากตัวอย่างปกติ ปัจจุบัน โครงสร้าง IAD และโมเดลส่วนใหญ่ให้คะแนนอาการผิดปกติสำหรับตัวอย่างทดสอบ นอกจากนี้ การแยกแยะระหว่างตัวอย่างปกติและผิดปกติสำหรับแต่ละคลาสของวัตถุจำเป็นต้องมีการกำหนดค่าขีดจำกัดด้วยตนเอง ซึ่งทำให้ไม่เหมาะสมสำหรับการใช้งานในโลกแห่งความเป็นจริง

เพื่อสำรวจการใช้งานและนำไปใช้ของ Large Vision Language Models ในการแก้ไขปัญหาที่เกิดขึ้นจากโครงสร้าง IAD โมเดล AnomalyGPT ซึ่งเป็นแนวทาง IAD ใหม่ที่ใช้ LVLM ได้ถูกนำเสนอ AnomalyGPT สามารถตรวจจับและระบุตำแหน่งอาการผิดปกติได้โดยไม่ต้องมีการกำหนดค่าขีดจำกัดด้วยตนเอง นอกจากนี้ AnomalyGPT ยังสามารถให้ข้อมูลที่เกี่ยวข้องเกี่ยวกับภาพเพื่อโต้ตอบกับผู้ใช้อย่างมีปฏิสัมพันธ์ ช่วยให้ผู้ใช้สามารถถามคำถามเพิ่มเติมตามอาการผิดปกติหรือความต้องการเฉพาะของตน

การตรวจจับอาการผิดปกติทางอุตสาหกรรมและโมเดลภาษาและภาพขนาดใหญ่

โครงสร้าง IAD ที่มีอยู่สามารถแบ่งออกเป็นสองประเภท

1. การตรวจจับอาการผิดปกติแบบ Reconstruction-based
2. การตรวจจับอาการผิดปกติแบบ Feature Embedding-based

ในโครงสร้าง IAD แบบ Reconstruction-based วัตถุประสงค์หลักคือการสร้างตัวอย่างอาการผิดปกติให้กลายเป็นตัวอย่างปกติ และตรวจจับอาการผิดปกติโดยการคำนวณข้อผิดพลาดในการสร้างใหม่ โมเดล SCADN, RIAD, AnoDDPM และ InTra ใช้โครงสร้างการสร้างใหม่ที่แตกต่างกัน ตั้งแต่ Generative Adversarial Networks (GAN) และ autoencoders ไปจนถึงโมเดลการกระจายและการแปลง

ในทางกลับกัน ในโครงสร้าง IAD แบบ Feature Embedding-based วัตถุประสงค์หลักคือการเน้นไปที่การสร้างแบบจำลองการฝังตัวของข้อมูลปกติ วิธีการเช่น PatchSSVD พยายามหาฮाइเปอร์สเฟียร์ที่สามารถห่อหุ้มตัวอย่างปกติได้อย่างแน่นหนา ในขณะที่โครงสร้างเช่น PyramidFlow และ Cfl โครงการตัวอย่างปกติลงบนการกระจายตัวปกติโดยใช้การไหลปกติ โครงสร้าง CFA และ PatchCore ได้สร้างธนาคารความจำของตัวอย่างปกติจากการฝังตัวของพैच และใช้ระยะห่างระหว่างการฝังตัวของตัวอย่างทดสอบกับการฝังตัวปกติเพื่อตรวจจับอาการผิดปกติ

ทั้งสองวิธีนี้ปฏิบัติตามหลักการ “หนึ่งคลาสหนึ่งโมเดล” ซึ่งเป็นรูปแบบการเรียนรู้ที่ต้องการตัวอย่างปกติจำนวนมากเพื่อเรียนรู้การกระจายตัวของแต่ละคลาสของวัตถุ ความต้องการตัวอย่างปกติจำนวนมากทำให้ไม่เหมาะสมสำหรับคลาสวัตถุใหม่ๆ และมีการใช้งานจำกัดใน环境การผลิตที่มีการเปลี่ยนแปลงอย่างต่อเนื่อง ในทางกลับกัน โครงสร้าง AnomalyGPT ใช้รูปแบบการเรียนรู้ในบริบทสำหรับคลาสวัตถุ ซึ่งช่วยให้สามารถเรียนรู้ได้ด้วยตัวอย่างปกติเพียงไม่กี่ตัวอย่าง

การย้ายไปข้างหน้า เรามี Large Vision Language Models หรือ LVLMs โมเดลภาษาขนาดใหญ่ (LLMs) ได้ประสบความสำเร็จอย่างมากในอุตสาหกรรม NLP และขณะนี้กำลังถูกสำรวจสำหรับการใช้งานในงานที่เกี่ยวข้องกับการมองเห็น โครงสร้าง BLIP-2 ใช้ Q-former เพื่อเข้าถึงคุณลักษณะการมองเห็นจาก Vision Transformer เข้าสู่โมเดล Flan-T5 นอกจากนี้ โครงสร้าง MiniGPT เชื่อมต่อส่วนภาพของโครงสร้าง BLIP-2 และโมเดล Vicuna ด้วยชั้นเชิงเส้น และดำเนินการฝึกอบรมสองขั้นตอนโดยใช้ข้อมูลภาพ-ข้อความ วิธีการเหล่านี้แสดงให้เห็นว่าโครงสร้าง LLM อาจมีการใช้งานบางอย่างสำหรับงานที่เกี่ยวข้องกับการมองเห็น อย่างไรก็ตาม โมเดลเหล่านี้ได้รับการฝึกฝนบนข้อมูลทั่วไปและขาดความเชี่ยวชาญเฉพาะด้านที่จำเป็นสำหรับการใช้งานอย่างกว้างขวาง

วิธีการทำงานของ AnomalyGPT

AnomalyGPT เป็นโมเดล IAD แบบสนทนาที่สร้างขึ้นใหม่ซึ่งออกแบบมาโดยเฉพาะสำหรับการตรวจจับอาการผิดปกติทางอุตสาหกรรมและระบุตำแหน่งโดยใช้ภาพ โมเดล AnomalyGPT ใช้ LLM และตัวเข้ารหัสภาพที่ได้รับการฝึกฝนล่วงหน้าเพื่อจัดตำแหน่งภาพให้สอดคล้องกับคำอธิบายข้อความที่เกี่ยวข้องโดยใช้ข้อมูลการกระตุ้นการสร้างอาการผิดปกติ โมเดลนี้แนะนำโมดูลตัวถอดรหัสและโมดูลผู้เรียนรู้คำกระตุ้นเพื่อปรับปรุงประสิทธิภาพของระบบ IAD และบรรลุผลลัพธ์การระบุตำแหน่งระดับพิกเซล

สถาปัตยกรรมโมเดล

ภาพด้านบนแสดงสถาปัตยกรรมของ AnomalyGPT โมเดลจะส่งภาพคำถามเข้าสู่ตัวเข้ารหัสภาพที่ถูกแช่แข็ง จากนั้นจึงดึงคุณลักษณะระดับพैचจากชั้นกลางและป้อนเข้าสู่ตัวถอดรหัสภาพเพื่อคำนวณความคล้ายคลึงกับข้อความปกติและผิดปกติเพื่อให้ได้ผลลัพธ์สำหรับการระบุตำแหน่ง โมดูลผู้เรียนรู้คำกระตุ้นจะแปลงผลลัพธ์เหล่านี้ให้เป็นคำกระตุ้นที่เหมาะสมที่จะใช้เป็นข้อมูลเข้าสำหรับ LLM ร่วมกับข้อความที่ผู้ใช้ป้อน LLM จะใช้คำกระตุ้นเหล่านี้ ภาพที่ป้อน และข้อความที่ผู้ใช้ให้มาเพื่อตรวจจับอาการผิดปกติและระบุตำแหน่ง และสร้างคำตอบสุดท้ายสำหรับผู้ใช้

ตัวถอดรหัส

เพื่อให้บรรลุการระบุตำแหน่งอาการผิดปกติระดับพิกเซล โมเดล AnomalyGPT ใช้ตัวถอดรหัสภาพที่อาศัยการค้นหาคุณลักษณะที่เหมาะสมซึ่งรองรับทั้งโครงสร้าง IAD แบบ few-shot และแบบไม่มีการกำกับ ตัวออกแบบตัวถอดรหัสที่ใช้ใน AnomalyGPT ได้รับแรงบันดาลใจจากโครงสร้าง WinCLIP, PatchCore และ APRIL-GAN

คุณลักษณะระดับพैचเหล่านี้ถูกแบ่งออกเป็น 4 ระยะ และดึงคุณลักษณะระดับพैचจากทุกๆ ระยะ อย่างไรก็ตาม คุณลักษณะเหล่านี้ยังไม่ได้ผ่านการปรับให้เหมาะสมกับข้อความ ซึ่งทำให้ไม่สามารถเปรียบเทียบกับคุณลักษณะได้โดยตรง เพื่อแก้ไขปัญหานี้ โมเดล AnomalyGPT แนะนำชั้นเพิ่มเติมเพื่อแปลงคุณลักษณะระดับพैचและจัดตำแหน่งให้สอดคล้องกับคุณลักษณะข้อความที่แสดงถึงความหมายปกติและผิดปกติ

ผู้เรียนรู้คำกระตุ้น

โครงสร้าง AnomalyGPT แนะนำผู้เรียนรู้คำกระตุ้นที่พยายามเปลี่ยนผลลัพธ์การระบุตำแหน่งให้เป็นคำกระตุ้นที่สามารถใช้เพื่อใช้คำศัพท์ที่มีรายละเอียดจากภาพและรักษาความสอดคล้องทางคำศัพท์ระหว่างผลลัพธ์ของตัวถอดรหัสและ LLM นอกจากนี้ โมเดลยังรวมคำกระตุ้นที่สามารถเรียนรู้ได้ซึ่งไม่เกี่ยวข้องกับผลลัพธ์ของตัวถอดรหัสเข้ากับผู้เรียนรู้คำกระตุ้นเพื่อให้ข้อมูลเพิ่มเติมสำหรับงาน IAD

ผู้เรียนรู้คำกระตุ้นประกอบด้วยคำกระตุ้นพื้นฐานที่สามารถเรียนรู้ได้และเครือข่ายประสาทเทียมที่แปลงผลลัพธ์การระบุตำแหน่งให้เป็นคำกระตุ้น และสร้างชุดคำกระตุ้นที่จะรวมกับคำกระตุ้นภาพเข้าสู่ LLM

การจำลองอาการผิดปกติ

โมเดล AnomalyGPT ใช้วิธีการ NSA เพื่อจำลองข้อมูลอาการผิดปกติ วิธีการ NSA ใช้เทคนิค Cut-paste โดยใช้วิธีการแก้ไขภาพ Poisson เพื่อลดความไม่สม่ำเสมอที่เกิดขึ้นจากการวางภาพ

วิธีการ Cut-paste เกี่ยวข้องกับการตัดพื้นที่บล็อกจากภาพแบบสุ่มและวางไว้ที่ตำแหน่งสุ่มในอีกภาพหนึ่งเพื่อสร้างส่วนของอาการผิดปกติที่จำลองขึ้น ตัวอย่างอาการผิดปกติที่จำลองขึ้นเหล่านี้สามารถปรับปรุงประสิทธิภาพของโมเดล IAD แต่ก็มีข้อเสียคือสามารถสร้างความไม่สม่ำเสมอได้ วิธีการแก้ไขภาพ Poisson มุ่งหมายเพื่อโคลน объектจากภาพหนึ่งไปยังอีกภาพหนึ่งโดยการแก้สมการเชิงอนุพันธ์แบบ Poisson

ภาพด้านบนแสดงการเปรียบเทียบระหว่างวิธีการแก้ไขภาพ Poisson และ Cut-paste มีความไม่สม่ำเสมอที่เห็นได้ชัดเจนในวิธีการ Cut-paste ในขณะที่ผลลัพธ์จากวิธีการแก้ไขภาพ Poisson ดูเป็นธรรมชาติ

เนื้อหาสอบถามและตอบ

เพื่อทำการปรับให้เหมาะสมของ Large Vision Language Model โมเดล AnomalyGPT จะสร้างคำถามข้อความที่เกี่ยวข้องกับอาการผิดปกติในภาพ แต่ละคำถามประกอบด้วยสองส่วนหลัก ส่วนแรกของคำถามประกอบด้วยคำอธิบายของภาพที่ป้อน ซึ่งให้ข้อมูลเกี่ยวกับวัตถุที่มีอยู่ในภาพพร้อมด้วยคุณลักษณะที่คาดหวัง ส่วนที่สองของคำถามคือการตรวจสอบการมีอยู่ของอาการผิดปกติภายในวัตถุหรือการตรวจสอบว่ามีอาการผิดปกติในภาพหรือไม่

โมเดล LVLM ตอบคำถามว่ามีอาการผิดปกติในภาพหรือไม่ หากโมเดลตรวจพบอาการผิดปกติ จะดำเนินการต่อเพื่อระบุตำแหน่งและจำนวนพื้นที่ที่มีอาการผิดปกติ โมเดลแบ่งภาพออกเป็นกริด 3×3 ของพื้นที่ที่แตกต่างกันเพื่อให้โมเดล LVLM สามารถระบุตำแหน่งของอาการผิดปกติได้ด้วยวาจา

โมเดล LVLM ได้รับความรู้เชิงลึกเกี่ยวกับภาพที่ป้อนพร้อมด้วยความรู้พื้นฐานเกี่ยวกับภาพที่ช่วยให้โมเดลเข้าใจส่วนประกอบของภาพได้ดีขึ้น

ชุดข้อมูลและมาตรการประเมิน

โมเดลทำการทดลองหลักบนชุดข้อมูล VisA และ MVTec-AD ชุดข้อมูล MVTec-AD ประกอบด้วย 3629 ภาพสำหรับการฝึกอบรมและ 1725 ภาพสำหรับการทดสอบซึ่งแบ่งออกเป็น 15 ประเภทที่แตกต่างกัน ทำให้เป็นหนึ่งในชุดข้อมูลที่ได้รับความนิยมมากที่สุดสำหรับโครงสร้าง IAD

ในทางกลับกัน ชุดข้อมูล VisA ประกอบด้วย 9621 ภาพปกติและเกือบ 1200 ภาพที่มีอาการผิดปกติซึ่งแบ่งออกเป็น 12 ประเภทที่แตกต่างกัน

ผลลัพธ์

ผลลัพธ์เชิงปริมาณ

การตรวจจับอาการผิดปกติทางอุตสาหกรรมแบบ few-shot

โมเดล AnomalyGPT เปรียบเทียบผลลัพธ์กับโครงสร้าง IAD แบบ few-shot ก่อนหน้านี้ รวมถึง PaDiM, SPADE, WinCLIP และ PatchCore

ภาพด้านบนเปรียบเทียบผลลัพธ์ของโมเดล AnomalyGPT กับโครงสร้าง IAD แบบ few-shot โมเดล AnomalyGPT มีประสิทธิภาพเหนือกว่าในแง่ของ AUC ระดับภาพและความแม่นยำ

การตรวจจับอาการผิดปกติทางอุตสาหกรรมแบบไม่มีการกำกับ

ในสถานการณ์การฝึกอบรมที่ไม่มีการกำกับด้วยตัวอย่างปกติจำนวนมาก โมเดล AnomalyGPT ฝึกโมเดลเดียวบนชุดตัวอย่างที่ได้รับจากคลาสทั้งหมดภายในชุดข้อมูล

ภาพด้านบนเปรียบเทียบผลลัพธ์ของโมเดล AnomalyGPT กับโครงสร้างอื่นๆ

ผลลัพธ์เชิงคุณภาพ

ภาพด้านบนแสดงผลลัพธ์ของโมเดล AnomalyGPT ในการตรวจจับอาการผิดปกติแบบไม่มีการกำกับ ในขณะที่ภาพด้านล่างแสดงผลลัพธ์ของโมเดลใน 1-shot in-context learning

โมเดล AnomalyGPT สามารถระบุการมีอยู่ของอาการผิดปกติ ระบุตำแหน่ง และให้ผลลัพธ์การระบุตำแหน่งระดับพิกเซล เมื่อโมเดลอยู่ในโหมด 1-shot in-context learning ประสิทธิภาพการระบุตำแหน่งของโมเดลจะลดลงเล็กน้อยเมื่อเทียบกับโหมดการฝึกอบรมที่ไม่มีการกำกับ เนื่องจากไม่มีการฝึกอบรม

สรุป

AnomalyGPT เป็นโมเดล IAD แบบสนทนาที่สร้างขึ้นใหม่ซึ่งใช้โมเดลภาษาและภาพขนาดใหญ่เพื่อตรวจจับอาการผิดปกติทางอุตสาหกรรมและระบุตำแหน่งโดยใช้ภาพ นอกจากนี้ AnomalyGPT ยังสามารถอำนวยความสะดวกในการสนทนาที่มีหลายรอบเกี่ยวกับการตรวจจับอาการผิดปกติและแสดงผลลัพธ์ที่น่าประทับใจในการเรียนรู้ในบริบทที่มี few-shot AnomalyGPT สำรวจการประยุกต์ใช้ LVLMs ในการตรวจจับอาการผิดปกติ โดยนำเสนอแนวคิดและความเป็นไปได้ใหม่ๆ สำหรับอุตสาหกรรม IAD