โมเดลและแพลตฟอร์ม AI
AnomalyGPT: ตรวจจับความผิดปกติในงานอุตสาหกรรมโดยใช้ LVLMs
ประเด็นสำคัญAnomalyGPT…
ดูเพิ่มเติม
- AnomalyGPT กำจัดขั้นตอนการตั้งค่าขีดจำกัดด้วยมือสำหรับการตรวจจับความผิดปกติในอุตสาหกรรมโดยใช้ LVLMs
- โมเดลนี้สามารถระบุตำแหน่งความผิดปกติในระดับพิกเซลได้ผ่านตัวถอดรหัสและตัวเรียนรู้พรอมต์แบบใหม่
- AnomalyGPT ช่วยให้สามารถสนทนาโต้ตอบเกี่ยวกับความผิดปกติได้และทำงานได้ดีในสถานการณ์การเรียนรู้จากตัวอย่างเพียงไม่กี่ตัวอย่าง
เมื่อเร็วๆ นี้ โมเดลภาษาและภาพขนาดใหญ่ (LVLMs) เช่น LLava และ MiniGPT-4 ได้แสดงให้เห็นถึงความสามารถในการเข้าใจภาพและบรรลุความแม่นยำและประสิทธิภาพสูงในหลายงานที่เกี่ยวข้องกับการมองเห็น ในขณะที่ LVLMs มีความสามารถในการรู้จำวัตถุทั่วไปเนื่องจากชุดข้อมูลการฝึกที่กว้างขวาง แต่ก็ขาดความรู้เฉพาะด้านและมีความเข้าใจจำกัดเกี่ยวกับรายละเอียดเฉพาะตำแหน่งภายในภาพ ซึ่งจำกัดประสิทธิภาพในการตรวจจับความผิดปกติในงานอุตสาหกรรม (IAD) ในทางกลับกัน กรอบงาน IAD ที่มีอยู่ระบุได้เพียงแหล่งที่มาของความผิดปกติ และต้องกำหนดค่าเกณฑ์ด้วยตนเองเพื่อแยกตัวอย่างปกติออกจากตัวอย่างผิดปกติ จึงจำกัดการนำไปใช้งานจริง
วัตถุประสงค์หลักของโครงสร้าง IAD คือการตรวจจับและระบุตำแหน่งความผิดปกติในสถานการณ์และภาพอุตสาหกรรม อย่างไรก็ตาม เนื่องจากความไม่แน่นอนและความหายากของตัวอย่างภาพในโลกแห่งความเป็นจริง โมเดลจึงได้รับการฝึกฝนเพียงบนข้อมูลปกติเท่านั้น โดยแยกแยะตัวอย่างผิดปกติจากตัวอย่างปกติโดยอาศัยการเบี่ยงเบนจากตัวอย่างปกติ ปัจจุบัน โครงสร้าง IAD และโมเดลส่วนใหญ่ให้คะแนนความผิดปกติสำหรับตัวอย่างทดสอบ นอกจากนี้ การแยกแยะระหว่างตัวอย่างปกติและผิดปกติสำหรับแต่ละคลาสของวัตถุจำเป็นต้องมีการกำหนดค่าขีดจำกัดด้วยตนเอง ซึ่งทำให้ไม่เหมาะสมสำหรับการใช้งานในโลกแห่งความเป็นจริง

เพื่อสำรวจการใช้งานและนำไปใช้ของ Large Vision Language Models ในการแก้ไขปัญหาที่เกิดขึ้นจากโครงสร้าง IAD โมเดล AnomalyGPT ซึ่งเป็นแนวทาง IAD ใหม่ที่ใช้ LVLM ได้ถูกนำเสนอ AnomalyGPT สามารถตรวจจับและระบุตำแหน่งความผิดปกติได้โดยไม่ต้องมีการกำหนดค่าขีดจำกัดด้วยตนเอง นอกจากนี้ AnomalyGPT ยังสามารถให้ข้อมูลที่เกี่ยวข้องเกี่ยวกับภาพเพื่อโต้ตอบกับผู้ใช้อย่างมีปฏิสัมพันธ์ ช่วยให้ผู้ใช้สามารถถามคำถามเพิ่มเติมตามความผิดปกติหรือความต้องการเฉพาะของตน
การตรวจจับความผิดปกติทางอุตสาหกรรมและโมเดลภาษาและภาพขนาดใหญ่
โครงสร้าง IAD ที่มีอยู่สามารถแบ่งออกเป็นสองประเภท
- การตรวจจับความผิดปกติแบบ Reconstruction-based
- การตรวจจับความผิดปกติแบบ Feature Embedding-based
ในโครงสร้าง IAD แบบ Reconstruction-based วัตถุประสงค์หลักคือการสร้างตัวอย่างความผิดปกติให้กลายเป็นตัวอย่างปกติ และตรวจจับความผิดปกติโดยการคำนวณข้อผิดพลาดในการสร้างใหม่ โมเดล SCADN, RIAD, AnoDDPM และ InTra ใช้โครงสร้างการสร้างใหม่ที่แตกต่างกัน ตั้งแต่ Generative Adversarial Networks (GAN) และ autoencoders ไปจนถึงโมเดลดิฟฟิวชันและทรานส์ฟอร์เมอร์
ในทางกลับกัน ในโครงสร้าง IAD แบบ Feature Embedding-based วัตถุประสงค์หลักคือการเน้นไปที่การสร้างแบบจำลองการฝังตัวของข้อมูลปกติ วิธีการเช่น PatchSSVD พยายามหาไฮเปอร์สเฟียร์ที่สามารถห่อหุ้มตัวอย่างปกติได้อย่างแน่นหนา ในขณะที่โครงสร้างเช่น PyramidFlow และ Cfl ฉายตัวอย่างปกติไปยังการแจกแจงแบบเกาส์โดยใช้ normalizing flows โครงสร้าง CFA และ PatchCore ได้สร้างธนาคารความจำของตัวอย่างปกติจากการฝังตัวของแพตช์ และใช้ระยะห่างระหว่างการฝังตัวของตัวอย่างทดสอบกับการฝังตัวปกติเพื่อตรวจจับความผิดปกติ
ทั้งสองวิธีนี้ปฏิบัติตามหลักการ «หนึ่งคลาสหนึ่งโมเดล» ซึ่งเป็นรูปแบบการเรียนรู้ที่ต้องการตัวอย่างปกติจำนวนมากเพื่อเรียนรู้การกระจายตัวของแต่ละคลาสของวัตถุ ความต้องการตัวอย่างปกติจำนวนมากทำให้ไม่เหมาะสมสำหรับคลาสวัตถุใหม่ๆ และมีการใช้งานจำกัดในสภาพแวดล้อมการผลิตที่มีการเปลี่ยนแปลงอย่างต่อเนื่อง ในทางกลับกัน โครงสร้าง AnomalyGPT ใช้รูปแบบการเรียนรู้ในบริบทสำหรับคลาสวัตถุ ซึ่งช่วยให้สามารถอนุมานได้โดยใช้ตัวอย่างปกติเพียงไม่กี่ตัวอย่าง
ถัดมาคือ Large Vision Language Models หรือ LVLMs โมเดลภาษาขนาดใหญ่ (LLMs) ได้ประสบความสำเร็จอย่างมากในอุตสาหกรรม NLP และขณะนี้กำลังถูกสำรวจสำหรับการใช้งานในงานที่เกี่ยวข้องกับการมองเห็น โครงสร้าง BLIP-2 ใช้ Q-former เพื่อเข้าถึงคุณลักษณะการมองเห็นจาก Vision Transformer เข้าสู่โมเดล Flan-T5 นอกจากนี้ กรอบงาน MiniGPT เชื่อมต่อส่วนภาพของโครงสร้าง BLIP-2 และโมเดล Vicuna ด้วยชั้นเชิงเส้น และดำเนินการปรับแต่งแบบละเอียดสองขั้นตอนโดยใช้ข้อมูลภาพ-ข้อความ วิธีการเหล่านี้แสดงให้เห็นว่าโครงสร้าง LLM อาจมีการใช้งานบางอย่างสำหรับงานที่เกี่ยวข้องกับการมองเห็น อย่างไรก็ตาม โมเดลเหล่านี้ได้รับการฝึกฝนบนข้อมูลทั่วไปและขาดความเชี่ยวชาญเฉพาะด้านที่จำเป็นสำหรับการใช้งานอย่างกว้างขวาง
วิธีการทำงานของ AnomalyGPT
AnomalyGPT เป็นโมเดล IAD แบบสนทนาที่สร้างขึ้นใหม่ซึ่งออกแบบมาโดยเฉพาะสำหรับการตรวจจับความผิดปกติทางอุตสาหกรรมและระบุตำแหน่งโดยใช้ภาพ โมเดล AnomalyGPT ใช้ LLM และตัวเข้ารหัสภาพที่ได้รับการฝึกฝนล่วงหน้าเพื่อจัดตำแหน่งภาพให้สอดคล้องกับคำอธิบายข้อความที่เกี่ยวข้องโดยใช้ข้อมูลความผิดปกติที่จำลองขึ้น โมเดลนี้แนะนำโมดูลตัวถอดรหัสและโมดูลผู้เรียนรู้คำกระตุ้นเพื่อปรับปรุงประสิทธิภาพของระบบ IAD และบรรลุผลลัพธ์การระบุตำแหน่งระดับพิกเซล
สถาปัตยกรรมโมเดล

ภาพด้านบนแสดงสถาปัตยกรรมของ AnomalyGPT โมเดลจะส่งภาพคำถามเข้าสู่ตัวเข้ารหัสภาพที่ตรึงพารามิเตอร์ไว้ จากนั้นจึงดึงคุณลักษณะระดับแพตช์จากชั้นกลางและป้อนเข้าสู่ตัวถอดรหัสภาพเพื่อคำนวณความคล้ายคลึงกับข้อความปกติและผิดปกติเพื่อให้ได้ผลลัพธ์สำหรับการระบุตำแหน่ง โมดูลผู้เรียนรู้คำกระตุ้นจะแปลงผลลัพธ์เหล่านี้ให้เป็นคำกระตุ้นที่เหมาะสมที่จะใช้เป็นข้อมูลเข้าสำหรับ LLM ร่วมกับข้อความที่ผู้ใช้ป้อน LLM จะใช้คำกระตุ้นเหล่านี้ ภาพที่ป้อน และข้อความที่ผู้ใช้ให้มาเพื่อตรวจจับความผิดปกติและระบุตำแหน่ง และสร้างคำตอบสุดท้ายสำหรับผู้ใช้
ตัวถอดรหัส
เพื่อให้บรรลุการระบุตำแหน่งความผิดปกติระดับพิกเซล โมเดล AnomalyGPT ใช้ตัวถอดรหัสภาพที่อาศัยการจับคู่คุณลักษณะแบบน้ำหนักเบาซึ่งรองรับทั้งโครงสร้าง IAD แบบ few-shot และแบบไม่มีการกำกับ ตัวออกแบบตัวถอดรหัสที่ใช้ใน AnomalyGPT ได้รับแรงบันดาลใจจากโครงสร้าง WinCLIP, PatchCore และ APRIL-GAN
โมเดลแบ่งตัวเข้ารหัสภาพออกเป็น 4 ขั้น และดึงคุณลักษณะระดับแพตช์จากชั้นกลางในแต่ละขั้น อย่างไรก็ตาม คุณลักษณะเหล่านี้ยังไม่ได้ผ่านการจัดแนวภาพและข้อความขั้นสุดท้าย ซึ่งทำให้ไม่สามารถเปรียบเทียบกับคุณลักษณะได้โดยตรง เพื่อแก้ไขปัญหานี้ โมเดล AnomalyGPT แนะนำชั้นเพิ่มเติมเพื่อแปลงคุณลักษณะระดับแพตช์และจัดตำแหน่งให้สอดคล้องกับคุณลักษณะข้อความที่แสดงถึงความหมายปกติและผิดปกติ
ผู้เรียนรู้คำกระตุ้น
กรอบงาน AnomalyGPT เสนอตัวเรียนรู้พรอมป์ต์ ซึ่งแปลงผลการระบุตำแหน่งเป็นเวกเตอร์ฝังตัวของพรอมป์ต์ เพื่อใช้ประโยชน์จากความหมายอย่างละเอียดในภาพและรักษาความสอดคล้องเชิงความหมายระหว่างผลลัพธ์ของตัวถอดรหัสกับ LLM นอกจากนี้ โมเดลยังรวมเวกเตอร์ฝังตัวของพรอมป์ต์ที่เรียนรู้ได้และไม่ขึ้นกับผลลัพธ์ของตัวถอดรหัส เข้ากับตัวเรียนรู้พรอมป์ต์ เพื่อให้ข้อมูลเพิ่มเติมสำหรับงาน IAD สุดท้ายโมเดลป้อนเวกเตอร์ฝังตัวและข้อมูลภาพต้นฉบับให้กับ LLM
ตัวเรียนรู้พรอมป์ต์ประกอบด้วยเวกเตอร์ฝังตัวของพรอมป์ต์พื้นฐานที่เรียนรู้ได้และโครงข่ายประสาทเทียมแบบคอนโวลูชัน โครงข่ายนี้แปลงผลการระบุตำแหน่งเป็นเวกเตอร์ฝังตัวของพรอมป์ต์ แล้วนำชุดเวกเตอร์ดังกล่าวไปรวมกับเวกเตอร์ฝังตัวของภาพเพื่อป้อนให้กับ LLM
การจำลองความผิดปกติ
โมเดล AnomalyGPT ใช้วิธีการ NSA เพื่อจำลองข้อมูลความผิดปกติ วิธีการ NSA ใช้เทคนิค Cut-paste โดยใช้วิธีการแก้ไขภาพ Poisson เพื่อลดรอยต่อที่ไม่ต่อเนื่องจากการวางชิ้นส่วนภาพ เทคนิค Cut-paste ใช้กันทั่วไปในกรอบงาน IAD เพื่อสร้างภาพความผิดปกติจำลอง
วิธีการ Cut-paste เกี่ยวข้องกับการตัดพื้นที่บล็อกจากภาพแบบสุ่มและวางไว้ที่ตำแหน่งสุ่มในอีกภาพหนึ่งเพื่อสร้างส่วนของความผิดปกติที่จำลองขึ้น ตัวอย่างความผิดปกติที่จำลองขึ้นเหล่านี้สามารถปรับปรุงประสิทธิภาพของโมเดล IAD แต่ก็มีข้อเสียคือสามารถสร้างความไม่สม่ำเสมอได้ วิธีการแก้ไขภาพ Poisson มุ่งหมายเพื่อคัดลอกวัตถุจากภาพหนึ่งไปยังอีกภาพหนึ่งอย่างแนบเนียน โดยแก้สมการเชิงอนุพันธ์ย่อยปัวซง

ภาพด้านบนแสดงการเปรียบเทียบระหว่างวิธีการแก้ไขภาพ Poisson และ Cut-paste มีความไม่สม่ำเสมอที่เห็นได้ชัดเจนในวิธีการ Cut-paste ในขณะที่ผลลัพธ์จากวิธีการแก้ไขภาพ Poisson ดูเป็นธรรมชาติ
เนื้อหาสอบถามและตอบ
เพื่อปรับแต่งพรอมป์ต์ของโมเดลภาษาและภาพขนาดใหญ่ โมเดล AnomalyGPT จะสร้างคำถามข้อความที่เกี่ยวข้องกับความผิดปกติในภาพ แต่ละคำถามประกอบด้วยสองส่วนหลัก ส่วนแรกของคำถามประกอบด้วยคำอธิบายของภาพที่ป้อน ซึ่งให้ข้อมูลเกี่ยวกับวัตถุที่มีอยู่ในภาพพร้อมด้วยคุณลักษณะที่คาดหวัง ส่วนที่สองของคำถามคือการตรวจสอบการมีอยู่ของความผิดปกติภายในวัตถุหรือการตรวจสอบว่ามีความผิดปกติในภาพหรือไม่
โมเดล LVLM ตอบคำถามว่ามีความผิดปกติในภาพหรือไม่ หากโมเดลตรวจพบความผิดปกติ จะดำเนินการต่อเพื่อระบุตำแหน่งและจำนวนพื้นที่ที่มีความผิดปกติ โมเดลแบ่งภาพออกเป็นกริด 3×3 ของพื้นที่ที่แตกต่างกันเพื่อให้โมเดล LVLM สามารถระบุตำแหน่งของความผิดปกติได้ด้วยวาจา

โมเดล LVLM ได้รับความรู้เชิงลึกเกี่ยวกับภาพที่ป้อนพร้อมด้วยความรู้พื้นฐานเกี่ยวกับภาพที่ช่วยให้โมเดลเข้าใจส่วนประกอบของภาพได้ดีขึ้น
ชุดข้อมูลและมาตรการประเมิน
โมเดลทำการทดลองหลักบนชุดข้อมูล VisA และ MVTec-AD ชุดข้อมูล MVTec-AD ประกอบด้วย 3629 ภาพสำหรับการฝึกอบรมและ 1725 ภาพสำหรับการทดสอบซึ่งแบ่งออกเป็น 15 ประเภทที่แตกต่างกัน ทำให้เป็นหนึ่งในชุดข้อมูลที่ได้รับความนิยมมากที่สุดสำหรับกรอบงาน IAD ภาพฝึกมีเฉพาะภาพปกติ ส่วนภาพทดสอบมีทั้งภาพปกติและภาพผิดปกติ
ในทางกลับกัน ชุดข้อมูล VisA ประกอบด้วย 9621 ภาพปกติและเกือบ 1200 ภาพที่มีความผิดปกติซึ่งแบ่งออกเป็น 12 ประเภทที่แตกต่างกัน
เช่นเดียวกับกรอบงาน IAD ที่มีอยู่ AnomalyGPT ใช้ AUC หรือพื้นที่ใต้เส้นโค้ง ROC เป็นตัวชี้วัด โดยใช้ AUC ระดับพิกเซลประเมินการระบุตำแหน่งความผิดปกติ และ AUC ระดับภาพประเมินการตรวจจับความผิดปกติ นอกจากนี้ยังใช้ความแม่นยำระดับภาพประเมินแนวทางที่เสนอ เพราะสามารถระบุว่ามีความผิดปกติหรือไม่โดยไม่ต้องตั้งค่าเกณฑ์ด้วยตนเอง
ผลลัพธ์
ผลลัพธ์เชิงปริมาณ
การตรวจจับความผิดปกติทางอุตสาหกรรมแบบ few-shot
โมเดล AnomalyGPT เปรียบเทียบผลลัพธ์กับโครงสร้าง IAD แบบ few-shot ก่อนหน้านี้ รวมถึง PaDiM, SPADE, WinCLIP และ PatchCore

ภาพด้านบนเปรียบเทียบผลลัพธ์ของโมเดล AnomalyGPT กับโครงสร้าง IAD แบบ few-shot ในทั้งสองชุดข้อมูล แนวทางของ AnomalyGPT ให้ AUC ระดับภาพสูงกว่าแนวทางของโมเดลก่อนหน้า และยังให้ความแม่นยำที่ดี
การตรวจจับความผิดปกติทางอุตสาหกรรมแบบไม่มีการกำกับ
ในสถานการณ์การฝึกอบรมที่ไม่มีการกำกับด้วยตัวอย่างปกติจำนวนมาก โมเดล AnomalyGPT ฝึกโมเดลเดียวด้วยตัวอย่างจากทุกคลาสในชุดข้อมูล ผู้พัฒนาเลือก UniAD เป็นเกณฑ์เปรียบเทียบเนื่องจากฝึกด้วยการตั้งค่าแบบเดียวกัน และยังเปรียบเทียบกับ JNLD และ PaDim ภายใต้การตั้งค่าแบบรวมเดียวกัน

ภาพด้านบนเปรียบเทียบผลลัพธ์ของโมเดล AnomalyGPT กับโครงสร้างอื่นๆ
ผลลัพธ์เชิงคุณภาพ

ภาพด้านบนแสดงผลลัพธ์ของโมเดล AnomalyGPT ในการตรวจจับความผิดปกติแบบไม่มีการกำกับ ในขณะที่ภาพด้านล่างแสดงผลลัพธ์ของโมเดลใน 1-shot in-context learning

โมเดล AnomalyGPT สามารถระบุการมีอยู่ของความผิดปกติ ระบุตำแหน่ง และให้ผลลัพธ์การระบุตำแหน่งระดับพิกเซล เมื่อโมเดลอยู่ในโหมด 1-shot in-context learning ประสิทธิภาพการระบุตำแหน่งของโมเดลจะลดลงเล็กน้อยเมื่อเทียบกับโหมดการฝึกอบรมที่ไม่มีการกำกับ เนื่องจากไม่มีการฝึกอบรม
สรุป
AnomalyGPT เป็นโมเดล IAD แบบสนทนาที่สร้างขึ้นใหม่ซึ่งใช้โมเดลภาษาและภาพขนาดใหญ่เพื่อตรวจจับความผิดปกติทางอุตสาหกรรมและระบุตำแหน่งโดยใช้ภาพ นอกจากนี้ AnomalyGPT ยังสามารถอำนวยความสะดวกในการสนทนาที่มีหลายรอบเกี่ยวกับการตรวจจับความผิดปกติและแสดงผลลัพธ์ที่น่าประทับใจในการเรียนรู้ในบริบทที่มี few-shot AnomalyGPT สำรวจการประยุกต์ใช้ LVLMs ในการตรวจจับความผิดปกติ โดยนำเสนอแนวคิดและความเป็นไปได้ใหม่ๆ สำหรับอุตสาหกรรม IAD












