نماذج ومنصات الذكاء الاصطناعي

AnomalyGPT: كشف الشذوذ الصناعي باستخدام LVLMs

Kunal Kejriwal
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةيلغي AnomalyGPT الحاجة إلى ضبط العتبات يدوياً لاكتشاف الشذوذ الصناعي باستخدام نماذج…
عرض المزيد
  • يلغي AnomalyGPT الحاجة إلى ضبط العتبات يدوياً لاكتشاف الشذوذ الصناعي باستخدام نماذج اللغة والرؤية الكبيرة (LVLMs).
  • يحقق النموذج تحديد الشذوذ على مستوى البكسل من خلال وحدة فك تشفير جديدة ومتعلم موجه مبتكر.
  • يمكن AnomalyGPT من إجراء حوار تفاعلي حول الشذوذ ويتفوق في سيناريوهات التعلم القليلة العينات.

أظهرت النماذج اللغوية البصرية الكبيرة (LVLMs)، مثل LLava وMiniGPT-4، مؤخرًا قدرة على فهم الصور وتحقيق دقة وكفاءة مرتفعتين في مهام بصرية متعددة. ورغم براعتها في التعرف على الأشياء الشائعة بفضل مجموعات تدريبها الواسعة، فإنها تفتقر إلى المعرفة المتخصصة بالمجالات، ويظل فهمها للتفاصيل الموضعية في الصور محدودًا. ويقلل ذلك فاعليتها في كشف الشذوذ الصناعي (IAD). وفي المقابل، تستطيع أطر IAD الحالية تحديد مصادر الشذوذ فحسب، وتحتاج إلى ضبط العتبات يدويًا للتمييز بين العينات الطبيعية والشاذة، مما يحد من استخدامها العملي.

يهدف إطار IAD أساسًا إلى كشف الشذوذ وتحديد موضعه في البيئات الصناعية وصور المنتجات. وبسبب ندرة عينات الصور الواقعية وصعوبة التنبؤ بها، تُدرّب النماذج عادة على البيانات الطبيعية وحدها، وتميز العينات الشاذة بحسب انحرافها عن العينات المعتادة. وتوفر الأطر الحالية في المقام الأول درجات شذوذ لعينات الاختبار. كما أن التمييز بين الحالات الطبيعية والشاذة لكل فئة من العناصر يتطلب تحديد العتبات يدويًا، مما يجعلها غير ملائمة للتطبيقات الواقعية.

لاستكشاف استخدام النماذج اللغوية البصرية الكبيرة في مواجهة هذه التحديات، قُدم AnomalyGPT، وهو نهج جديد لكشف الشذوذ الصناعي يعتمد على LVLM. ويستطيع كشف الشذوذ وتحديد موضعه دون ضبط العتبات يدويًا. كما يقدم معلومات ذات صلة بالصورة ويتفاعل مع المستخدمين، مما يتيح لهم طرح أسئلة متابعة بشأن الشذوذ أو احتياجاتهم المحددة.

كشف الشذوذ الصناعي والنماذج اللغوية البصرية الكبيرة

يمكن تقسيم أطر IAD الحالية إلى فئتين:

  1. كشف الشذوذ الصناعي القائم على إعادة البناء.
  2. كشف الشذوذ الصناعي القائم على تضمين السمات.

في الفئة الأولى، يتمثل الهدف الرئيسي في إعادة بناء العينات الشاذة لتصبح مقابلاتها الطبيعية، ثم كشف الشذوذ بحساب خطأ إعادة البناء. وتستخدم SCADN وRIAD وAnoDDPM وInTra أطرًا متنوعة، من الشبكات التوليدية الخصومية (GAN) والمُرمّزات التلقائية إلى نماذج الانتشار والمحوّلات.

أما الفئة الثانية فتركز على نمذجة تضمينات سمات البيانات الطبيعية. وتسعى أساليب مثل PatchSSVD إلى إيجاد كرة فائقة الأبعاد تحيط بالعينات الطبيعية بإحكام، بينما تُسقط PyramidFlow وCfl العينات الطبيعية على توزيع غاوسي باستخدام تدفقات التطبيع. وتنشئ CFA وPatchCore بنك ذاكرة للعينات الطبيعية من تضمينات الرقع، وتستخدم المسافة بين تضمين عينة الاختبار والتضمين الطبيعي لكشف الشذوذ.

يتبع النهجان مبدأ «نموذج واحد لكل فئة»، وهو نهج تعلم يحتاج إلى عدد كبير من العينات الطبيعية لتعلم توزيع كل فئة من الأشياء. ويجعله ذلك غير عملي للفئات الجديدة ومحدود الاستخدام في بيئات المنتجات المتغيرة. أما AnomalyGPT فيستخدم التعلم ضمن السياق لفئات الأشياء، مما يتيح له الاستدلال ببضع عينات طبيعية فقط.

ننتقل إلى النماذج اللغوية البصرية الكبيرة. فقد حققت النماذج اللغوية الكبيرة (LLMs) نجاحًا هائلًا في معالجة اللغة الطبيعية، ويجري استكشاف استخدامها في المهام البصرية. ويستخدم BLIP-2 المكون Q-former لإدخال السمات البصرية من محوّل الرؤية إلى Flan-T5. كذلك يربط إطار MiniGPT الجزء الصوري من BLIP-2 بنموذج Vicuna عبر طبقة خطية، ثم يضبطه ضبطًا دقيقًا على مرحلتين باستخدام بيانات الصور والنصوص. وتشير هذه الأساليب إلى إمكانية تطبيق LLMs في المهام البصرية، لكنها دُرّبت على بيانات عامة وتفتقر إلى الخبرة المتخصصة اللازمة لاستخدامات واسعة.

كيف يعمل AnomalyGPT؟

AnomalyGPT نموذج لغوي بصري كبير حواري جديد لكشف الشذوذ الصناعي وتحديد موضعه الدقيق في الصور. ويستخدم نموذجًا لغويًا كبيرًا ومُرمّز صور مدرّبًا مسبقًا لمواءمة الصور مع أوصافها النصية باستخدام بيانات شذوذ محاكية. ويقدم وحدة لفك الترميز ووحدة لتعلم المحفزات لتحسين أداء الكشف وإنتاج نتائج تحديد الموضع على مستوى البكسل.

بنية النموذج

يوضح الشكل البنية: يمرر النموذج صورة الاستعلام أولًا إلى مُرمّز الصور ذي المعلمات المثبتة، ثم يستخرج سمات الرقع من الطبقات الوسيطة ويرسلها إلى مفكك ترميز الصور لحساب تشابهها مع النصوص التي تصف الحالات الطبيعية وغير الطبيعية، والحصول على نتائج تحديد الموضع. ويحوّل متعلم المحفزات تلك النتائج إلى تضمينات محفزات ملائمة لإدخالها إلى LLM مع نص المستخدم. ويستفيد LLM من هذه التضمينات ومدخلات الصورة ونص المستخدم لكشف الشذوذ وتحديد موضعه وصياغة الرد النهائي.

مفكك الترميز

لتحديد موضع الشذوذ على مستوى البكسل، يستخدم AnomalyGPT مفكك ترميز صور خفيفًا قائمًا على مطابقة السمات، يدعم الكشف بأمثلة قليلة والكشف غير الخاضع للإشراف. ويستلهم تصميمه من WinCLIP وPatchCore وAPRIL-GAN. ويقسم مُرمّز الصور إلى أربع مراحل، ويستخرج سمات الرقع الوسيطة في كل مرحلة.

لكن هذه السمات لم تمر بمواءمة الصورة والنص النهائية، فلا يمكن مقارنتها مباشرة بالسمات النصية. ولمعالجة ذلك، يضيف النموذج طبقات لإسقاط السمات الوسيطة ومواءمتها مع السمات النصية التي تمثل الدلالات الطبيعية وغير الطبيعية.

متعلم المحفزات

يحوّل متعلم المحفزات نتيجة تحديد الموضع إلى تضمينات محفزات للاستفادة من الدلالات الدقيقة في الصور، مع الحفاظ على الاتساق الدلالي بين مخرجات مفكك الترميز والنموذج اللغوي. ويضيف أيضًا تضمينات محفزات قابلة للتعلم لا ترتبط بمخرجات مفكك الترميز، لتوفير معلومات إضافية لمهمة الكشف. وأخيرًا تُمرر التضمينات ومعلومات الصورة الأصلية إلى LLM.

ويتكون المتعلم من تضمينات محفزات أساسية قابلة للتعلم وشبكة عصبية التفافية. وتحوّل الشبكة نتيجة تحديد الموضع إلى مجموعة تضمينات تُدمج مع تضمينات الصور وتُدخل إلى النموذج اللغوي الكبير.

محاكاة الشذوذ

يتبنى AnomalyGPT أسلوب NSA لمحاكاة البيانات الشاذة، الذي يستخدم القص واللصق مع تحرير الصور بطريقة بواسون لتخفيف الانقطاعات الناتجة عن لصق أجزاء الصور. والقص واللصق تقنية شائعة في أطر IAD لتوليد صور شذوذ محاكية.

وتتضمن قص منطقة كتلية عشوائيًا من صورة ولصقها في موضع عشوائي بصورة أخرى، لإنشاء جزء يحاكي الشذوذ. وقد تحسن هذه العينات أداء نماذج الكشف، لكنها كثيرًا ما تنتج انقطاعات ملحوظة. وتهدف طريقة بواسون إلى نسخ جسم بسلاسة بين صورتين من خلال حل معادلات بواسون التفاضلية الجزئية.

يقارن الشكل بين الطريقتين: تظهر انقطاعات واضحة عند القص واللصق، بينما تبدو نتائج تحرير بواسون أكثر طبيعية.

محتوى الأسئلة والأجوبة

لضبط محفزات النموذج اللغوي البصري الكبير، يولد AnomalyGPT استعلامًا نصيًا بناءً على صورة الشذوذ. ويتكون من جزأين رئيسيين: وصف للصورة المدخلة يوضح الأشياء الموجودة وخصائصها المتوقعة، ثم سؤال عن وجود شذوذ داخل الجسم أو الصورة.

يجيب LVLM أولًا عن سؤال وجود الشذوذ. وإذا اكتشفه، يحدد عدد المناطق الشاذة ومواقعها. ويقسم الصورة إلى شبكة 3×3 من المناطق المتميزة ليتيح وصف موضع الشذوذ بالكلمات، كما في الشكل التالي.

ويُزوَّد النموذج بمعرفة وصفية عن المدخل ومعرفة أساسية بالصورة، مما يساعده على فهم مكوناتها بصورة أفضل.

مجموعات البيانات ومقاييس التقييم

أُجريت التجارب أساسًا على VisA وMVTec-AD. وتضم MVTec-AD عددًا من صور التدريب يبلغ 3,629 وصور الاختبار يبلغ 1,725، موزعة على 15 فئة، وهي من أشهر مجموعات بيانات الكشف الصناعي. وتشمل صور التدريب حالات طبيعية فقط، بينما يشمل الاختبار حالات طبيعية وشاذة. أما VisA فتضم 9,621 صورة طبيعية ونحو 1,200 صورة شاذة موزعة على 12 فئة.

ومثل الأطر الحالية، يستخدم AnomalyGPT المساحة تحت منحنى خصائص تشغيل المستقبِل (AUC) مقياسًا للتقييم. ويُستخدم AUC على مستوى البكسل لتقييم تحديد موضع الشذوذ، وعلى مستوى الصورة لتقييم كشفه. ويستخدم أيضًا دقة التصنيف على مستوى الصورة، لأنه يتيح تحديد وجود الشذوذ دون الحاجة إلى ضبط العتبات يدويًا.

النتائج

النتائج الكمية

كشف الشذوذ الصناعي بأمثلة قليلة

قارن النموذج نتائجه بأطر سابقة للتعلم بأمثلة قليلة، تشمل PaDiM وSPADE وWinCLIP وPatchCore بوصفها خطوط أساس.

يوضح الشكل أن AnomalyGPT يتفوق على الأساليب السابقة في AUC على مستوى الصورة في مجموعتي البيانات، ويحقق دقة جيدة أيضًا.

كشف الشذوذ الصناعي غير الخاضع للإشراف

في إعداد تدريب غير خاضع للإشراف يحتوي على عدد كبير من العينات الطبيعية، يدرب AnomalyGPT نموذجًا واحدًا على عينات من جميع فئات مجموعة البيانات. واختار المطورون UniAD خط أساس للمقارنة، لأنه يُدرّب بالإعداد نفسه. وقارنوا أيضًا مع JNLD وPaDim باستخدام الإعداد الموحد نفسه.

يقارن الشكل أداء AnomalyGPT بالأطر الأخرى.

النتائج النوعية

يوضح الشكل أعلاه أداء النموذج في الكشف غير الخاضع للإشراف، بينما يوضح الشكل أدناه أداءه في التعلم ضمن السياق بمثال واحد.

يستطيع AnomalyGPT الإشارة إلى وجود الشذوذ، وتحديد موضعه، وتقديم نتائج على مستوى البكسل. ويكون أداؤه في تحديد الموضع عند التعلم ضمن السياق بمثال واحد أقل قليلًا من أدائه في التعلم غير الخاضع للإشراف، بسبب غياب التدريب في الحالة الأولى.

الخلاصة

AnomalyGPT نموذج لغوي بصري حواري جديد لكشف الشذوذ الصناعي، صُمم للاستفادة من القدرات القوية للنماذج اللغوية البصرية الكبيرة. فهو لا يكتفي بكشف الشذوذ في الصورة، بل يحدد موقعه بدقة. كما يتيح حوارات متعددة الجولات تركز على كشف الشذوذ، ويقدم أداءً متميزًا في التعلم ضمن السياق بأمثلة قليلة. ويستكشف إمكانات تطبيق LVLMs في هذا المجال، مقدمًا أفكارًا وإمكانات جديدة لصناعة كشف الشذوذ الصناعي.

كونال كيجريوال مهندس برمجيات للأنظمة الخلفية، متخصص في Python وPostgreSQL وRedis والبنية التحتية السحابية على GCP وAWS. لديه ثلاث سنوات من الخبرة في بناء الأنظمة البرمجية المستخدمة فعليًا وتوسيع نطاقها، ويكتب عن البنية التحتية للذكاء الاصطناعي والأنظمة الموزعة والبنية المعمارية لنشر أعباء عمل التعلم الآلي.