نماذج ومنصات الذكاء الاصطناعي
DiffSeg : تقنية تقسيم غير خاضعة للإشراف باستخدام الانسياب المستقر
النقاط الرئيسيةيقوم DiffSeg بإنشاء أقنعة التجزئة من طبقات الانتباه الذاتي في Stable Diffusion دون أي…
عرض المزيد
- يقوم DiffSeg بإنشاء أقنعة التجزئة من طبقات الانتباه الذاتي في Stable Diffusion دون أي تدريب أو تسميات.
- تجنب عملية الدمج المبتكرة فيه تحديد عدد المجموعات على عكس الطرق التقليدية غير الخاضعة للإشراف.
- يحقق الخوارزمية أداءً متطورًا في التجزئة الصفرية على معايير مثل Cityscapes و COCO-stuff.
يُعد إنشاء أقنعة تجزئة عالية الجودة أحد التحديات الأساسية في نماذج الرؤية الحاسوبية. وقد أتاحت التطورات الحديثة في التدريب الخاضع للإشراف واسع النطاق تجزئة صور متنوعة دون أمثلة تدريب خاصة بالمهمة، أي في إعداد «صفر أمثلة» (zero-shot). كما سهّل التدريب غير الخاضع للإشراف التجزئة دون الحاجة إلى توصيفات موسعة للبيانات. ومع ذلك، لا يزال بناء نظام قادر على تجزئة أي شيء في إعداد صفر أمثلة ودون توصيفات تحديًا معقدًا. وتعني التجزئة الدلالية تقسيم الصورة إلى مناطق أصغر ذات دلالات متجانسة، وهي أساس مهام لاحقة مثل التصوير الطبي وتحرير الصور والقيادة الذاتية.

ينبغي ألا تقتصر تجزئة الصور على مجموعة بيانات ثابتة ذات فئات محدودة، بل أن تكون مهمة تأسيسية مرنة لتطبيقات متعددة. لكن جمع التسميات على مستوى كل بكسل مكلف، مما يعيق تطوير أساليب لا تتطلب توصيفات أو وصولًا مسبقًا إلى البيانات المستهدفة. يناقش هذا المقال كيف تستطيع طبقات الانتباه الذاتي في نماذج Stable Diffusion إتاحة تجزئة أي مدخل في إعداد صفر أمثلة دون توصيفات مناسبة. فهذه الطبقات تتضمن مفاهيم الكائنات التي تعلمها نموذج Stable Diffusion المدرّب مسبقًا.
DiffSeg: خوارزمية محسّنة للتجزئة دون أمثلة
تقسم التجزئة الدلالية الصورة إلى أجزاء تتشارك دلالات متشابهة، وتدعم بذلك كثيرًا من المهام اللاحقة. اعتمدت مهام الرؤية الحاسوبية دون أمثلة تقليديًا على تجزئة دلالية خاضعة للإشراف باستخدام مجموعات كبيرة ذات فئات موصوفة وموسومة. لكن تنفيذ تجزئة غير خاضعة للإشراف في إعداد صفر أمثلة ما زال صعبًا. فعلى الرغم من فعالية الأساليب الخاضعة للإشراف، غالبًا ما تكون تكلفة وسم كل بكسل باهظة. لذلك نحتاج إلى أساليب غير خاضعة للإشراف تعمل في إعداد أقل تقييدًا ولا تتطلب بيانات موسومة أو معرفة مسبقة بها.
تقدم DiffSeg استراتيجية جديدة للمعالجة اللاحقة تستفيد من Stable Diffusion لبناء نموذج تجزئة عام قادر على الانتقال إلى أي صورة دون أمثلة خاصة. وقد أثبتت Stable Diffusion فعاليتها في توليد صور عالية الدقة وفق توجيهات نصية. ويمكن إنشاء أقنعة تجزئة للصور المولدة باستخدام التوجيهات المقابلة، لكنها عادةً لا تشمل إلا الكائنات البارزة في المقدمة.
أما DiffSeg فتولّد الأقنعة باستخدام موترات الانتباه في طبقات الانتباه الذاتي لنموذج الانتشار. وتتكون الخوارزمية من ثلاثة عناصر رئيسية: دمج الانتباه التكراري، وتجميع الانتباه، وكبت القيم غير العظمى، كما يوضح الشكل التالي.

تحافظ الخوارزمية على المعلومات البصرية عبر مستويات دقة متعددة بتجميع موترات الانتباه رباعية الأبعاد مع الحفاظ على الاتساق المكاني. وتستخدم عملية دمج تكرارية تبدأ من نقاط ارتكاز مأخوذة بالعينات؛ وتُدمج في النهاية النقاط العائدة إلى الكائن نفسه. وتضبط DiffSeg عملية الدمج باستخدام تباعد كولباك–لايبلر (KL) لقياس التشابه بين خريطتي انتباه.
بعكس أساليب التجزئة غير الخاضعة للإشراف القائمة على التجميع، لا تتطلب DiffSeg تحديد عدد العناقيد مسبقًا. ويمكنها إنتاج التجزئة دون معرفة مسبقة أو موارد إضافية. وهي باختصار طريقة جديدة غير خاضعة للإشراف تعمل دون أمثلة خاصة، وتستخدم نموذج Stable Diffusion المدرّب مسبقًا لتجزئة الصور دون موارد إضافية أو معرفة مسبقة.
DiffSeg: المفاهيم الأساسية
تستند الخوارزمية إلى نماذج الانتشار والتجزئة غير الخاضعة للإشراف والتجزئة دون أمثلة.
نماذج الانتشار
تستفيد DiffSeg من نماذج انتشار مدرّبة مسبقًا، وهي من أشهر الأطر التوليدية في الرؤية الحاسوبية. تتعلم هذه النماذج عمليتي الانتشار الأمامية والعكسية لتوليد صورة انطلاقًا من ضوضاء غاوسية متساوية الخواص. وStable Diffusion من أشهر أنواعها، وتُستخدم في التجزئة الخاضعة للإشراف والتصنيف دون أمثلة ومطابقة التناظر الدلالي والتجزئة الاقتصادية في التسميات والتجزئة ذات المفردات المفتوحة. لكنها تعتمد على سمات بصرية عالية الأبعاد، وغالبًا ما تتطلب تدريبًا إضافيًا للاستفادة الكاملة منها.
التجزئة غير الخاضعة للإشراف
تهدف هذه الأساليب إلى إنشاء أقنعة تجزئة كثيفة دون استخدام توصيفات. لكنها تحتاج عادةً إلى تدريب غير خاضع للإشراف مسبق على البيانات المستهدفة لتحقيق أداء جيد. وتنقسم إلى فئتين: التجميع باستخدام نماذج مدرّبة مسبقًا، والتجميع القائم على الثبات. تستخدم الأولى السمات التمييزية التي تعلمتها النماذج لإنتاج الأقنعة. وتستخدم الثانية خوارزمية تجميع عامة تُحسّن المعلومات المتبادلة بين صورتين لتقسيم الصور إلى عناقيد دلالية وتجنب التجزئة المنهارة.
التجزئة دون أمثلة
تتيح هذه الطريقة تجزئة أي شيء دون تدريب مسبق خاص أو معرفة مسبقة بالبيانات. وأظهرت نماذجها قدرات انتقال ممتازة مؤخرًا، لكنها تتطلب بعض المدخلات والتوجيهات النصية. أما DiffSeg فتستخدم نموذج انتشار للتجزئة دون الاستعلام عن صور متعددة وتوليدها، ودون معرفة محتويات الكائن.
DiffSeg: المنهج والبنية
تستخدم الخوارزمية طبقات الانتباه الذاتي في نموذج Stable Diffusion المدرّب مسبقًا لإنتاج تجزئة عالية الجودة.
نموذج Stable Diffusion
Stable Diffusion إطار توليدي ومن أشهر نماذج الانتشار. في المسار الأمامي، تضاف كمية صغيرة من الضوضاء الغاوسية إلى الصورة تكراريًا عند كل خطوة زمنية حتى تتحول إلى ضوضاء غاوسية متساوية الخواص. وفي المسار العكسي، يزيل النموذج الضوضاء تدريجيًا لاستعادة الصورة الأصلية.
يستخدم الإطار مشفّرًا وفاكّ تشفير وبنية U-Net تحتوي على طبقات انتباه. يضغط المشفّر الصورة إلى فضاء كامن ذي أبعاد مكانية أصغر، ويعيد فاكّ التشفير توسيعها. وتتكون U-Net من وحدات معيارية تضم طبقات محوّل أو طبقات ResNet.
المكونات والبنية
تجمع طبقات الانتباه الذاتي معلومات الكائنات في خرائط انتباه مكانية. وDiffSeg طريقة معالجة لاحقة لدمج هذه الموترات في قناع تجزئة صالح، عبر تجميع الانتباه ودمجه تكراريًا وكبت القيم غير العظمى.
تجميع الانتباه
عند مرور الصورة بالمشفّر وطبقات U-Net، يولّد Stable Diffusion ما مجموعه 16 موتر انتباه. يصف المقال توزيعها على الأبعاد، ويهدف إلى تجميع موترات ذات مستويات دقة مختلفة في موتر بأعلى دقة ممكنة. ولهذا تُعامل الأبعاد الأربعة بطرق مختلفة.
البعدان الأخيران مختلفان في الدقة، لكنهما متسقان مكانيًا لأن الخريطة المكانية الثنائية الأبعاد تعبّر عن الارتباط بين المواقع. لذلك تعيد DiffSeg أخذ عينات هذين البعدين في جميع الخرائط إلى أعلى دقة، وهي 64 × 64. أما البعدان الأولان فيحددان الموقع المرجعي لخرائط الانتباه، كما يوضح الشكل.

تُجمع الخرائط وفقًا لهذه المراجع المكانية. ولضمان أن تمثل الخريطة المجمعة توزيعًا صالحًا، يُطبّع التوزيع بعد التجميع وتُمنح كل خريطة وزنًا متناسبًا مع دقتها.
دمج الانتباه التكراري
بعد حساب موتر الانتباه، تُدمج خرائطه في مجموعة من مقترحات الكائنات. يمثل كل مقترح فئة من عناصر المشهد أو تنشيط كائن واحد. يمكن استخدام K-Means لتحديد عناقيد الكائنات، لكنه يتطلب تحديد عددها مسبقًا، وقد يعطي نتائج مختلفة للصورة نفسها بسبب اعتماده العشوائي على التهيئة. ولتجنب ذلك، تولّد DiffSeg شبكة أخذ عينات وتُنشئ المقترحات بدمج خرائط الانتباه تكراريًا.
كبت القيم غير العظمى
ينتج الدمج التكراري قائمة مقترحات على هيئة خرائط احتمالية أو خرائط انتباه، تحتوي كل منها على تنشيط الكائن. وتُحوّل القائمة إلى قناع تجزئة صالح باستخدام كبت القيم غير العظمى. وبما أن كل مقترح خريطة توزيع احتمالي بالفعل، تختار الخوارزمية عند كل موقع مكاني فهرس الخريطة ذات الاحتمال الأعلى، وتُسنِد العضوية وفقًا لهذا الفهرس.
DiffSeg: التجارب والنتائج
تستخدم المقارنة مجموعتي Cityscapes وCOCO-stuff-27. وتصف المقالة Cityscapes بأنها بيانات قيادة ذاتية تضم 27 فئة متوسطة المستوى. أما COCO-stuff-27 فهي نسخة منقحة تدمج 80 فئة للكائنات و91 فئة لعناصر المشهد في 27 فئة. يُقاس الأداء بمتوسط التقاطع على الاتحاد (mIoU) ودقة البكسل (ACC). ولأن DiffSeg لا تعطي تسميات دلالية، تستخدم خوارزمية المطابقة الهنغارية لمطابقة الأقنعة المتوقعة بالأقنعة المرجعية. وعندما يزيد عدد الأقنعة المتوقعة، تصف المقالة الأقنعة غير المطابقة بأنها تُحتسب ضمن الحالات السلبية الكاذبة.
تتناول المقارنة أيضًا ثلاثة متطلبات للاستدلال: الاعتماد على اللغة (LD)، أي الحاجة إلى نص وصفي؛ والتكيف غير الخاضع للإشراف (UA)، أي الحاجة إلى تدريب غير خاضع للإشراف على البيانات المستهدفة؛ والصور المساعدة (AX)، أي الحاجة إلى صور اصطناعية أو مجموعة صور مرجعية إضافية.
النتائج
على COCO، تشمل المقارنة خطّي أساس هما K-Means-S وK-Means-C. يستخدم K-Means-C ستة عناقيد، محسوبة من متوسط عدد الكائنات في الصور المقيمة. أما K-Means-S فيستخدم عددًا خاصًا بكل صورة وفق عدد الكائنات في البيانات المرجعية. يوضح الشكل التالي النتائج.

تتفوق خطوط أساس K-Means على الأساليب السابقة، مما يوضح فائدة موترات الانتباه الذاتي. ويتفوق K-Means-S على K-Means-C، وهو ما يشير إلى أهمية عدد العناقيد بوصفه معلمة فائقة ينبغي ضبطها لكل صورة. ومع استخدام موترات الانتباه نفسها، تتفوق DiffSeg على كليهما، فتقدم تجزئة أفضل وتتجنب عيوب الاعتماد على K-Means.
على Cityscapes، تحقق DiffSeg نتائج مشابهة للطرائق ذات مدخلات بدقة 320، وتتجاوز الطرائق ذات مدخلات بدقة 512 من حيث الدقة وmIoU.

تستخدم DiffSeg عدة معلمات فائقة، كما يوضح الشكل التالي.

تجميع الانتباه مفهوم أساسي في الخوارزمية. ويبين الشكل التالي أثر أوزان التجميع المختلفة مع تثبيت دقة الصورة.

تنتج خرائط 64 × 64 في الشكل (b) أكثر التجزئات تفصيلًا، لكن تظهر فيها بعض الانقطاعات. وتميل خرائط 32 × 32 إلى الإفراط في تقسيم التفاصيل، مع اتساق أفضل. وفي الشكل (d)، تفشل الخرائط منخفضة الدقة في فصل الكائنات، فتُدمج الصورة كلها في كائن واحد وفق إعدادات المعلمات المستخدمة. أما التجميع النسبي في الشكل (a) فيحقق تفاصيل أفضل واتساقًا متوازنًا.
أفكار ختامية
لا تزال التجزئة غير الخاضعة للإشراف دون أمثلة من أكبر تحديات الرؤية الحاسوبية. وتعتمد الأساليب الحالية على التكيف غير الخاضع للإشراف أو الموارد الخارجية. تتيح طبقات الانتباه الذاتي في Stable Diffusion بناء نموذج يجزئ مدخلات جديدة دون توصيفات، مستفيدًا من مفاهيم الكائنات التي تعلمها مسبقًا. وتقدم DiffSeg استراتيجية معالجة لاحقة تستخدم هذه الإمكانات لبناء نموذج تجزئة عام قادر على الانتقال إلى أي صورة دون أمثلة خاصة. وتعتمد على التشابه بين خرائط الانتباه وداخلها لدمج الخرائط تكراريًا في أقنعة صالحة، محققة أداءً متقدمًا على مجموعات الاختبار الشائعة.












