باحثون يطورون تقنيات جديدة لتحسين الصور المتدهورة

فريق من الباحثين في كلية ييل-نوس طوروا مناهج جديدة في رؤية الكمبيوتر والتعلم العميق لاستخراج بيانات أكثر دقة من الرؤية المنخفضة في مقاطع الفيديو بسبب العوامل البيئية مثل المطر والظروف الليلية.

تتأثر تقنية الرؤية الكمبيوترية، التي تستخدم في تطبيقات مثل أنظمة المراقبة الآلية والمركبات المستقلة وأدوات الصحة والتباعد الاجتماعي، غالبًا بالعوامل البيئية، مما قد يسبب مشاكل مع البيانات المستخرجة.

تم تقديم البحث الجديد في مؤتمر 2021 حول الرؤية الكمبيوترية والتعرف على الأنماط (CVPR).

التأثير البيئي على الصور

تؤثر الظروف مثل الضوء المنخفض والضوء الصناعي مثل الوهج والإضاءة والضوء الساطع على الصور الليلية. كما تتأثر صور المطر بالخطوط المطرية أو تراكم المطر.

قاد فريق البحث أستاذ العلوم روبي تان في كلية ييل-نوس.

“تعتمد العديد من أنظمة الرؤية الكمبيوترية مثل المراقبة الآلية والمركبات المستقلة على الرؤية الواضحة لمقاطع الفيديو الإدخالية للعمل بشكل جيد. على سبيل المثال، لا يمكن للمركبات المستقلة العمل بشكل متين في المطر الكثيف، ونظم المراقبة الآلية غالبًا ما تفشل في الليل، خاصة إذا كانت المشاهد مظلمة أو هناك إضاءة كثيفة أو ضوء ساطع،” قال أستاذ تان.

اعتمد الفريق على دراستين منفصلتين قدمتا خوارزميات التعلم العميق لتحسين جودة مقاطع الفيديو الليلية ومقاطع الفيديو المطرية.

ركزت الدراسة الأولى على تعزيز السطوع مع كبت الضوضاء والآثار الضوئية، مثل الوهج والإضاءة والضوء الساطع، لإنشاء صور ليلية واضحة. تهدف التقنية الجديدة إلى تحسين الوضوح في الصور والفيديوهات الليلية عندما يكون هناك وهج لا مفر منه، وهو ما لم تقم به الطرق الحالية بعد.

في البلدان التي يكون فيها المطر الغزير شائعًا، يؤثر تراكم المطر سلبًا على الرؤية في مقاطع الفيديو. وضعت الدراسة الثانية طريقة لتحسين الرؤية من خلال استخدام تقنية محاذاة الإطارات، مما يسمح بتحسين المعلومات البصرية دون تأثر بالخطوط المطرية، التي غالبًا ما تظهر بشكل عشوائي في إطارات مختلفة. استخدم الفريق كاميرا متحركة لتحقيق تقدير العمق، مما ساعد على إزالة تأثير الغشاء المطري. في حين تركز الطرق الحالية على إزالة الخطوط المطرية، يمكن للطرق الجديدة إزالة الخطوط المطرية وتأثير الغشاء المطري في نفس الوقت.

صورة: كلية ييل-نوس

تقدير وضع الإنسان ثلاثي الأبعاد

إضافة إلى التقنيات الجديدة، قدم الفريق أيضًا بحثه حول تقدير وضع الإنسان ثلاثي الأبعاد، الذي يمكن استخدامه في مراقبة الفيديو وألعاب الفيديو وبث الرياضة.

لقد زادت الأبحاث حول تقدير وضع الإنسان ثلاثي الأبعاد من مقاطع الفيديو المنفردة، أو مقاطع الفيديو التي تم التقاطها بكاميرا واحدة، في السنوات القليلة الماضية. على عكس مقاطع الفيديو من كاميرات متعددة، تكون مقاطع الفيديو المنفردة أكثر مرونة ويمكن التقاطها بكاميرا واحدة، مثل هاتف محمول.

مع ذلك، يؤثر النشاط العالي مثل وجود أفراد متعددين في نفس المشهد على الدقة في كشف الإنسان. هذا صحيح بشكل خاص عندما يكون الأفراد يتفاعلون بشكل وثيق أو يتداخلون مع بعضهم البعض في مقطع الفيديو المنفرد.

قدمت الدراسة الثالثة تقدير وضع الإنسان ثلاثي الأبعاد من مقطع فيديو عن طريق الجمع بين طريقة من الطرق الحالية، وهي الطريقة من الأعلى إلى الأسفل والطريقة من الأسفل إلى الأعلى. تنتج الطريقة الجديدة تقديرات وضع أكثر موثوقية في إعدادات متعددة الأشخاص مقارنة بالطريقتين الأخريين، وهي أكثر قدرة على التعامل مع المسافة بين الأفراد.

“كخطوة تالية في بحثنا حول تقدير وضع الإنسان ثلاثي الأبعاد، الذي يتم دعمه من قبل مؤسسة البحث الوطني، سنبحث عن كيفية حماية معلومات الخصوصية لمقاطع الفيديو. بالنسبة لطرق تحسين الرؤية، نسعى للمساهمة في التقدم في مجال الرؤية الكمبيوترية، لأنها حاسمة ل许多 التطبيقات التي يمكن أن تؤثر على حياتنا اليومية، مثل تمكين المركبات المستقلة من العمل بشكل أفضل في ظروف الطقس السيئة،” قال أستاذ تان.