المراقبة
الذكاء الاصطناعي يكشف النشاط السري المُكشوف بواسطة الجدران الفارغة
تعاون بحثي، بما في ذلك مساهمات من NVIDIA و MIT، طور طريقة تعلم الآلة التي يمكنها تحديد الأشخاص المختبئين ببساطة من خلال ملاحظة الإضاءة غير المباشرة على جدار قريب، حتى عندما يكون الأشخاص في مكان بعيد عن مصادر الضوء. لهذه الطريقة دقة تقترب من 94٪ عند محاولة تحديد عدد الأشخاص المختبئين، ويمكنها أيضًا تحديد النشاط المحدد لشخص مختبئ من خلال تعزيز كبير للضوء الذي يرتد من على الجدران والذي لا يمكن رؤيته بالعين البشرية أو بالطرق العادية لتعزيز الصور.
الاضطرابات غير الملموسة للضوء، التي تم تعزيزها بواسطة الطريقة الجديدة، والتي تستخدم الشبكات العصبية التلافيفية لتحديد مناطق التغيير. مصدر: https://www.youtube.com/watch?v=K4PapXyX-bI
المقالة الجديدة الورقة تحمل عنوان ما يمكنك تعلمه من النظر إلى جدار فارغ، مع مساهمات من NVIDIA و MIT، بالإضافة إلى معهد إسرائيل للتكنولوجيا.
المنهجيات السابقة ل “رؤية ما وراء الجدران” اعتمدت على مصادر ضوئية قابلة للتحكم، أو معرفة مسبقة لمصادر الاختباء المعروفة، في حين يمكن للطريقة الجديدة تعميمها على أي غرفة جديدة، دون الحاجة إلى إعادة Adjustment. استخدمت الشبكات العصبية التلافيفية التي تميز الأشخاص المختبئين بيانات تم الحصول عليها من 20 مشهد فقط.
يهدف المشروع إلى مواقف عالية المخاطر وحساسة للأمن، لعمليات البحث والإنقاذ، ومهام المراقبة الأمنية العامة، وسياقات الاستجابة للطوارئ، لاكتشاف السقوط بين كبار السن، و كوسيلة لاكتشاف المارة المختبئين للسيارات ذاتية الحركة.
التقييم السلبي
كما هو الحال في كثير من الأحيان مع مشاريع رؤية الكمبيوتر، كان المهمة المركزية هي تحديد وتصنيف وتشغيل التغييرات المتصورة في تدفق الصور. يؤدي دمج التغييرات إلى أنماط توقيعية يمكن استخدامها إما لتحديد عدد الأفراد أو لاكتشاف نشاط فرد أو أكثر.
يفتح العمل إمكانية التقييم السلبي للمشهد، دون الحاجة إلى استخدام الأسطح العاكسة، إشارات Wi-Fi، رادار، صوت أو أي “ظروف خاصة” مطلوبة في الجهود البحثية الأخيرة التي سعى إلى إثبات وجود بشري مختبئ في بيئة خطرة أو حرجة.
سيناريو جمع بيانات عينة من نوع المستخدم في البحث الجديد. يتم وضع الموضوعات بعناية لتجنب إلقاء الظلال أو حجب الضوء بشكل مباشر، ولا يُسمح بالأسطح العاكسة أو وسائل الغش الأخرى. مصدر: https://arxiv.org/pdf/2108.13027.pdf
بفعالية، فإن الضوء المحيطي في السيناريو النموذجي المتخيل للتطبيق سيغمر أي اضطرابات طفيفة تسببها الضوء المنعكس من الأشخاص المختبئين في مكان آخر في المشهد. يحسب الباحثون أن مساهمة اضطراب الضوء للأفراد سيكون عادة أقل من 1٪ من الضوء المرئي الإجمالي.
إزالة الإضاءة الثابتة
من أجل استخراج الحركة من صورة الجدار الساكنة على ما يبدو، من الضروري حساب متوسط زمني للفيديو وإزالته من كل إطار. تكون أنماط الحركة الناتجة عادة أقل من عتبة الضوضاء لجهاز تسجيل فيديو جيد الجودة، وتحدث معظم الحركة في مساحة بكسل سالبة.
لتصحيح ذلك، يقلل الباحثون من عينة الفيديو بمعامل 16 ويعززون الفootage الناتجة بمعامل 50، مع إضافة مستوى أساسي من اللون الرمادي الوسطي لتحديد وجود البكسل السالب (الذي لا يمكن حسابه بواسطة ضوضاء حساس الفيديو الأساسي).
الفرق بين الجدار كما يُدرك ihn البشر، والاضطراب المستخرج للأفراد المختبئين. نظرًا لأن جودة الصورة هي قضية مركزية في هذا البحث، يرجى الرجوع إلى الفيديو الرسمي في نهاية المقال للحصول على صورة ذات جودة أعلى.
نافذة الفرصة لملاحظة الحركة هشة، ويمكن أن تتأثر حتى بلمعان الضوء عند تردد 60 هرتز. لذلك، يجب أيضًا تقييم هذا الاضطراب الطبيعي وإزالته من اللقطات قبل ظهور الحركة التي تسببها الأشخاص.
أخيرًا، ينتج النظام مخططات زمنية ومكانية تشير إلى عدد معين من سكان الغرفة المختبئين – التوقيعات البصرية المنفصلة:
مخططات زمنية ومكانية توقيعية تمثل عددًا مختلفًا من الأشخاص المختبئين في الغرفة.
ستؤدي أنشطة بشرية مختلفة أيضًا إلى اضطرابات توقيعية يمكن تصنيفها والتعرف عليها فيما بعد:
مخططات توقيعية زمنية ومكانية للخمول، والمشي، والانحناء، وحركة اليدين، والقفز.
لإنتاج تدفق عمل آلي تعلم الآلة للمعرفة المختبئة، تم استخدام لقطات متنوعة من 20 سيناريو مناسب لتدريب شبكتين عصبيتين تعملان على تكوينات متشابهة بشكل عام – واحدة لتحديد عدد الأشخاص في المشهد، والأخرى لتحديد أي حركة تحدث.
الاختبار
قام الباحثون باختبار النظام المُدرّب في عشرة بيئات حقيقية غير مرئية مصممة لإعادة إنشاء القيود المتوقعة للنشر النهائي. تمكنت النظام من تحقيق دقة تصل إلى 94.4٪ (على 256 إطار – عادة ما يكون أكثر من 8 ثوان من الفيديو) في تصنيف عدد الأشخاص المختبئين، و lên إلى 93.7٪ دقة (في ظل نفس الشروط) في تصنيف الأنشطة. على الرغم من أن الدقة تنخفض مع عدد الإطارات الأقل، إلا أنها ليست انخفاضًا خطيًا، وحتى 64 إطارًا ستحقق معدل دقة 79.4٪ ل “تقييم عدد الأشخاص” (مقابل ما يقرب من 95٪ لأربعة أضعاف عدد الإطارات).
على الرغم من أن الطريقة متينة للتغيرات الجوية في الإضاءة، إلا أنها تعاني في مشهد مضاء بواسطة جهاز تلفزيون، أو في ظروف يكون فيها الأشخاص يرتدون ملابس متجانسة بلون الجدار العاكس.
يمكن رؤية مزيد من التفاصيل حول البحث، بما في ذلك لقطات عالية الجودة للاستخراج، في الفيديو الرسمي أدناه.
