كشف الاتصال البصري من خلال وضع الجسم باستخدام التعلم الآلي

قام باحثون من فرنسا وسويسرا بتطوير نظام رؤية حاسوبية يمكنه تقدير ما إذا كان شخص ما ينظر مباشرة إلى كاميرا نظام الذكاء الاصطناعي بناءً على طريقة وقوف الشخص أو حركته.

يستخدم الإطار الجديد معلومات خفيفة جدًا لاتخاذ هذا التقييم ، على شكل نقاط مفتاحية семантиكية (انظر الصورة أدناه) ، بدلاً من محاولة تحليل موقع العين بشكل أساسي في صور الوجوه. هذا يجعل طريقة الكشف الناتجة خفيفة جدًا ومرنة ، بالمقارنة مع معمارية الكشف عن الكائنات الأكثر تعقيدًا ، مثل YOLO.

يقيّم الإطار الجديد ما إذا كان شخص ما في الشارع ينظر إلى مستشعر الكاميرا الاصطناعية بناءً على وضع جسده فقط. هنا ، الأشخاص المhighlighted باللون الأخضر من المحتمل أن ينظروا إلى الكاميرا ، بينما أولئك الذين في اللون الأحمر أكثر احتمالاً لأن ينظروا بعيدا. مصدر: https://arxiv.org/pdf/2112.04212.pdf

على الرغم من أن العمل مدفوع بتطوير أنظمة أمان أفضل للسيارات ذاتية القيادة ، يقر المؤلفون في الورقة الجديدة بأنها يمكن أن تكون لها تطبيقات أكثر عمومية عبر صناعات أخرى ، مشيرين إلى ‘حتى في المدن الذكية ، يمكن أن يكون كشف الاتصال البصري مفيدًا لفهم سلوك المارة بشكل أفضل ، على سبيل المثال ، تحديد أين تذهب انتباهاتهم أو ما الإشارات العامة ينظرون إليها’.

为了促进这一系统和随后系统的进一步开发，قام الباحثون بتجميع مجموعة بيانات جديدة ومتكاملة تسمى LOOK ، والتي ت 해결 مباشرة التحديات المحددة لكشف الاتصال البصري في سيناريوهات عشوائية مثل مشاهد الشوارع المتصورة من كاميرا السيارة ذاتية القيادة ، أو مشاهد الحشود العابرة التي قد يحتاج الروبوت إلى التنقل فيها والامتثال لمسار المارة.

نتائج الإطار ، مع تحديد “المنظرون” باللون الأخضر.

البحث هو مقال بعنوان هل يلتفت المارة؟ كشف الاتصال البصري في البرية ، ويأتي من أربعة باحثين في مبادرة البحث Visual Intelligence for Transportation (VITA) في سويسرا ، وواحد في Sorbonne Université.

الهيكل

معظم الأعمال السابقة في هذا المجال ركزت على انتباه السائق ، باستخدام التعلم الآلي لتحليل الإخراج من كاميرات مواجهة السائق ، والاعتماد على عرض ثابت وثابت وقريب من السائق – وهو فخامة غير محتملة في معظم التلفزيون العام ، حيث قد يكون الناس بعيدًا جدًا عن أن تحلل نظام تحليل الوجه موقفهما البصري ، وأيضاً هناك عوائق أخرى (مثل النظارات الشمسية) تتعارض معها.

أكثر المركزية في مشروع الهيكل المطور من قبل الباحثين ، يستقبل كاميرا مواجهة الخارج في السيارات ذاتية القيادة لن تكون بالضرورة في سيناريو مثالي ، مما يجعل المعلومات المفتاحية منخفضة المستوى مثالية كأساس لإطار تحليل النظر. أنظمة السيارات ذاتية القيادة تحتاج إلى طريقة استجابة عالية و سريعة لفهم ما إذا كان شخص ما – قد يخطو من الرصيف إلى طريق السيارة – قد رأى السيارة. في这种 الحالة ، يمكن أن يعني التأخير الفرق بين الحياة والموت.

الهيكل المتوضّع من قبل الباحثين يستقبل صورة (عادة) كاملة الجسم لشخص ما من которой يتم استخراج المفاصل ثنائية الأبعاد إلى شكل هيكلي أساسي.

هيكل نظام كشف الاتصال البصري الفرنسي-السويسري الجديد.

يتم تطبيع الوضع لإزالة المعلومات على المحور Y ، لإنشاء تمثيل “مستوي” للوضع يجعله على قدم المساواة مع الآلاف من المواقف المعروفة التي تعلمها الخوارزمية (التي تم “تسطيحها” بنفسها) ، و علاماتهم الثنائية / العلامات (أي 0: لا ينظر أو 1: ينظر).

يتم مقارنة الوضع مع معرفة الخوارزمية الداخلية لكيفية対応 هذا الوضع مع صور أخرى للمارة التي تم تحديدها على أنها “تنظر إلى الكاميرا” – التعليقات التي تم إجراؤها باستخدام أدوات المتصفح المخصصة التي طورها المؤلفون للعاملين في Amazon Mechanical Turk الذين شاركوا في تطوير مجموعة بيانات LOOK.

تم فحص كل صورة في LOOK من قبل أربعة عاملين في Amazon Mechanical Turk ، وتم إدراج فقط الصور التي وافق عليها ثلاثة من أربعة عاملين على النتيجة في المجموعة النهائية.

معلومات قصّة الرأس ، وهي جوهر الكثير من الأعمال السابقة ، هي واحدة من أقل المؤشرات الموثوقة للنظر في السيناريوهات الحضرية العشوائية ، وتم تضمينها كدفق بيانات اختياري في الهيكل حيث يكون جودة التقاط وغطاء كافيين لدعم قرار حول ما إذا كان الشخص ينظر إلى الكاميرا أو لا. في حالة الأشخاص البعيدين جدًا ، لن يكون هذا بيانات مفيدة.

البيانات

استمد الباحثون LOOK من عدة مجموعات بيانات سابقة لا تتوافق بشكل افتراضي مع هذه المهمة. هناك مجموعتان فقط من مجموعات البيانات التي تشترك مباشرة في نطاق المشروع هما JAAD و PIE ، وكلتا المجموعتين لهما قيود.

JAAD هو عرض 2017 من جامعة يورك في تورونتو ، يحتوي على 390,000 مثال مخطط للمارة ، بما في ذلك صناديق حدودية وتعليقات السلوك. من بينها ، فقط 17,000 مخطط ك “ينظر إلى السائق” (أي الكاميرا الذاتية). تتميز المجموعة البيانية ب 346 مقطعًا بمعدل 30 إطارًا في الثانية ، يعمل بسرعة 5-10 ثواني من مقاطع كاميرا على متن السيارة المسجلة في أمريكا الشمالية وأوروبا. JAAD لديها حدوث كبير من التكرارات ، وعدد المارة الفريد هو 686 فقط.

PIE الأكثر حداثة (2019) ، من جامعة يورك في تورونتو ، مشابهة ل JAAD ، حيث تتميز بصور على متن السيارة بمعدل 30 إطارًا في الثانية ، هذه المرة مشتقة من ست ساعات من القيادة عبر وسط مدينة تورونتو ، مما ينتج 700,000 مارة مخطط و 1,842 مارة فريد ، فقط 180 منهم ينظرون إلى الكاميرا.

بدلاً من ذلك ، قام الباحثون في الورقة الجديدة بتجميع معظم البيانات المناسبة من ثلاث مجموعات بيانات سابقة للقيادة ذاتية القيادة: KITTI ، JRDB ، و NuScenes ، على التوالي من معهد كارلسروه للتكنولوجيا في ألمانيا ، وستانفورد و جامعة موناش في أستراليا ، وشركة Nutonomy السابقة التابعة ل MIT.

هذا التجميع الناتج أدى إلى مجموعة واسعة ومتنوعة من اللقطات من أربع مدن – بوسطن ، سنغافورة ، توبينغن ، وبالو ألتو. مع حوالي 8000 وجهة نظر مارة مخططة ، يعتقد المؤلفون أن LOOK هي مجموعة البيانات الأكثر تنوعًا لكشف الاتصال البصري “في البرية”.

التدريب والنتائج

تم إجراء الاستخراج والتدريب والتقييم جميعًا على جهاز NVIDIA GeForce GTX 1080ti واحد مع 11gb من VRAM ، يعمل على معالج Intel Core i7-8700 CPU بسرعة 3.20GHz.

وجد المؤلفون أن طريقةهم لا تحسن فقط على أسس SOTA بنسبة 5% على الأقل ، ولكن أيضًا أن النماذج الناتجة التي تم تدريبها على JAAD تعمل بشكل جيد جدًا على البيانات غير المرئية ، وهو سيناريو تم اختباره عن طريق مزج مجموعة من مجموعات البيانات.

منذ أن كان الاختبار المجرى معقدًا ، و phải أن يأخذ في الاعتبار نماذج القص ، بينما不是 العزل والقص هو مركزي في هيكل المبادرة الجديدة ، انظر الورقة للحصول على نتائج مفصلة.

نتائج الدقة المتوسطة (AP) كنسبة مئوية ووظيفة ارتفاع صندوق الحدود بالبكسل للاختبار عبر مجموعة بيانات JAAD ، مع نتائج المؤلفين بالخط العريض.

قام الباحثون بنشر رمزهم بشكل عام ، مع توفر مجموعة البيانات هنا ، ورمز المصدر على GitHub.

يختم المؤلفون بالآمال أن يعزز عملهم الجهود البحثية الأخرى في ما يصفه بأنه ‘موضوع مهم ومهمل’.