NeRFocus: جلب التحكم الخفيف في بؤرة الانتباه إلى مجالات الإشعاع العصبية

يقدم بحث جديد من الصين طريقة لتحقيق تحكم معقول في تأثيرات عمق الحقل لمجالات الإشعاع العصبية (NeRF)، مما يسمح للمستخدم النهائي بتحريك بؤرة الانتباه وتغيير تكوين العدسة الافتراضية في مساحة التصور.

تمت تسمية التقنية باسم NeRFocus، وتنفذ نهجًا جديدًا لتصوير العدسة الرقيقة لتحقيق تحكم في بؤرة الانتباه، وتجديد استراتيجية P-training للتدريب الاحتمالي، والتي تلغي الحاجة إلى مجموعات بيانات مخصصة لعمق الحقل، وتبسط تدفق العمل للتدريب المتمكن من بؤرة الانتباه.

المقال المقال يحمل عنوان NeRFocus: مجال الإشعاع العصبي لتحقيق التأثيرات الاصطناعية لعمق الحقل في ثلاثية الأبعاد، ويأتي من أربعة باحثين من مدرسة شينزين للدراسات العليا في جامعة بكين، ومختبر بينغ تشينغ في شينزين، وهو معهد تموله حكومة مقاطعة غوانغدونغ.

معالجة بؤرة الانتباه في مجالات الإشعاع العصبية

إذا كانت NeRF ستأخذ مكانها كتكنولوجيا صالحة للواقع الافتراضي والمعزز، فستحتاج إلى طريقة خفيفة لتحقيق عرض واقعي لتصوير بؤرة الانتباه، حيث يتم تجميع معظم موارد التصور حول نظرة المستخدم، بدلاً من توزيعها بشكل عشوائي على مساحة بصرية أوسع.

من المقال عام 2021 حول مجالات الإشعاع العصبية لتحقيق التأثيرات الاصطناعية لعمق الحقل في ثلاثية الأبعاد، نرى بؤرة الانتباه في مخطط جديد لتصوير بؤرة الانتباه. مصدر: https://arxiv.org/pdf/2103.16365.pdf

جزء أساسي من صحة التطبيقات المستقبلية لمجالات الإشعاع العصبية سيكون قدرة النظام على反映 قدرة العين البشرية على تغيير بؤرة الانتباه عبر مستوى منظور متدرج (انظر الصورة الأولى أعلاه).

تعتبر هذه الدرجة من بؤرة الانتباه أيضًا مؤشرًا حسيًا لمقياس المشهد؛ فإن景 من طائرة هليكوبتر تحلق فوق مدينة سيكون لها مجالان محددان لعمق الحقل، لأن المشهد كله يقع خارج قدرة المستخدم على بؤرة الانتباه الخارجية، بينما سيكون فحص مشهد صغير أو “قريب” يسمح بتحريك بؤرة الانتباه، وينبغي أن يحتوي على مجال عمق حقل ضيق افتراضيًا.

فيما يلي فيديو يظهر القدرات الأولية لتقنية NeRFocus، الذي قدمه لنا مؤلف المقال:

ما وراء مستويات البؤرة المحظورة

مع الوعي بمتطلبات التحكم في بؤرة الانتباه، قام العديد من مشاريع NeRF في السنوات الأخيرة بتقديم إمكانية التحكم في بؤرة الانتباه، على الرغم من أن جميع المحاولات حتى الآن هي حيل أو طرق تتمثل في تحويلات ما بعد المعالجة التي تجعلها غير مناسبة للتطبيقات في الوقت الفعلي التي تتطلع إليها تقنيات مجالات الإشعاع العصبية.

تمت محاولة التحكم الاصطناعي في إطارات التصور العصبية من خلال طرق مختلفة في السنوات الخمس أو الست الماضية – على سبيل المثال، من خلال استخدام شبكة تقسيم لتحديد بيانات الخلفية والforeground، ثم إزالة بؤرة الانتباه بشكل عام – وهي حل شائع لتأثيرات بؤرة الانتباه البسيطة.

من المقال حول تقسيم الصور التلقائي لتحسين الأسلوب، يتم فصل مستويات البؤرة بشكل روتيني، على غرار الأسلوب الرسومي. مصدر: https://jiaya.me/papers/portrait_eg16.pdf

تضيف التمثيلات متعددة المستويات بعض “أوراق الرسوم المتحركة” إلى هذا المخطط، على سبيل المثال من خلال استخدام تقدير العمق لتقسيم المشهد إلى تدرج متقطع ولكن قابل للإدارة لمستويات البؤرة المختلفة، ثم تنسيق نوى تعتمد على العمق لتحقيق تأثيرات التمويه.

علاوة على ذلك، وذكرت شركة جوجل في عام 2015 أن الفرق بين وجهتي نظر كاميرا ستيريو يمكن استخدامه كبديل للعمق.

RawNeRF يحرك بؤرة الانتباه بشكل جميل (على الرغم من أن مستويات البؤرة غير واقعية في هذه الحالة)، ولكنه يأتي بتكلفة حسابية عالية. مصدر: https://bmild.github.io/rawnerf/

ومع ذلك، يتطلب RawNeRF حسابات مسبقة لتمثيلات متعددة المستويات للمجالات الإشعاعية العصبية الم