بيانات اصطناعية: جسر الفجوة بين الإغلاق باستخدام جراند ثيفت أوتو

قام باحثون في جامعة إلينوي بإنشاء مجموعة بيانات جديدة للرؤية الحاسوبية تستخدم الصور الاصطناعية التي تم توليدها بواسطة محرك لعبة جراند ثيفت أوتو لمساعدة في حل واحدة من أكثر العقبات شائكة في التجزئة الدلالية – التعرف على الكائنات التي تكون فقط جزئيًا مرئية في الصور والمقاطع المصدر.

بهذا المعنى، كما هو موضح في الورقة، استخدم الباحثون محرك لعبة جراند ثيفت أوتو لإنشاء مجموعة بيانات اصطناعية لا تحتوي فقط على عدد قياسي من حالات الإغلاق، ولكنها تحتوي أيضًا على تجزئة دلالية كاملة وترميز، وتأخذ في الاعتبار المعلومات الزمنية بطريقة لا يتم تناولها بواسطة مجموعات البيانات المفتوحة المماثلة.

فهم المشهد الكامل

الفيديو أدناه، المنشور كمواد داعمة للبحث، يُظهر مزايا فهم كامل للمشهد ثلاثي الأبعاد، حيث يتم التعرف على الكائنات المخفية ويكون من الممكن رؤيتها في جميع الظروف، مما يسمح للنظام بالتعلم لتجميع.Views الجزئية مع الكائن الكامل (المسمى).

المصدر: http://sailvos.web.illinois.edu/_site/index.html

النتيجة هي مجموعة بيانات تسمى SAIL-VOS 3D، والتي يُزعم أنها أول مجموعة بيانات فيديو اصطناعية مع تعليم إطاري وإشارات مثيلة وعمق حقيقي للمشاهد وترميز ثنائي الأبعاد محدد بواسطة صناديق حدودية.

المصدر (انقر لتحويل الحجم)

تشمل الترميزات في SAIL-VOS 3D العمق والترميز الإطاري والترميز غير الإطاري والترميز الدلالي والشبكات ثلاثية الأبعاد. وتتضمن البيانات 484 فيديوًا إجماليًا يصل إلى 237,611 إطارًا بدقة 1280×800، بما في ذلك انتقالات اللقطة.

في الأعلى، الإطارات الأصلية لرسومات الكمبيوتر؛ الصف الثاني، الترميز الإطاري؛ الصف الثالث، الترميز غير الإطاري، الذي يُظهر عمق فهم المشهد وشفافيته في البيانات. المصدر (انقر لتحويل الحجم)