تحرير الصور باستخدام تقنية Gaussian Splatting

يقترح بحث جديد مشترك بين باحثين في بولندا والمملكة المتحدة إمكانية استخدام تقنية Gaussian Splatting لتحرير الصور، من خلال تفسير جزء من الصورة بشكل مؤقت في الفضاء ثلاثي الأبعاد، مما يسمح للمستخدم بتعديل وتحويل التمثيل ثلاثي الأبعاد للصورة، ثم تطبيق التحويل.

لتغيير اتجاه رأس القط، يتم نقل الجزء المعني إلى الفضاء ثلاثي الأبعاد بواسطة تقنية Gaussian Splatting، ثم يتم تحريره بواسطة المستخدم. يتم تطبيق التعديل بعد ذلك. Этот عملية مشابهة لتقنيات الوضع في برنامج Adobe ، التي تقفل الواجهة حتى يتم إكمال عملية معقدة. Source: https://github.com/waczjoan/MiraGe/

由于 عنصر Gaussian Splat يتم تمثيله مؤقتًا بواسطة شبكة من المثلثات، ويدخل لحالة “CGI”، يمكن لمحرك الفيزياء المتكامل في العملية تفسير الحركة الطبيعية، إما لتغيير حالة ثابتة للكائن أو لإنتاج رسوم متحركة.

محرك الفيزياء المتكامل في نظام MiraGe الجديد يمكنه تفسير الحركة الفيزيائية بشكل طبيعي، إما لرسوم متحركة أو تعديلات ثابتة على الصورة.

لا يوجد أي ذكاء اصطناعي متورط في العملية، مما يعني أن لا نماذج انتشار لاتنتج (LDMs) متورطة، على عكس نظام Firefly من Adobe، الذي تم تدريبه على Adobe Stock (سابقًا Fotolia).

النظام – المسمى MiraGe – يفسر الانتقالات إلى الفضاء ثلاثي الأبعاد ويفترض الهندسة من خلال إنشاء صورة مرآة للانتقالات، وتقريب إحداثيات ثلاثية الأبعاد يمكن أن تتمثل في Splat، الذي يفسر الصورة إلى شبكة.

انقر للعب. أمثلة إضافية للعناصر التي تم تعديلها يدويا بواسطة مستخدم نظام MiraGe، أو خاضعة لتشويه قائم على الفيزياء.

قارن المؤلفون نظام MiraGe بالمناهج السابقة، ووجدوا أنه يحقق أداءً على مستوى الدولة في المهمة المستهدفة.

سيكون مستخدمو نظام zBrush للنمذجة على دراية بهذه العملية، حيث يسمح zBrush للمستخدم أساسًا ب “تسطيح” نموذج ثلاثي الأبعاد و إضافة تفاصيل ثنائية الأبعاد، مع الحفاظ على الشبكة الأساسية، وتفسير التفاصيل الجديدة فيها – “تجميد” هو العكس من طريقة MiraGe، التي تعمل أكثر مثل Firefly أو تحريرات Photoshop-النمطية الأخرى، مثل تشويه أو تفسيرات ثلاثية الأبعاد خشنة.

تسمح Splats المعلمة ب MiraGe بإنشاء إعادة بناء عالية الجودة لمناطق منتقاة من صورة ثنائية الأبعاد، وتطبيق فيزياء الجسم الناعم على الانتقالات المؤقتة ثلاثية الأبعاد.

ينصPaper على ما يلي:

‘[نحن] نقدم نموذجًا يコード الصور ثنائية الأبعاد عن طريق محاكاة تفسير الإنسان. على وجه التحديد، نموذجنا يفهم صورة ثنائية الأبعاد كما يفهمها الإنسان، معاملةها ككائن مسطح في فضاء ثلاثي الأبعاد.

‘هذا النهج يسمح بالتحرير الفطري والمرون لصورة، مع 捕获 دقة إدراك الإنسان مع تمكين التحويلات المعقدة.’

الورقة الجديدة بعنوان MiraGe: Editable 2D Images using Gaussian Splatting، وهي تأتي من أربعة مؤلفين عبر جامعة ياغيلونيا في كراكوف وجامعة كامبريدج. تم إصدار الكود الكامل للنظام على GitHub.

دعونا نلقي نظرة على كيفية تناول الباحثين التحدي.

الطريقة

تستخدم طريقة MiraGe تمثيل Gaussian Mesh Splatting (GaMeS) المعلمة، وهي تقنية تم تطويرها بواسطة مجموعة تشمل اثنين من مؤلفي الورقة الجديدة. تتيح GaMeS ل Splats Gaussian أن تُفهم كشبكات CGI تقليدية، وتخضع لمدى التواء والتعديل التقنيات التي طورتها مجتمع CGI على مدار العقود القليلة الماضية.

تفسير MiraGe “الغاوسيات المسطحة” في فضاء ثنائي الأبعاد، ويتخدم GaMeS “لجذب” المحتوى إلى فضاء GSplat-مُمكّن ثلاثي الأبعاد، بشكل مؤقت.

كل غاوسي مسطح يتم تمثيله بواسطة ثلاث نقاط في سحابة من المثلثات، تسمى “حساء المثلثات”، مما يفتح الصورة المفترضة للتعديل. Source: https://arxiv.org/pdf/2410.01521

يمكننا رؤية في الزاوية السفلى اليسرى من الصورة أعلاه أن MiraGe يخلق “مرآة” للجزء من الصورة الذي سيتم تفسيره.

ينص المؤلفون على ما يلي:

‘[نحن] نستخدم نهجًا جديدًا يستخدم كاميرتين متعارضتين موضعتين على طول المحور Y، متوازيتين حول الأصل وموجهتين تجاه بعضهما البعض. الكاميرا الأولى مكلفة بإنشاء الصورة الأصلية، في حين أن الكاميرا الثانية تمثل انعكاس المرآة.

‘الصور يتم概念ها كصفحة ورق شفافة، مغمورة في السياق المكاني ثلاثي الأبعاد. يمكن تمثيل الانعكاس بشكل فعال عن طريق قلب الصورة أفقيًا. هذا الإعداد الكاميرا-مرآة يعزز إيمان الانعكاسات المولدة، مما يوفر حلًا قويًا لالتقاط العناصر البصرية بدقة.’

تذكر الورقة أن بعد تحقيق هذا الاستخراج، تصبح التعديلات التي كانت ستكون معقدة بشكل عام متاحة من خلال التحرير المباشر في 3D. في المثال أدناه، نرى انتقائية لصورة امرأة تشمل فقط ذراعها. في هذه الحالة، قام المستخدم بميل رأس اليد لأسفل بطريقة معقولة، وهو مهمة ستكون صعبة إذا ما قام بتحريك البكسل فقط.

مثال على تقنية تحرير MiraGe.

محاولة القيام بذلك باستخدام أدوات التوليد التوليفي في Photoshop سوف يعني عادة أن اليد يتم استبدالها بيد منشأة، مخترعة بواسطة نموذج انتشار، مما يضر بمصداقية التحرير. حتى الأنظمة الأكثر قدرة، مثل نظام ControlNet الإضافي لاستقرار الانحراف ونمذج الانحراف اللاتنتي الأخرى، مثل Flux، يجدون صعوبة في تحقيق هذا النوع من التحرير في خط أنابيب صورة إلى صورة.

هذه المهمة تم حجزها بواسطة أساليب تستخدم تمثيلات عصبية ضمنية (INRs)، مثل SIREN و WIRE. الفرق بين تمثيل ضمني وتمثيل صريح هو أن إحداثيات النموذج لا تكون قابلة للعنونة مباشرة في INRs، والتي تستخدم دالة متواصلة.

بالنسبة إلى Gaussian Splatting، فإنه يقدم إحداثيات Cartesian X / Y / Z صريحة وقابلة للعنونة، حتى مع استخدام الغاوسيات بدلاً من Voxels أو أساليب أخرى لتمثيل المحتوى في فضاء ثلاثي الأبعاد.

فكرة استخدام GSplat في فضاء ثنائي الأبعاد تم تقديمها بشكل بارز، كما يلاحظ المؤلفون، في التعاون الأكاديمي الصيني لعام 2024 GaussianImage، الذي قدم نسخة ثنائية الأبعاد من Gaussian Splatting، مما مكن من معدلات إطار استدلال تصل إلى 1000 إطار في الثانية. ومع ذلك، فإن هذا النموذج لا يحتوي على أي تنفيذ متعلق بتحرير الصور.

بعد أن تقوم معلمة GaMeS باستخراج المنطقة المنتقاة إلى تمثيل Gaussian / mesh، يتم إعادة بناء الصورة باستخدام تقنية Material Points Method (MPM) التي تمت صياغتها لأول مرة في ورقة CSAIL لعام 2018.

في MiraGe، خلال عملية التعديل، يوجد Gaussian Splat كوكيل مرشد لمشابهة mesh، تمامًا مثل نماذج 3DMM CGI التي يتم استخدامها بشكل شائع كأساليب لتنسيق تقنيات العرض العصبي الضمني مثل Neural Radiance Fields (NeRF).

في هذه العملية، يتم نمذجة الكائنات ثنائية الأبعاد في الفضاء ثلاثي الأبعاد، والأجزاء من الصورة التي لا يتم التأثير عليها لا تكون مرئية للمستخدم النهائي، بحيث لا تكون التأثيرات السياقية للتعديلات واضحة حتى يتم إكمال العملية.

يمكن دمج MiraGe في برنامج 3D المفتوح المصدر الشهير Blender، الذي يتم استخدامه الآن بشكل متكرر في تدفقات العمل التي تشمل الذكاء الاصطناعي، بشكل أساسي لأغراض صورة إلى صورة.

تدفق عمل ل MiraGe في Blender، يتضمن تحريك ذراع شخصية في صورة ثنائية الأبعاد.

يقدم المؤلفون نهجين لتقنية التشويه التي تعتمد على Gaussian Splatting – Amorphous و Graphite.

نهج Amorphous يستخدم مباشرة طريقة GaMeS، ويتسمح للانتقالات المنتقاة بحرية الحركة في الفضاء ثلاثي الأبعاد، في حين أن نهج Graphite يقيد الغاوسيات بفضاء ثنائي الأبعاد خلال التهيئة والتدريب.

وجد الباحثون أن نهج Amorphous قد يتعامل مع الأشكال المعقدة بشكل أفضل من Graphite، ولكن “التمزقات” أو شقوق الفن كانت أكثر وضوحًا، حيث يتم محاذاة حافة التشويه مع الجزء غير المتأثر من الصورة.

لذلك، قاموا بتطوير نظام “صورة مرآة” المذكور أعلاه:

‘[نحن] نستخدم نهجًا جديدًا يستخدم كاميرتين متعارضتين موضعتين على طول المحور Y، متوازيتين حول الأصل وموجهتين تجاه بعضهما البعض.

‘الصور يتم概念ها كصفحة ورق شفافة، مغمورة في السياق المكاني ثلاثي الأبعاد. يمكن تمثيل الانعكاس بشكل فعال عن طريق قلب الصورة أفقيًا. هذا الإعداد الكاميرا-مرآة يعزز إيمان الانعكاسات المولدة، مما يوفر حلًا قويًا لالتقاط العناصر البصرية بدقة.’

تذكر الورقة أن MiraGe يمكنه استخدام محركات فيزياء خارجية مثل تلك المتاحة في Blender أو في Taichi_Elements.

البيانات والاختبارات

للتقييمات الجودة للصور في الاختبارات التي أجريت لـ MiraGe، تم استخدام معايير النسبة الإشارة إلى الضوضاء (SNR) و MS-SIM.

تم استخدام مجموعات البيانات التالية: مجموعة الصور الملونة الحقيقية من Kodak، ومجموعة DIV2K للتحقق. تم استخدام دقة هذه المجموعات لتحقيق مقارنة مع العمل السابق الأقرب، Gaussian Image. الإطارات الأخرى التي تم اختبارها كانت SIREN، WIRE، NVIDIA’s Instant Neural Graphics Primitives (I-NGP)، و NeuRBF.

أجريت التجارب على جهاز كمبيوتر محمول NVIDIA GEFORCE RTX 4070 وعلى NVIDIA RTX 2080.

يقدم MiraGe نتائج على مستوى الدولة ضد الإطارات السابقة المختارة، وفقًا للنتائج الموجودة في الورقة الجديدة.

من بين هذه النتائج، ينص المؤلفون على ما يلي:

‘نرى أن مقترحنا يتفوق على الحلول السابقة في كلا المجموعتين. الجودة المقاسة بواسطة كلا المعيارين تظهر تحسنًا كبيرًا مقارنة بجميع النهج السابقة.’

الختام

تكييف MiraGe لتقنية Gaussian Splatting ثنائية الأبعاد واضح أنه محاولة أولية ومترددة لدخول ما قد يثبت أنه بديل مثير للاهتمام لاستخدام نماذج الانحراف لتأثير التعديلات على صورة (أي عبر Firefly ووسائل الانحراف المفتوحة المصدر مثل Stable Diffusion و Flux).

على الرغم من وجود العديد من نماذج الانحراف التي يمكن أن تؤثر على تغييرات صغيرة في الصور، فإن نماذج الانحراف اللاتنتي محدودة بمنهجهم الدلالي والغالبًا ما يكون “متخيلًا” لطلب تعديل قائم على النص.

لذلك، فإن القدرة على سحب جزء من الصورة إلى الفضاء ثلاثي الأبعاد بشكل مؤقت، وتعديله، وإعادته إلى الصورة، مع استخدام الصورة الأصلية فقط كمرجع، يبدو أن مهمة قد تكون Gaussian Splatting مناسبًا لها في المستقبل.

* هناك بعض الارتباك في الورقة، حيث يذكر “Amorphous-Mirage” كأفضل طريقة وأكثرها قدرة، على الرغم من ميولها لإنتاج غاوسيات غير مرغوب فيها (شقوق)، في حين يُحاجج بأن “Graphite-Mirage” أكثر مرونة. يبدو أن Amorphous-Mirage يحصل على أفضل تفاصيل، و Graphite-Mirage على أفضل مرونة. منذ أن تم تقديم كلا النهجين في الورقة، مع نقاط قوتهما وضعفهم المتنوعة، لا يبدو أن تفضيل المؤلفين، إن وجد، واضحًا في هذا الوقت.

نشر لأول مرة يوم الخميس، 3 أكتوبر 2024