الثورة التالية في تقنية Deepfake هي الفصل

يتم استخدام تعزيز البيانات CGI في مشروع جديد لتحقيق سيطرة أكبر على صور Deepfake. على الرغم من أنك لا تزال لا تستطيع استخدام رؤوس CGI لملء الفجوات الناقصة في مجموعات بيانات Deepfake للوجه ، إلا أن موجة جديدة من البحث في فصل الهوية عن السياق تعني أنك قد لا تحتاج إلى ذلك قريبا.

يختار مصممو بعض مقاطع الفيديو Deepfake الشهيرة على الإنترنت مصادر الفيديو بعناية فائقة ، وتجنب اللقطات الشخصية المستدامة (أي النوع الجانبي الشهير الذي شاعه إجراءات الاعتقال الشرطة) ، والزوايا الحادة والتعبيرات الغير عادية أو المبالغ فيها. ومع ذلك ، فإن مقاطع الفيديو التجريبية التي يتم إنتاجها بواسطة مصنعي Deepfake الشهيرة هي مونتاجات محررة تختار الزوايا والتعبيرات “الأسهل” للتعامل معها.

في الواقع ، فإن الفيديو المستهدف الأكثر ملاءمة لإدخال شخص مشهور مزيف هو فيديو حيث يقف الشخص الأصلي (هوية الذي سيتم محوها بواسطة Deepfake) прямо إلى الكاميرا ، مع مجموعة محدودة من التعبيرات.

معظم مقاطع الفيديو الشهيرة من السنوات الأخيرة أظهرت مواضيع تواجه الكاميرا مباشرة ، وتحمل تعبيرات شائعة (مثل الابتسامة) ، والتي يمكن استخراجها بسهولة من مخرجات التصوير الفوتوغرافي على السجال ، أو (مثل التقليد الكاذب لسيلفستر ستالون كटरمنيتر في عام 2019 ، كما هو موضح في الصورة اليسرى) ، مع تعبير محايد ، منذ أن التعبيرات المحايدة شائعة جدا ، مما يجعلها سهلة التضمين في نماذج Deepfake.

بسبب أن تقنيات Deepfake مثل DeepFaceLab و FaceSwap تقوم بهذه التبديلات البسيطة جيدا ، نحن مخدوعون بما يحققه ، ولا نلاحظ ما لا يستطيعون القيام به ، ولا نحاول حتى.

لقطات من فيديو Deepfake مشهور حيث يتم تحويل أرنولد شوارزنيجر إلى سيلفستر ستالون – إلا عندما تكون الزوايا معقدة جدا. تعتبر اللقطات الشخصية مشكلة مستمرة في نهج Deepfake الحالي ، جزئيا لأن البرامج المفتوحة المصدر المستخدمة لتحديد أوضاع الوجه في إطارات Deepfake ليست مُحسّنة للتصوير الجانبي ، ولكن بشكل رئيسي بسبب قلة المواد المصدرية المناسبة في كلا المجموعتين الضروريتين. مصدر: https://www.youtube.com/watch?v=AQvCmQFScMA

بحث جديد من إسرائيل ي提ع مقترحا جديدا لاستخدام بيانات合thetic ، مثل رؤوس CGI ، لجعل تقنية Deepfake أكثر تقدمًا ، من خلال فصل هوية الوجه عن السياق.

النظام الجديد يفصل بين الزاوية والسياق (مثل إغماض العين) عن ترميز الهوية الفردية ، باستخدام بيانات الوجه الاصطناعية غير المرتبطة (مثل الصورة اليسرى). في الصف العلوي ، نرى تحويل “إغماض العين” إلى هوية باراك أوباما ، بموجب المسار غير الخطي لمساحة 潜 في GAN ، والممثلة في الصورة اليسرى. في الصف التالي ، نرى تحويل زاوية الفم إلى الرئيس السابق. في الزاوية اليمنى السفلى ، نرى تطبيق كلا الصفتين في نفس الوقت.

هذا ليس مجرد تقليد الوجه ، وهو تقنية أكثر ملاءمة للأفاتار والتحكم في الشفاه ، ولديها إمكانيات محدودة للتحويلات الكاملة لفيديو Deepfake.

بدلاً من ذلك ، يمثل هذا طريقًا للتقدم نحو فصل أساسي بين الأداة (مثل “تغيير زاوية الرأس”) عن الهوية.

المقال الجديد بعنوان Delta-GAN-Encoder: Encoding Semantic Changes for Explicit Image Editing, using Few Synthetic Samples ، ويأتي من باحثين في Technion – Israel Institute of Technology.

ما الذي يعيق تقنية Deepfake الحالية؟

تتمثل تقنية Deepfake الحالية في تدريب نموذج تعلم الآلة من نوع encoder/decoder على مجلدين من صور الوجه – الشخص الذي تريد “الطلاء” (في المثال السابق ، أرنولد شوارزنيجر) والشخص الذي تريد وضعها في الفيديو (سيلفستر ستالون).

أمثلة على أوضاع وضوء مختلفة عبر مجموعتي وجه. لاحظ التعبير الفريد في نهاية الصف الثالث في العمود أ ، وهو غير محتمل أن يكون له مثيل قريب في المجموعة الأخرى.

ثم يقارن نظام encoder/decoder كل صورة في كل مجلد بكل صورة أخرى ، ويحافظ على هذا التشغيل ويحسنه ويكرره لمئات الآلاف من التكرارات (أحيانا لمدة أسبوع كامل) ، حتى يفهم سمات الهوية الأساسية لكلا الهويتين جيدا بما يكفي لتبديلها حولها بسهولة.

لكل من الشخصين الذين يتم تبديلهما في العملية ، ما يتعلمه النظام عن الهوية هو متشابك مع السياق. لا يستطيع أن يتعلم ويطبق مبادئ حول وضع عام “للمرة الأولى والاخيرة” ، بل يحتاج إلى أمثلة كثيرة في مجموعة التدريب ، لكل هوية سوف تكون متورطة في تبادل الوجه.

لذا ، إذا كنت تريد تبديل هويتين تفعلان شيئا غير عادي أكثر من مجرد الابتسامة أو النظر إلى الكاميرا ، سوف تحتاج إلى عديد من الأمثلة على ذلك الوضع/الهوية عبر المجموعتين.

بسبب أن سمات الهوية والوضع ربطت حاليا ، يحتاج إلى توازن واسع في التعبيرات وأوضاع الرأس (وإلى حد أقل ، الإضاءة) عبر مجموعتي الوجه لتدريب نموذج Deepfake فعال على أنظمة مثل DeepFaceLab. كلما كانت تكوين معين (مثل “التصوير الجانبي / الابتسامة / الإضاءة الشمسية”) أقل ظهورا في كلا المجموعتين ، كلما كان التمثيل أقل دقة في فيديو Deepfake ، إذا لزم الأمر.

إذا كانت المجموعة أ تحتوي على الوضع غير العادي ، ولكن المجموعة ب تفتقر إليه ، فستكون خارج الحظ; مهما طالت مدة تدريب النموذج ، لن يتعلم أبدا إعادة إنتاج ذلك الوضع جيدا بين الهويتين ، لأن لديه فقط نصف المعلومات الضرورية عند التدريب.

لماذا نادرة البيانات؟

إلا إذا كنت قد اعتقلت عدة مرات ، فمن غير المحتمل أن يكون لديك الكثير من الصور الشخصية الجانبية. أي منها ظهرت ، من المحتمل أن تكون قد ألقيت بها.

غالبًا ما يضيف مصنعي Deepfake عدة نسخ من البيانات الشخصية المحدودة التي لديهم للهوية في مجموعة الوجه ، فقط لضمان أن يحصل هذا الوضع على بعض الاهتمام والوقت أثناء التدريب ، بدلاً من أن يتم تجاهله كأنه مخالف.

هناك المزيد من أنواع الصور الشخصية الجانبية التي يمكن أن تكون متاحة للاستخدام في مجموعة بيانات أكثر مما هو متاح – الابتسامة ، العبوس ، الصراخ ، الدموع ، الضوء الخفيف ، الازدراء ، الملل ، الفرح ، الضوء الساطع ، النظر لأعلى ، النظر لأسفل ، العيون مفتوحة ، العيون مغلقة… وغيرها. أي من هذه الأوضاع ، في مجموعات متعددة ، قد يكون ضروريًا في فيديو Deepfake المستهدف.

وهذا فقط بالنسبة للصور الشخصية. كم عدد الصور التي لديك لنفسك ونظرًا مباشرًا إلى الكاميرا؟ هل لديك ما يكفي لتمثيل التعبيرات التي تصل إلى 10,000 التي قد ترتديها أثناء النظر إلى الكاميرا من هذا الزاوية الدقيقة ، وتغطي على الأقل بعض من الملايين من بيئات الإضاءة الممكنة؟

من المحتمل أنك لا تمتلك صورة واحدة لنفسك تنظر إلى أعلى. وهذا فقط زاويتان من بين المئات التي تحتاجها لتغطية كاملة.

الاستبدال الاصطناعي

منذ ظهور تقنية Deepfake ، جرب مصنعي Deepfake استخدام صور CGI ، رؤوس منشأة في تطبيقات ثلاثية الأبعاد مثل Cinema4D و Maya ، لتوليد تلك “الأوضاع الناقصة”.

لا يوجد حاجة إلى الذكاء الاصطناعي ؛ تم إعادة إنشاء ممثلة في برنامج CGI تقليدي ، Cinema 4D ، باستخدام الشبكات والtextures المرسومة – تقنية تعود إلى الستينيات ، ولكنها أصبحت شائعة فقط في التسعينيات. في النظرية ، يمكن استخدام هذا نموذج الوجه لتحقيق بيانات مصدر Deepfake لاوضاع وضوء وتعبيرات غير عادية. في الواقع ، كان لهذا استخدام محدود أو لا شيء في Deepfake ، لأن مظهر “الزيف” في العرض ينتقل إلى مقاطع الفيديو المبدلة.

تتم إهمال هذه الطريقة بشكل عام في وقت مبكر من قبل ممارسي Deepfake الجدد ، لأنها يمكن أن توفر أوضاع وتعبيرات غير متاحة ، ولكن المظهر الاصطناعي للوجوه CGI ينتقل عادة إلى التبديلات بسبب ارتباط الهوية والمعلومات السياقية.

هذا يمكن أن يؤدي إلى ظهور وجوه “وادي الغريب” فجأة في فيديو Deepfake مقنع ، حيث يبدأ الخوارزمية في استخدام فقط البيانات التي قد يكون لديها لَوضع غير عادي أو تعبير – وجوه واضحة الزيف.

وجوه CGI كدليل مفصل مفصول

بدلاً من ذلك ، فإن طريقة Delta-GAN Encoder الجديدة من الباحثين الإسرائيليين أكثر فعالية ، لأن المعلومات حول الوضع والسياق من الصور CGI قد تم فصلها完全ًا عن معلومات “الهوية” للفرد المستهدف.

نحن نرى هذا المبدأ في العمل في الصورة أدناه ، حيث تم الحصول على اتجاهات الرأس المختلفة باستخدام الصور CGI كدليل. منذ أن تكون سمات الهوية غير مرتبطة بسمات السياق ، لا يوجد أي تسرب للظهور الاصطناعي للوجه CGI ، ولا للهوية الموضحة فيه.

مع الطريقة الجديدة ، لا تحتاج إلى العثور على ثلاث صور حقيقية منفصلة لتنفيذ Deepfake من زوايا متعددة – يمكنك ببساطة دوران رأس CGI ، الذي يتم تطبيق سماته المفصلية الموجزة على الهوية دون أي تسرب لمعلومات الهوية.

يمكن القول إن مدى khả năng النظام الجديد لتحقيق مقاطع فيديو Deepfake أقل أهمية من التقدم الذي أحرزته في فصل السياق عن الهوية ، وبالتالي الحصول على سيطرة أكبر على مساحة 潜 في GAN.

يُعتبر الفصل هو مجال بحث نشط في 합성 الصور ؛ في يناير 2021 ، أظهرت ورقة بحثية بقيادة Amazon تحكمًا مشابهًا في الوضع وفصلًا ، وفي عام 2018 ، أحرزت ورقة من معهد شنتشن للتكنولوجيا المتقدمة في الأكاديمية الصينية للعلوم تقدمًا في توليد مناظير تعسفية في GAN.