استعادة ما قام بكاميرا التصوير قبل تغييره بواسطة الذكاء الاصطناعي

كيف يمكن حماية صحة الصورة الخام من التدخل الذكي عندما يتم تشغيله تلقائيًا داخل الكاميرا؟ البحث الجديد يهدف إلى استعادة البيانات الخام غير المعالجة – أيضًا باستخدام الذكاء الاصطناعي!

ازدادت مصداقية الصور التي تم إنشاؤها بواسطة الذكاء الاصطناعي خلال السنة أو السنتين الماضيتين، مما دفع العديد من الجماعات والأفراد إلى التنديد بالتدهور اللاحق في ثقة التصوير الفوتوغرافي.

في نفس الفترة، حاولت ائتلاف محتوى البرهنة والصحة (C2PA) نشر معيار شبه كريبتوغرافي يرتبط بمعلومات البرهنة القائمة على البيانات بالصورة، من لحظة التقاطها بواسطة كاميرا أو جهاز مدعوم، على أمل كشف أي استخدام لاحق للذكاء الاصطناعي التوليدي على هذه الصور “الأصلية”:

مخطط للبرهنة في نظام C2PA، حيث يمكن كتابة البيانات الوصفية في لحظة التقاطها مثل دفتر يوميات، مما يسمح بالتعديلات المعتادة مثل السطوع والتباين، ولكن تسجيل التعديلات الكبيرة بحيث تظهر الصور المعدلة بشكل كبير في المنافذ الإعلامية التي تدعم هذا النظام. مصدر

لم تكن اعتماد هذه المعايير واسعة النطاق كما كان يأمل الائتلاف، وحاليًا فقط 14 كاميرا تدعم طباعة المعلومات الدالة على الصحة داخل الكاميرا.

ما يثير الاهتمام في فكرة C2PA لمنح الصورة “جواز سفر” في لحظة وجودها، هو أن هذا قد يكون متأخرًا – لأن مصنعي الكاميرات يدمجون الآن المعالجة الذكية في إنشاء الصورة:

من ورقة 2024 “دعوة إلى مصادقة على الصور الملتقطة بالكاميرا على مستوى البكسل”، توضيح لكيفية إدخال محتوى مخادع في وقت التقاط الصورة وكيف تكشف عنه بيانات المصادقة على مستوى البكسل. في (A)، يتم معالجة صورة مستشعر الهاتف الذكي بواسطة ISP، حيث يمكن للألواح الذكية اختراع تفاصيل أثناء التكبير الرقمي أو تصحيح التعرض، مما ينتج صورًا واقعية مع أخطاء مثل أرقام لوحة الترخيص غير صحيحة. في (B)، يتم دمج قناع المصادقة كبيانات وصفية ولاحقًا وضعها فوقها ليكشف عن المناطق غير الأصلية، مما يسمح للمستخدمين بالتمييز بين البيانات الأصلية والبكسل المعدلة بواسطة الذكاء الاصطناعي. مصدر

في الواقع، هذا التدخل الذكي في التقاط البيانات الخام من مستشعر الكاميرا قد يصبح في النهاية حتى العمليات الحاكمة.

هذا النوع من المعالجة ليس مثل الاتجاه الحالي لتعديل الصور داخل الكاميرا، حيث يسمح تطبيق الهاتف أو تطبيق الكاميرا للمستخدم بإعادة التفكير في الصورة في وقت فراغه قبل تنزيلها من الجهاز.

بدلاً من ذلك، تحدث المعالجة في روتين “صندوق أسود” في معالج إشارة الصورة (ISP) للكاميرا، وعادةً في وقت تشغيل مملوك لا يكشف عن البيانات الخام للمستشعر أو إتاحتها (وخلال فترة التنسيق الخام للكاميرا الذي يُعتبر “نقيًا” ليست “نقية” تمامًا).

لذلك، في الوقت الذي تتمكن من رؤية الصورة فيه، قد تم تعديلها بالفعل بواسطة تعزيزات مدعومة بالذكاء الاصطناعي مثل تحسين الإضاءة المنخفضة أو استبدال القمر.

في العديد من الحالات، يمكن أن يؤدي هذا إلى إعادة بناء غير دقيقة، على سبيل المثال، للنص، مما قد يبطل استخدام مثل هذه الصورة كدليل، منذ أن لن تكون الصورة “النقية” متاحة:

من الورقة الجديدة – يتم معالجة صورة مستشعر RAW بواسطة ISP مدعوم بالذكاء الاصطناعي لإنشاء إخراج نهائي سRGB يبدو أوضح وقد يحتوي على تفاصيل مخادعة، كما هو موضح في مثال لوحة الترخيص حيث يتم استنتاج الأحرف بشكل غير صحيح أثناء التكبير الرقمي. المشهد الحقيقي، الذي لا يمكن الوصول إليه في الممارسة، يختلف عن كلا الإخراج المحسن بالذكاء الاصطناعي والصورة الأصلية قبل حدوث المخادعة. يسمح النهج المقترح بالاستعادة هذه الصورة قبل حدوث المخادعة، واستعادة ما قام به بصر الكاميرا في الأصل قبل أن يتم تعديل المحتوى بواسطة تعزيزات مدعومة بالذكاء الاصطناعي. مصدر

الأمثلة السابقة تأتي من ورقة بحثية جديدة تقدم علاجًا للصور “الأصلية” المدعومة بالذكاء الاصطناعي، باستخدام عمليات بديلة مدعومة بالذكاء الاصطناعي لإعادة بناء الصورة الخام غير المعالجة من الصورة المعالجة.

يقول المؤلفون:

‘عندما يتم استخدام نماذج الذكاء الاصطناعي المدربة بخسائر توليدية أو إدراكية في ISPs، فإنها معرضة لخلق محتوى مخادع، مما قد يغير من معنى الصورة. الإشارة إلى أن الصور التي يتم إخراجها مباشرة من الكاميرا قد تحتوي على “محتوى مزيف”، خاصة في كاميرات الهواتف الذكية حيث يتم رؤية زيادة في اعتماد وحدات ISP المدعومة بالذكاء الاصطناعي.’

‘استخدام الذكاء الاصطناعي التوليدي في أجهزة الكاميرا يشكل تغييرًا في كيفية نظرنا إلى صور الكاميرا ويحدي وجهة النظر التقليدية للصور الملتقطة بالكاميرا على أنها موثوقة بشكل固有.’

يستخدم هذا العمل مشفرًا خفيفًا جدًا و MLP فك تشفير، يمكن دمجه داخل الصورة مع عقوبة وزن تبلغ 180 كيلو بايت فقط. الهدف هو تطوير أنظمة تشفير سريعة بما يكفي لإعادة استخراج الصورة الأصلية في الوقت الفعلي.

من الورقة الجديدة: يمكن أن يغير الت超-دقة المدعومة بالذكاء الاصطناعي داخل ISP من ملامح الوجه، مما يغير المظهر أو الهوية المتصورة من خلال تغييرات في شكل العين والفم. يمكن أن يغير تعزيز الإضاءة المنخفضة أيضًا من محتوى الصورة، مما يؤثر على التفسير على الرغم من تحسين الجودة البصرية. في مثال رمز الاستجابة السريعة، يجعل التعزيز الصورة أكثر جاذبية ولكنه يجعله غير قابل للفحص. يسمح الأسلوب بإعادة استعادة الصورة الأصلية قبل هذه المخادعات، واستعادة التفاصيل الأصلية للوجه ورمز الاستجابة السريعة القابل للفحص.

بدلاً من ذلك، يمكن لمصنعي الكاميرات منح المستخدمين الوصول إلى تفريغات المستشعر غير المعالجة؛ ومع ذلك، من المحتمل أن يبقى هذا مقيدًا بال EQUIPMENT عالية المستوى. في الفضاء الاستهلاكي والشائع، للأسف، قد يُعتبر الوصول إلى الصور غير المعالجة بمثابة سعي “هامشي” أو فرعي.

على الرغم من أن الكاميرات الاستهلاكية دائمًا ما قامت بتطبيق بعض مستويات المعالجة، قبل ظهور الذكاء الاصطناعي الحد، كانت الخوارزميات المستخدمة معالجتها بطريقة غير تفسيرية، وغير محتملة لتغيير محتوى الصورة بنفس الطريقة الهامة التي يمكن أن يفعلها الأساليب الحالية المدعومة بالذكاء الاصطناعي.

من المثير للاهتمام، بالنظر إلى مدى انتقاد سياسة استبدال القمر لشركة سامسونج العلني منذ سنوات، مركز سامسونج للذكاء الاصطناعي في تورونتو هو أحد المشاركين في العمل الجديد، الذي يحمل عنوان معالجة مصداقية الصورة عند استخدام الكاميرات للذكاء الاصطناعي التوليدي، ويقوده مساهمات من خمسة باحثين في جامعة تورونتو.

الطريقة

يستخدم المؤلفون المشروع الآخر الوحيد الذي يبدو أنه قد تعامل مباشرة مع قضية الاضطراب حسب التصميم: ورقة 2024 دعوة إلى مصادقة على الصور الملتقطة بالكاميرا على مستوى البكسل، والتي提出了 “قناع مصادقة ثنائي” يحدد المناطق المعدلة بواسطة العمليات الذكية داخل الكاميرا:

يمينًا، قناع البرهنة في ورقة 2024 يكشف عن مناطق من السماء تتأثر بمعالجات “التسوية” المدعومة بالذكاء الاصطناعي في الكاميرا.

然而، لم تقدم النظام أي طريقة لاستعادة الصورة “الحقيقية”، وهو ما تعاملت معه الورقة الجديدة، مع الاعتراف بالديون للخروج السابق.

الهدف من العمل الجديد هو تمكين المستخدمين من استعادة صورة قريبة جدًا من ما قام به بصر الكاميرا في الأصل قبل أن يتم المعالجة:

نظرة عامة على الطريقة المقترحة. في (A)، في وقت التقاط، يتم تمرير صورة الإخراج من ISP التي تحتوي على مخادعات عبر مشفر مسبق التدريب، وتمزج ميزاته الكامنة مع الإحداثيات المكانية وتم تغذيتها إلى MLP يعمل على أساس بكسل لتنبؤ بالصورة غير المخادعة، مع توجيه التدريب بواسطة خسارة ضد الصورة الأصلية. يتم حفظ أوزان المشفر وMLP كبيانات وصفية إلى جانب الصورة. في (B)، في وقت الاستدلال، يتم استرجاع هذه الأوزان من البيانات الوصفية وتم استخدامها مع المشفر وMLP لإعادة بناء الصورة غير المخادعة.

في وقت التقاط، في الطريقة الجديدة، يتم تمرير الصورة المعالجة عبر مشفر “مجمّد” يتحولها إلى تمثيل كامن مضغوط. بعد ذلك، يتم مزج الإحداثيات المكانية ذات الصلة مع هذه الميزات وتم تغذيتها إلى MLP خفيف يعمل على أساس بكسل لتنبؤ بمحتوى الصورة الأصلي – ويتعلم بشكل فعال كيفية طرح العناصر المخادعة من خلال خسارة إعادة بناء ضد أهداف أصلية.

تم تدريب المشفر والفك على صور أصلية ومخادعة متطابقة، ثم تم ضبطهما بدقة سريعًا لكل صورة تم التقاطها، مع حفظ أوزانهما كبيانات وصفية إلى جانب الصورة نفسها، مما يضيف فقط عقوبة حجم صغيرة.

في وقت العرض، يتم استخراج الأوزان المحفوظة وتم إعادة استخدامها لتشغيل نفس المشفر وMLP، مما يسمح بإعادة بناء صورة تقترب جدًا من ما قام به بصر الكاميرا في الأصل، دون إدخال محتوى اصطناعي جديد.

البيانات والاختبارات

قام المؤلفون باختبار الطريقة الجديدة باستخدام مهمتين من مهام ما بعد المعالجة الشائعة في ISP: الت超-دقة (SR، بما في ذلك المناطق المزومة)؛ والتصوير في الإضاءة المنخفضة.

لجزء الاختبار العام (“صورة طبيعية”) من الت超-دقة، تم تضمين العديد من الأمثلة من النص في البيانات، منذ أن تعرف أن مهام الت超-دقة في ISP قد غيرت النص (على سبيل المثال، أرقام لوحة الترخيص، ولكن انظر الأمثلة السابقة في المقال). منذ أن يكون تشويه النص مشكلة منفصلة في حد ذاتها، تم التعامل معها كفرع فرعي من اختبارات الت超-دقة، مع بيانات مخصصة.

تم تدريب المشفر المذكور أعلاه لكل من الطريقتين المختبران، وتم اختياره بناءً على ما إذا كان من المحتمل أن يتم تشغيل وحدة ISP المدعومة بالذكاء الاصطناعي أثناء التقاطها (أي “وحدة الإضاءة المنخفضة” في ظروف مظلمة).

استخدم المؤلفون مجموعة بيانات DIV2K لتدريب الت超-دقة، مدعومًا بشبكة RealESRGAN الشهيرة. تم توليد بيانات متطابقة تتميز بمحتوى غير مخادع ومخادع، كما هو موضح في العمل السابق على تدخل ISP.

لجزء الت超-دقة النصي، استخدم المؤلفون نموذج MARCONet لعام 2023:

من ورقة MARCONet لعام 2023، أمثلة على نصوص العالم الحقيقي منخفضة الدقة والنصوص المماثلة المزومة. مصدر

لإنشاء بيانات متطابقة في هذه الحالة، قام الباحثون بتشغيل الصور غير المخادعة عبر MARCONet. تم توليد 2000 صورة من رمز المشروع الأصلي، مع 200 محددة للتحقق، إلى جانب 200 أخرى للاختبار.

للاختبارات في الإضاءة المنخفضة، تم采用 مجموعة بيانات LOw-Light (LOL) من ورقة صينية عام 2018:

من مجموعة بيانات LOL الصينية لعام 2018، أمثلة محصنة من نفس الصور عند تعرضات ودرجات إضاءة واضحة مختلفة. مصدر

الإطارات المنافسة

للمقارنة، تم اختبار الطريقة الجديدة ضد ثلاثة أسس مقارنة محددة تم تدريبها في ظروف متطابقة. أولاً، تم تدريب SIREN وNeRF على صور أصلية ومخادعة متطابقة، ثم تم ضبطهما بدقة في وقت التقاط لمدة زمنية متطابقة مع النهج المقترح، مما يوفر مقارنة مباشرة مع NeRF.

ثانيًا، تم استخدام MLP مع ترميز متعلم يعتمد على طريقة hashgrid من Instant-NGP، مع تحسين إدخالات الجدول والملف المشترك.

تم مطابقة حجم التضمين وسعة الشبكة مع المشفر والملف المقترح، مع تجارب تغطي كل من التحسين لكل صورة من البداية والتدريب المسبق متبوعًا بالضبط الدقيق.

ثالثًا، تم تنفيذ خط قاعدي لترجمة الصورة إلى صورة بدون إشراف باستخدام نموذج NAFNet بحجم 64 ميغا بايت، تم تدريبه ك نظام انحدار بكسل إلى بكسل بدون إمكانية الوصول إلى البيانات الوصفية.

خلال التدريب، تم استخدام محسن Adam عبر PyTorch، لكل من التدريب المسبق والضبط الدقيق. تم تدريب المشفر وMLP لمدة 50,000 دورة بحجم باكت 32، مع مشفرات مخصصة لكل مهمة (أي الت超-دقة، الت超-دقة النصية، الإضاءة المنخفضة).

استغرق الضبط الدقيق حوالي ثلاث ثوان على وحدة معالجة رسومات NVIDIA V100 مع 32 جيجابايت من ذاكرة الفيديو الرام. يشير المؤلفون إلى أن虽然 كان الهدف هو تحسين الجهاز، إلا أنه لم يكن من الممكن تنفيذه لجميع الإطارات، وبالتالي تم إجراء جميع الاختبارات في بيئة سطح المكتب:

مقارنة الأداء ضد أسس مقارنة مدعومة بالبيانات الوصفية باستخدام MLP، بما في ذلك SIREN وNeRF وطريقة hash-grid، إلى جانب استعادة عمياء باستخدام NAFNet. يتم تقديم النتائج كـ PSNR بالديسيبل عبر ثلاث مهام: الت超-دقة للصور الطبيعية على DIV2K؛ الت超-دقة النصية على MARCONet؛ وتعزيز الإضاءة المنخفضة على LOL، مع تحقيق نهجهم أعلى درجات في كل حالة.

对于 نهج MLP، اعتمد الأداء بشكل كبير على تمثيل الإدخال، حيث كافحت النماذج التي تم تدريبها باستخدام الإحداثيات المكانية فقط خلال التدريب المسبق و실패 في التحسين خلال مرحلة الضبط الدقيق المحدودة. أدى إضافة معلومات اللون إلى نتائج أقوى.

استعادة عمياء باستخدام NAFNet أدت أداء جيدًا على DIV2K، حيث كانت الخريطة من الصور المتدهورة إلى الصور النقية مستقرة نسبيًا، ولكنها انهارت على MARCONet وLOL، حيث كانت هناك إعادة بناء متعددة معقولة ولم يكن النموذج يمتلك المعلومات اللازمة لحل هذا الغموض.

كان هذا التأثير أكثر وضوحًا في تعزيز الإضاءة المنخفضة، حيث لا يمكن استخلاص سطوع المشهد الأصلي بشكل موثوق به من الصورة المعالجة وحدها.

يقول المؤلفون:

‘[في] البيانات الاصطناعية MARCONet، يتم映س الصور ذات قوة التمويه المختلفة إلى نفس الصورة المخادعة. يمكن رؤية أن نهجنا المقترح يتفوق على المنافسين عبر جميع مجموعات البيانات.’

في المقارنة أعلاه، يمكن رؤية أداء مختلف الأساليب بناءً على الوقت الذي يُمنح لهم لتشغيله في وقت التقاط الصورة. يمكن أن ينتج تدريب نموذج من الصفر لكل صورة نتائج قوية، كما هو موضح مع SIREN وNeRF وطريقة hash-grid – ولكن هذا يستغرق وقتًا طويلاً جدًا ليكون عمليًا داخل الكاميرا.

بدلاً من ذلك، يقوم نهج المؤلفين بعمله الأكثر في وقت مبكر، مع تعديل سريع في وقت التقاط الصورة، مما يسمح لهم بتسليم نتائج أفضل في حدود زمنية محددة (3، 5، أو 10 ثوان).

مقارنة الأداء ضد أسس مقارنة مدعومة بالبيانات الوصفية باستخدام MLP، بما في ذلك SIREN وNeRF وطريقة hash-grid، إلى جانب استعادة عمياء باستخدام NAFNet. يتم تقديم النتائج كـ PSNR بالديسيبل عبر ثلاث مهام: الت超-دقة للصور الطبيعية على DIV2K؛ الت超-دقة النصية على MARCONet؛ وتعزيز الإضاءة المنخفضة على LOL، مع تحقيق نهجهم أعلى درجات في كل حالة. يرجى الرجوع إلى الورقة الأصلية للحصول على (دقة قليلاً أفضل).

فيما يلي نتائج نوعية على DIV2K، حيث أدخلت طرق التعزيز مخادعات مرئية. غيّر نموذج الت超-دقة القائم على GAN لون العين، واضطربت استعادة عمياء في إعادة بناء الصورة الأصلية. أنتج NeRF وطريقة hash-grid شذوذًا في المناطق المنظمة مثل النوافذ والنص، بينما اقترب نهجهم أكثر من الصورة الأصلية.

أخيرًا، في الشكل أعلاه، نرى نتائج على مجموعة بيانات LOL، مع سطوع مخطط للتصوير.

لم تتمكن استعادة عمياء من حل سطوع غير معروف، بينما قام نهجهم بإعادة بناء النسيج بشكل أفضل واستعادة الأحرف المعدلة، مثل تصحيح “1” إلى “i”، دون إضافة شذوذ.

الاستنتاج

من غير قابل للجدل، ولا يزال كذلك، أن “الكاميرا لا تكذب أبدًا”. كل قرار بشأن ما يتم تصويره ومتى يتم تصويره، إلى جانب كيفية تقديمه وسياقه، هو في الواقع قرار سياسي أو اجتماعي.

حتى الأساليب القديمة للمعالجة بعد التقاط الصورة، مثل التخفيف والتحسين (التي تم نقلها منذ فترة طويلة إلى أدوات Photoshop)، هي أفعال فنية خاضعة للذوق والتفضيل.

然而، هذا لا يعني أننا يجب أن نستسلم على هدف التقاط الصور “الموضوعي”؛ ويبدو من المعقول أن يُسمح للمستهلك العادي، حتى مع بعض الصعوبة، بالوصول إلى تفريغات المستشعر “غير المعالجة” للصور التي يلتقطونها، إذا رغبوا في ذلك؛ أو على الأقل، أن يُسمح لهم بتقيد المعالجة بعد التقاط الصورة بخوارزميات غير مدعومة بالذكاء الاصطناعي، كما قد يفضلون.

نشر لأول مرة يوم الجمعة، 24 أبريل 2026