زاوية Anderson
استعادة ما التقطته الكاميرا قبل أن يغيّره الذكاء الاصطناعي
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةCamera AI pipelines now hallucinate content like license plate digits before users see…
عرض المزيد
- Camera AI pipelines now hallucinate content like license plate digits before users see the photo.
- New method stores a tiny 180KB encoder and MLP as metadata to reconstruct the pre-AI sensor image.
- Samsung's AI Center co-developed the technique which outperforms NeRF and blind recovery in under ten seconds.
كيف يمكن حماية سلامة الصورة الخام من تدخل الذكاء الاصطناعي بعدما تكون قد خضعت بالفعل لمعالجة آلية به داخل الكاميرا؟ البحث الجديد يهدف إلى استعادة البيانات الخام غير المعالجة – أيضًا باستخدام الذكاء الاصطناعي!
ازدادت مصداقية الصور التي تم إنشاؤها بواسطة الذكاء الاصطناعي خلال العام الماضي تقريبًا، مما دفع العديد من الجماعات والأفراد إلى التنديد بالتدهور اللاحق في الثقة في التصوير الفوتوغرافي.
في نفس الفترة، حاول ائتلاف منشأ المحتوى وأصالته (C2PA) نشر معيار شبه تشفيري يُلحق بالصورة معلومات عن مصدرها وتاريخها قائمة على البيانات الوصفية، من لحظة التقاطها بواسطة كاميرا أو جهاز مدعوم، على أمل كشف أي استخدام لاحق للذكاء الاصطناعي التوليدي على هذه الصور “الأصلية”:
مخطط لتوثيق مصدر الصورة في نظام C2PA. تُكتب البيانات الوصفية عند الالتقاط ويمكن الإضافة إليها مثل دفتر يوميات، مع السماح بالتعديلات المعتادة كالسطوع والتباين وتسجيل التعديلات الكبيرة، بحيث تُعرَف الصور التي عُدّلت كثيرًا بالذكاء الاصطناعي على أنها كذلك في وسائل الإعلام الداعمة للنظام. مصدر
لم يكن اعتماد هذا المعيار واسع النطاق كما كان يأمل الائتلاف، وحاليًا فقط 14 كاميرا تدعم تسجيل معلومات الأصالة داخل الكاميرا.
ما يثير الاهتمام في فكرة C2PA لمنح الصورة “جواز سفر” في لحظة وجودها، هو أنه قد يكون قد فات الأوان بالفعل – لأن مصنعي الكاميرات يدمجون الآن المعالجة الذكية في إنشاء الصورة:
من ورقة 2024 “دعوة إلى مصادقة على الصور الملتقطة بالكاميرا على مستوى البكسل”، توضيح لكيفية إدخال محتوى هلوسي في وقت التقاط الصورة وكيف تكشف عنه بيانات المصادقة على مستوى البكسل. في (A)، تُعالَج صورة مستشعر الهاتف الذكي بواسطة ISP، حيث يمكن لوحدات الذكاء الاصطناعي اختراع تفاصيل أثناء التكبير الرقمي أو تصحيح التعرض، مما ينتج صورًا واقعية مع أخطاء مثل أرقام لوحة الترخيص غير صحيحة. في (B)، يتم دمج قناع المصادقة كبيانات وصفية ولاحقًا وضعها فوقها ليكشف عن المناطق غير الأصلية، مما يسمح للمستخدمين بالتمييز بين البيانات الأصلية والبكسل المعدلة بواسطة الذكاء الاصطناعي. مصدر
في الواقع، هذا تدخل الذكاء الاصطناعي في التقاط البيانات الخام من مستشعر الكاميرا قد يصبح في النهاية حتى العملية المهيمنة.
هذا النوع من المعالجة ليس مثل الاتجاه الحالي لتعديل الصور داخل الكاميرا، حيث يسمح تطبيق الهاتف أو تطبيق الكاميرا للمستخدم بإعادة التفكير في الصورة في وقت فراغه قبل تنزيلها من الجهاز.
بدلاً من ذلك، تحدث المعالجة في روتين “صندوق أسود” في معالج إشارة الصورة (ISP) للكاميرا، وعادةً في بيئة تشغيل مغلقة خاصة بالشركة لا تكشف عن بيانات المستشعر الخام ولا تتيح الوصول إليها (ولنتذكر أن التنسيق الخام للكاميرا الذي يُفترض أنه «نقي» ليس خامًا تمامًا).
لذلك، في الوقت الذي تتمكن من رؤية الصورة فيه، قد تكون عُدلت بالفعل بواسطة تعزيزات مدعومة بالذكاء الاصطناعي مثل تحسين الإضاءة المنخفضة أو رفع الدقة أو استبدال القمر.
في العديد من الحالات، يمكن أن يؤدي هذا إلى إعادة بناء غير دقيقة، على سبيل المثال، للنص، مما قد يبطل استخدام مثل هذه الصورة كدليل، لأن الصورة الخام الحقيقية لن تكون متاحة:
من الورقة الجديدة – تُعالَج صورة مستشعر RAW بواسطة ISP مدعوم بالذكاء الاصطناعي لإنشاء مخرج نهائي بصيغة sRGB يبدو أوضح وقد يحتوي على تفاصيل ذات هلوسات، كما هو موضح في مثال لوحة الترخيص حيث يتم استنتاج الأحرف بشكل غير صحيح أثناء التكبير الرقمي. المشهد الحقيقي، الذي لا يمكن الوصول إليه في الممارسة، يختلف عن كلا الإخراج المحسن بالذكاء الاصطناعي والصورة الأصلية قبل حدوث الهلوسة. يتيح النهج المقترح استعادة هذه الصورة قبل حدوث الهلوسة، واستعادة ما التقطته بصريات الكاميرا أصلًا قبل أن يتم تعديل المحتوى بواسطة تعزيزات مدعومة بالذكاء الاصطناعي. مصدر
الأمثلة السابقة تأتي من ورقة بحثية جديدة تقدم علاجًا للصور “الأصلية” المدعومة بالذكاء الاصطناعي، باستخدام عمليات بديلة مدعومة بالذكاء الاصطناعي لإعادة بناء تقدير للصورة الخام غير المعدلة انطلاقًا من الصورة المعالجة.
يقول المؤلفون:
‘عندما يتم استخدام نماذج الذكاء الاصطناعي المدربة بخسائر توليدية أو إدراكية في ISPs، فإنها معرضة لخلق محتوى هلوسي، مما قد يغير من معنى الصورة. ويعني ذلك أن الصور التي يتم إخراجها مباشرة من الكاميرا قد تحتوي على “محتوى مزيف”، خاصة في كاميرات الهواتف الذكية حيث يتم رؤية زيادة في اعتماد وحدات ISP المدعومة بالذكاء الاصطناعي.’
‘استخدام الذكاء الاصطناعي التوليدي في أجهزة الكاميرا يشكل تغييرًا في كيفية نظرنا إلى صور الكاميرا ويتحدى النظرة الجنائية التقليدية للصور الملتقطة بالكاميرا على أنها موثوقة بشكل جوهري.’
يستخدم هذا العمل مشفرًا خفيفًا جدًا و MLP لفك الترميز، يمكن دمجه داخل الصورة مع زيادة في حجم الملف تبلغ 180 كيلو بايت فقط. الهدف هو تطوير أنظمة ترميز سريعة بما يكفي لإعادة استخراج الصورة الأصلية في الوقت الفعلي.
من الورقة الجديدة: يمكن أن يغيّر رفع الدقة الفائق المدعوم بالذكاء الاصطناعي داخل ISP من ملامح الوجه، مما يغير المظهر أو الهوية المتصورة من خلال تغييرات في اتجاه النظر وشكل الفم. يمكن أن يغير تعزيز الإضاءة المنخفضة أيضًا من محتوى الصورة، مما يؤثر على التفسير على الرغم من تحسين الجودة البصرية. في مثال رمز الاستجابة السريعة، يجعل التعزيز الصورة أكثر جاذبية ولكنه يجعل الرمز غير قابل للمسح. يسمح الأسلوب بإعادة استعادة الصورة الأصلية قبل هذه الهلوسات، واستعادة التفاصيل الأصلية للوجه ورمز الاستجابة السريعة القابل للفحص.
بدلاً من ذلك، يمكن لمصنعي الكاميرات منح المستخدمين الوصول إلى تفريغات المستشعر غير المعالجة؛ ومع ذلك، من المحتمل أن يبقى هذا مقيدًا بالمعدات الفائقة الجودة. في الفضاء الاستهلاكي والشائع، للأسف، قد يُعتبر الوصول إلى الصور غير المعالجة بمثابة سعي “هامشي” أو فرعي.
على الرغم من أن الكاميرات الاستهلاكية دائمًا ما قامت بتطبيق بعض مستويات المعالجة، قبل ظهور الذكاء الاصطناعي الطرفي، كانت الخوارزميات المستخدمة محدودة التفسير، وغير محتملة لتغيير محتوى الصورة بنفس الطريقة الهامة التي يمكن أن تحققها الأساليب الحالية المدعومة بالذكاء الاصطناعي.
من المثير للاهتمام، بالنظر إلى مدى انتقاد سياسة استبدال القمر لشركة سامسونج العلني منذ سنوات، مركز سامسونج للذكاء الاصطناعي في تورونتو هو أحد المشاركين في العمل الجديد، الذي يحمل عنوان معالجة مصداقية الصورة عند استخدام الكاميرات للذكاء الاصطناعي التوليدي، وتقوده مساهمات من خمسة باحثين في جامعة تورونتو.
الطريقة
يستخدم المؤلفون المشروع الآخر الوحيد الذي يبدو أنه قد تعامل مباشرة مع قضية الاضطراب حسب التصميم: ورقة 2024 دعوة إلى مصادقة على الصور الملتقطة بالكاميرا على مستوى البكسل، والتي قدمت “قناع مصادقة ثنائي” يحدد المناطق المعدلة بواسطة العمليات الذكية داخل الكاميرا:
يمينًا، قناع التحقق من الأصالة في ورقة 2024 يكشف عن مناطق من السماء تتأثر بمعالجات “التسوية” المدعومة بالذكاء الاصطناعي في الكاميرا.
ومع ذلك، لم يقدم النظام أي طريقة لاستعادة الصورة “الحقيقية”، وهو ما تعاملت معه الورقة الجديدة، مع الإقرار بفضل العمل السابق.
الهدف من العمل الجديد هو تمكين المستخدمين من استعادة صورة قريبة جدًا من ما التقطته بصريات الكاميرا أصلًا قبل إجراء المعالجة:
نظرة عامة على الطريقة المقترحة. في (A)، في وقت الالتقاط، يتم تمرير صورة الإخراج من ISP التي تحتوي على هلوسات عبر مشفر مسبق التدريب ومجمّد، وتمزج ميزاته الكامنة مع الإحداثيات المكانية وتُغذّى إلى MLP يعمل على أساس كل بكسل للتنبؤ بالصورة الخالية من الهلوسات، مع توجيه التدريب بواسطة خسارة ضد الصورة الأصلية. يتم حفظ أوزان المشفر وMLP كبيانات وصفية إلى جانب الصورة. في (B)، في وقت الاستدلال، يتم استرجاع هذه الأوزان من البيانات الوصفية وتُستخدم مع المشفر وMLP لإعادة بناء الصورة الخالية من الهلوسات.
في وقت الالتقاط، في الطريقة الجديدة، يتم تمرير الصورة المعالجة عبر مشفر مجمّد يحولها إلى تمثيل كامن مضغوط. بعد ذلك، يتم مزج الإحداثيات المكانية ذات الصلة مع هذه الميزات وتُغذّى إلى MLP خفيف يعمل على أساس كل بكسل للتنبؤ بمحتوى الصورة الأصلي – ويتعلم بشكل فعال كيفية طرح العناصر الناتجة عن الهلوسة من خلال خسارة إعادة بناء ضد أهداف أصلية.
دُرّب المشفر وفاك الترميز مسبقًا على أزواج من الصور الأصلية والصور ذات الهلوسات، ثم ضُبطا بدقة سريعًا لكل صورة ملتقطة، مع حفظ أوزانهما كبيانات وصفية إلى جانب الصورة نفسها، مما يضيف فقط زيادة طفيفة في حجم الملف.
في وقت العرض، يتم استخراج الأوزان المحفوظة وتُعاد استخدامها لتشغيل نفس المشفر وMLP، مما يسمح بإعادة بناء صورة تقترب جدًا من ما التقطته بصريات الكاميرا أصلًا، دون إدخال محتوى اصطناعي جديد.
البيانات والاختبارات
قام المؤلفون باختبار الطريقة الجديدة باستخدام مهمتين من مهام ما بعد المعالجة الشائعة في ISP: الدقة الفائقة (SR، بما في ذلك المناطق المزومة)؛ والتصوير في الإضاءة المنخفضة.
لجزء الاختبار العام (“صورة طبيعية”) من الدقة الفائقة، تم تضمين العديد من الأمثلة من النص في البيانات، لأن عمليات الدقة الفائقة في ISP معروفة بتغيير النصوص (على سبيل المثال، أرقام لوحة الترخيص، ولكن انظر الأمثلة السابقة في المقال). ولأن تشويه النص مشكلة قائمة بذاتها، تم التعامل معها كمجموعة فرعية من اختبارات الدقة الفائقة، مع بيانات مخصصة.
تم تدريب المشفر المذكور أعلاه لكل من النمطين اللذين خضعا للاختبار، وتم اختياره بناءً على ما إذا كان من المحتمل أن يتم تشغيل وحدة ISP المدعومة بالذكاء الاصطناعي أثناء التقاطها (أي “وحدة الإضاءة المنخفضة” في ظروف مظلمة).
استخدم المؤلفون مجموعة بيانات DIV2K لتدريب الدقة الفائقة، مدعومًا بشبكة RealESRGAN الشهيرة. تم توليد بيانات مزدوجة تتضمن محتوى أصليًا وآخر يحتوي على هلوسات، كما هو موضح في العمل السابق على تدخل ISP.
لجزء الدقة الفائقة النصي، استخدم المؤلفون نموذج MARCONet لعام 2023:
من ورقة MARCONet لعام 2023، أمثلة على نصوص العالم الحقيقي منخفضة الدقة والنصوص المماثلة المزومة. مصدر
لإنشاء بيانات متطابقة في هذه الحالة، قام الباحثون بتشغيل الصور الخالية من الهلوسات عبر MARCONet. تم توليد 2000 صورة من رمز المشروع الأصلي، مع 200 محددة للتحقق، إلى جانب 200 أخرى للاختبار.
للاختبارات في الإضاءة المنخفضة، تم اعتماد مجموعة بيانات LOw-Light (LOL) من ورقة صينية عام 2018:
من مجموعة بيانات LOL الصينية لعام 2018، أمثلة بتعريضات متدرجة للصور نفسها، عند مستويات مختلفة من التعريض والظلام وتدهور الجودة. مصدر
الإطارات المنافسة
للمقارنة، تم اختبار الطريقة الجديدة ضد ثلاثة أسس مقارنة محددة تم تدريبها في ظروف متطابقة. أولاً، تم تدريب SIREN وNeRF على أزواج من الصور الأصلية والصور المحتوية على هلوسات، ثم تم ضبطهما بدقة في وقت الالتقاط لمدة زمنية متطابقة مع النهج المقترح، مما يوفر مقارنة مباشرة مع NeRF.
ثانيًا، تم استخدام MLP مع ترميز متعلم يعتمد على طريقة hashgrid من Instant-NGP، مع تحسين مشترك لإدخالات جدول التجزئة وMLP.
تم مطابقة حجم التضمين وسعة الشبكة مع المشفر وMLP المستهدفين، مع تجارب تغطي كل من التحسين لكل صورة من البداية والتدريب المسبق متبوعًا بالضبط الدقيق.
ثالثًا، تم تنفيذ خط قاعدي لترجمة الصورة إلى صورة دون معلومات مساعدة باستخدام نموذج NAFNet بحجم 64 ميغا بايت، تم تدريبه كنظام انحدار من بكسل إلى بكسل بدون إمكانية الوصول إلى البيانات الوصفية.
خلال التدريب، تم استخدام محسن Adam عبر PyTorch، لكل من التدريب المسبق والضبط الدقيق. تم تدريب المشفر وMLP لمدة 50,000 دورة بـحجم دفعة يبلغ 32، مع مشفرات مخصصة لكل مهمة (أي الدقة الفائقة، الدقة الفائقة النصية، الإضاءة المنخفضة).
استغرق الضبط الدقيق حوالي ثلاث ثوان على وحدة معالجة رسومات NVIDIA V100 مع 32 جيجابايت من ذاكرة الفيديو الرام. يشير المؤلفون إلى أنه رغم أن التحسين على الجهاز نفسه هو البيئة والسيناريو المستهدفان، إلا أنه لم يكن من الممكن تنفيذه لجميع الإطارات، وبالتالي تم إجراء جميع الاختبارات في بيئة سطح المكتب:
مقارنة الأداء ضد أسس مقارنة مدعومة بالبيانات الوصفية باستخدام MLP، بما في ذلك SIREN وNeRF وطريقة hash-grid، إلى جانب استعادة عمياء باستخدام NAFNet. يتم تقديم النتائج كـ PSNR بالديسيبل عبر ثلاث مهام: الدقة الفائقة للصور الطبيعية على DIV2K؛ الدقة الفائقة النصية على MARCONet؛ وتعزيز الإضاءة المنخفضة على LOL، مع تحقيق نهجهم أعلى درجات في كل حالة.
بالنسبة إلى نهج MLP، اعتمد الأداء بشكل كبير على تمثيل الإدخال، حيث كافحت النماذج التي تم تدريبها باستخدام الإحداثيات المكانية فقط خلال التدريب المسبق وفشلت فعليًا في التحسين خلال مرحلة الضبط الدقيق المحدودة. أدت إضافة معلومات اللون إلى نتائج أقوى.
حققت الاستعادة العمياء باستخدام NAFNet أداءً جيدًا على DIV2K، حيث كانت الخريطة من الصور المتدهورة إلى الصور النقية مستقرة نسبيًا، ولكنها انهارت على MARCONet وLOL، حيث كانت هناك عدة عمليات إعادة بناء محتملة ومعقولة ولم يكن النموذج يمتلك المعلومات اللازمة لحل هذا الغموض.
كان هذا التأثير أكثر وضوحًا في تعزيز الإضاءة المنخفضة، حيث لا يمكن استخلاص سطوع المشهد الأصلي بشكل موثوق به من الصورة المعالجة وحدها.
يقول المؤلفون:
‘[في] البيانات الاصطناعية MARCONet، يتم تعيين الصور ذات قوة التمويه المختلفة إلى الصورة نفسها المحتوية على هلوسات. يمكن رؤية أن نهجنا المقترح يتفوق على المنافسين عبر جميع مجموعات البيانات.’
في المقارنة أعلاه، يمكن رؤية أداء مختلف الأساليب بناءً على الوقت الذي يُمنح لهم لتشغيله في وقت التقاط الصورة. يمكن أن ينتج تدريب نموذج من الصفر لكل صورة نتائج قوية، كما هو موضح مع SIREN وNeRF وطريقة hash-grid – ولكن هذا يستغرق وقتًا طويلاً جدًا ليكون عمليًا داخل الكاميرا.
بدلاً من ذلك، ينجز نهج المؤلفين معظم العمل مسبقًا، مع تعديل سريع في وقت التقاط الصورة، مما يتيح له تقديم نتائج أفضل في حدود زمنية محددة (3، 5، أو 10 ثوان).
مقارنة الأداء مع أساليب مرجعية قائمة على MLP ومدعومة بالبيانات الوصفية، تشمل SIREN وNeRF وhash-grid، ومع الاستعادة العمياء باستخدام NAFNet. تُعرض النتائج بمقياس PSNR بالديسيبل عبر ثلاث مهام: الدقة الفائقة للصور الطبيعية على DIV2K، والدقة الفائقة للنصوص على MARCONet، وتحسين الصور منخفضة الإضاءة على LOL. يحقق النهج المقترح أعلى الدرجات في كل حالة. يرجى الرجوع إلى الورقة الأصلية للحصول على دقة أفضل قليلًا.
تُعرض أعلاه نتائج نوعية على DIV2K، حيث أدخلت طرق التعزيز هلوسات مرئية. غيّر نموذج الدقة الفائقة القائم على GAN لون العين، واضطربت استعادة عمياء في إعادة بناء الصورة الأصلية. أنتج NeRF وطريقة hash-grid شذوذًا في المناطق المنظمة مثل النوافذ والنص، بينما اقترب نهجهم أكثر من الصورة الأصلية.
أخيرًا، في الشكل أعلاه، نرى نتائج على مجموعة بيانات LOL، مع ضبط مقياس السطوع لأغراض العرض.
لم تتمكن الاستعادة العمياء من تحديد مقياس السطوع المجهول، بينما قام نهجهم بإعادة بناء النسيج بشكل أفضل واستعادة الأحرف المعدلة، مثل تصحيح “1” إلى “i”، دون إضافة شذوذ.
الاستنتاج
من المرجح أنه لا يمكن الدفاع عن مقولة «الكاميرا لا تكذب أبدًا»، ولم يكن من الممكن الدفاع عنها سابقًا أيضًا. كل قرار بشأن ما يتم تصويره ومتى يتم تصويره، إلى جانب كيفية تقديمه وسياقه، هو في الواقع قرار سياسي أو اجتماعي.
حتى الأساليب القديمة للمعالجة بعد التقاط الصورة، مثل التفتيح والتعتيم الانتقائيين (التي تم نقلها منذ فترة طويلة إلى أدوات Photoshop)، هي أفعال فنية خاضعة للذوق والتفضيل.
ومع ذلك، هذا لا يعني أننا يجب أن نتخلى عن هدف التقاط الصور “الموضوعي”؛ ويبدو من المعقول أن يُسمح للمستهلك العادي، حتى مع بعض الصعوبة، بالوصول إلى تفريغات المستشعر “غير المعالجة” للصور التي يلتقطها، إذا رغب في ذلك؛ أو على الأقل، أن يُسمح له بتقييد المعالجة بعد التقاط الصورة بخوارزميات غير مدعومة بالذكاء الاصطناعي، وفقًا لما يفضله.
نشر لأول مرة يوم الجمعة، 24 أبريل 2026
