قد تقوم الذكاء الاصطناعي بترتيب الصور سراً حسب علامة الجهاز، وليس المحتوى

البحث الجديد يكتشف أن أنظمة الذكاء الاصطناعي التي تركز على الصور لا تقتصر فقط على ما يظهر في الصورة، بل تلتقط أيضاً كيفية التقاط الصورة. يمكن لتفاصيل خفية مثل نوع الكاميرا أو جودة الصورة أن تؤثر بهدوء على ما يظنه الذكاء الاصطناعي أنه يرى، مما يؤدي إلى نتائج خاطئة – فقط لأن الصورة جاءت من جهاز مختلف.

في عام 2012 تم الكشف عن أن موقع سفر كان يعرض أسعاراً أعلى بانتظام للمستخدمين الذين يمكنه استنتاج أنهم يتصفحون على أجهزة Apple، معادلاً Apple (AAPL ) أظهرت التحقيقات اللاحقة أنها استنتجت أن هذا ‘التنصت على المحفظة’ المرتكز على الجهاز أصبح شبه روتيني لمواقع التجارة الإلكترونية.

وبالمثل، يمكن استنتاج ذلك بالوسائل الجنائية أي أي هاتف ذكي أو جهاز تصوير التقط صورة معينة، استناداً إلى الخصائص المعروفة لعدد محدود من العدسات في النماذج. في مثل هذه الحالات، يُقدَّر طراز جهاز الالتقاط عادةً عبر آثار بصرية؛ ومثلما كان الحال في حادثة 2012، فإن معرفة نوع الكاميرا التي التقطت الصورة يُعد خاصية يمكن استغلالها.

على الرغم من أن أجهزة الالتقاط تميل إلى تضمين بيانات تعريفية مهمة داخل الصورة، إلا أن هذه الميزة يمكن أن يُعطلها المستخدمون في كثير من الأحيان؛ وحتى عندما تُترك مفعلة، قد تقوم منصات التوزيع مثل شبكات التواصل الاجتماعي بإزالة بعضها أو كل البيانات التعريفية، إما لأغراض لوجستية أو لحماية الخصوصية، أو لكليهما.

مع ذلك، غالباً ما تُعاد كتابة/تفسير البيانات التعريفية في الصور التي يرفعها المستخدمون (بدلاً من حذفها) أو تُترك كما هي، باعتبارها مصدرًا ثانويًا للمعلومات ليس حول ما يحتويه المشهد، بل حول كيفية التقاطه. كما كشف حالة 2012، يمكن أن تكون هذه المعلومات ذات قيمة – ليس فقط للمنصات التجارية، بل أيضاً، ربما، للهاكرز والجهات الضارة.

وجهتا نظر مزدوجتان

وجدت تعاون بحثي جديد بين اليابان وجمهورية التشيك أن الآثار التي يتركها عتاد الكاميرا ومعالجة الصورة (مثل جودة JPEG أو تحسين العدسة) ليست فقط قابلة للكشف بواسطة الأدوات الجنائية بل تُشفّر أيضاً بصمت في ‘الفهم العالمي’ لنماذج الرؤية الذكية الرائدة.

يشمل ذلك CLIP وغيرها من المشفرات البصرية واسعة النطاق، التي تُستخدم على نطاق واسع في كل شيء من محركات البحث إلى مراقبة المحتوى. تُظهر الدراسة الجديدة أن هذه النماذج لا تقتصر على تفسير ما هو في الصورة فحسب، بل يمكنها أيضاً تعلم كيفية صُنع الصورة؛ ويمكن أن يتغلب هذا الإشارة المخفية أحياناً على المحتوى الظاهر.

أزواج صور مثال من مجموعة بيانات PairCams التي أنشأها المؤلفون، صُنِّيت لاختبار كيف يؤثر نوع الكاميرا على نماذج صور الذكاء الاصطناعي. كل زوج يُظهر نفس الكائن أو المشهد المصوّر في نفس اللحظة باستخدام جهاز غير ذكي (يسار) وجهاز ذكي (يمين). المصدر: https://arxiv.org/pdf/2508.10637

تؤكد الدراسة أنه حتى عندما تُزوَّد نماذج الذكاء الاصطناعي بنسخ من الصورة محجوبة أو مقطوعة بشكل كبير، لا يزال بإمكانها تخمين صانع وطراز الكاميرا بدقة مفاجئة. وهذا يعني أن فضاء التمثيل الذي تستخدمه هذه الأنظمة لتقييم تشابه الصور قد يتشابك مع عوامل غير ذات صلة، مثل جهاز المستخدم، مما يؤدي إلى عواقب غير متوقعة.

على سبيل المثال، في المهام اللاحقة مثل التصنيف أو استرجاع الصور، قد يتسبب هذا ‘الوزن’ غير المرغوب فيه في تفضيل النظام لأنواع معينة من الكاميرات، بغض النظر عما تُظهره الصورة فعلياً.

يذكر البحث:

‘تُؤدي تسميات البيانات التعريفية التي تترك آثاراً في المشفرات البصرية إلى حد طمس المعلومات الدلالية إلى نتائج غير متوقعة، مما يهدد القابلية للتعميم، والمرونة، وربما يقوض موثوقية النماذج.’

‘وبشكل أكثر حرجاً، يمكن استغلال هذا التأثير بشكل خبيث؛ على سبيل المثال، قد تقوم هجمة عدائية بتعديل البيانات التعريفية لتضليل النموذج أو خداعه عن قصد، مما يشكل مخاطر في المجالات الحساسة مثل الرعاية الصحية، والمراقبة، أو الأنظمة الذاتية.’

يجد البحث أن أنظمة اللغة البصرية المتباينة (CVL) مثل CLIP، التي أصبحت الآن أحد أكثر المشفرات تأثيراً في رؤية الحاسوب، من المرجح أن تستخلص مثل هذه الاستنتاجات من البيانات:

نتائج البحث عن صورة استعلام، تُظهر كيف تقوم نماذج الأساس بترتيب الصور المتشابهة ليس فقط بناءً على المحتوى البصري بل أيضاً بناءً على البيانات التعريفية المخفية مثل ضغط JPEG أو طراز الكاميرا.

الـورقة جديدة تحمل العنوان آثار المعالجة والاكتساب في المشفرات البصرية: ماذا يعرف CLIP عن كاميرتك؟، وهي من تأليف ستة باحثين من جامعة أوساكا وجامعة تشيك التقنية في براغ.

الطريقة والبيانات*

لاختبار تأثير البيانات الوصفية المخفية على المشفرات البصرية مثل CLIP، عمل المؤلفون مع فئتين من البيانات الوصفية: معلمات معالجة الصورة (مثل ضغط JPEG أو التحسين) ومعلمات الاكتساب (مثل طراز الكاميرا أو إعدادات التعرض).

بدلاً من تدريب نماذج جديدة، قيم الباحثون 47 مشفرًا بصريًا شائع الاستخدام في حالتهم المجمدة والمُدربة مسبقًا، بما في ذلك نماذج الرؤية-اللغة التباينية مثل CLIP، ونماذج ذاتية الإشراف مثل DINO، والشبكات المشرفة تقليديًا.

بالنسبة لمعلمات المعالجة، طبق الباحثون تحولات مُتحكم فيها على مجموعتي البيانات ImageNet وiNaturalist لعام 2018، بما في ذلك ست مستويات من ضغط JPEG، وثلاث إعدادات للتحسين، وثلاث مقاييس لإعادة التحجيم، وأربع طرق للاستيفاء.

أمثلة على الصور والتعليقات المرتبطة بها من مجموعة بيانات iNaturalist. المصدر: https://arxiv.org/pdf/1707.06642

تم اختبار النماذج على قدرتها على استعادة كل إعداد تحويل باستخدام محتوى الصورة فقط، حيث تشير التنبؤات الناجحة إلى أن المشفر يحتفظ بمعلومات حول هذه الخيارات المعالجة في تمثيله الداخلي.

لفحص معلمات الاكتساب، جمع الباحثون مجموعة بيانات مكوّنة من 356,459 صورة تُدعى FlickrExif، تحتوي على بيانات Exif الوصفية المحفوظة، وأنشأوا مجموعة بيانات ثانية تُدعى PairCams، مكوّنة من 730 زوجًا من الصور تم التقاطها في آنٍ واحد باستخدام هاتف ذكي وكاميرا غير ذكية.

تم بناء مجموعة بيانات FlickrExif باستخدام واجهة Flickr API لتنزيل الصور مع بيانات Exif الوصفية المرفقة. تم جمع ما بين 2,000 و4,000 صورة مناسبة للعمل كل شهر، تتراوح تواريخها من أوائل عام 2000 حتى منتصف 2024، وتم تصفيتها لتشمل فقط تلك التي تحمل تراخيص مرنة. ولمنع التمثيل المفرط من قبل المستخدمين النشطين، قُصر عدد الصور التي يمكن لكل مساهم فردي تحميلها على عشرة صور شهريًا لأي سنة معينة.

في مجموعة بيانات PairCams، تم التقاط كل صورة باستخدام إعدادات تلقائية دون فلاش، مما يتيح مقارنة طريقة استجابة المشفرات البصرية لاختلافات عتاد الكاميرا فقط، بغض النظر عن محتوى الصورة:

أمثلة إضافية من مجموعة بيانات PairCams التي جمعها المؤلفون.

اختبر المؤلفون مجموعتين من المعلمات: معلمات معالجة الصورة، مثل الضغط وتحويلات اللون؛ ومعلمات اكتساب الصورة، مثل صانع الكاميرا أو طرازها:

تم تحليل معلمات معالجة واكتساب الصورة، مع عدد الفئات لكل منها.

الاختبارات

لتحديد ما إذا كانت معلومات معالجة الصورة ونوع الكاميرا محفوظة داخل تمثيلات المشفر البصري، درّب المؤلفون مصنفًا لتوقع تسميات البيانات الوصفية مباشرةً من تلك التمثيلات. إذا كان أداء المصنف لا يتجاوز التخمين العشوائي، فهذا يشير إلى أن تفاصيل المعالجة أو الجهاز غير مُلتقطة بواسطة النموذج.

ومع ذلك، أي أداء يتجاوز الصدفة سيشير إلى أن هذه الآثار التقنية تُشفَّر فعليًا، وقد تؤثر على المهام اللاحقة.

لاختبار آثار المعالجة، عيّن المؤلفون لكل صورة تدريب إعداد معالجة عشوائي، مثل مستوى ضغط JPEG معين، بينما شاركت جميع صور الاختبار في دفعة واحدة نفس الإعداد.

تم دمج متوسط دقة التصنيف عبر جميع الإعدادات مع تجارب متكررة تحت بذور عشوائية مختلفة، لتحديد ما إذا كانت تفاصيل المعالجة التقنية تُلتقط باستمرار في تمثيل النموذج الداخلي:

دقة التصنيف لتوقع معلمات معالجة الصورة من تمثيلات المشفر، باستخدام مصنف خطي يُطبق على النماذج المجمدة. تُظهر النتائج لضغط JPEG، والتحسين، وإعادة التحجيم، والاستيفاء، مع ثلاث فئات من النماذج: الرؤية-اللغة التباينية (برتقالي)، المشرفة (أخضر)، وذاتية الإشراف (أزرق)، تم تقييمها على ImageNet (الصف العلوي) وiNaturalist 2018 (الصف السفلي). تم وضع خطوط متقطعة لتحديد خطوط الأساس العشوائية.

عبر جميع المعلمات الأربعة للمعالجة، أظهرت نماذج الرؤية-اللغة المتباينة أعلى قدرة على التعرف على التلاعبات المخفية في الصور. حقق بعض هذه النماذج دقة تزيد عن 80٪ عند توقع إعدادات ضغط JPEG أو الشحذ أو تغيير الحجم من تمثيلات ImageNet.

المشفّرات الخاضعة للإشراف، وخاصة تلك المستندة إلى ConvNeXt، أدت أيضاً بشكل قوي، بينما كانت النماذج ذاتية الإشراف أضعف باستمرار.

كان الاستيفاء أصعب معلمة للكشف عنها، ومع ذلك حققت نماذج CVL والنماذج الخاضعة للإشراف العليا نتائج تفوق بكثير الخط الأساسي العشوائي البالغ 25٪ في كلا مجموعتي البيانات.

بعد ذلك، لاختبار ما إذا كانت معلومات الكاميرا مدمجة في تمثيلات النماذج، أنشأ المؤلفون مجموعات تدريب واختبار منفصلة لكل معلمة اكتساب (مثل صانع الكاميرا، طراز الكاميرا، التعرض، الفتحة، ISO، وطول البعد البؤري).

بالنسبة لمعظم المعلمات، استُخدمت فقط الفئات التي تحتوي على ما لا يقل عن 5,000 مثال؛ تم عشوائياً تخصيص 500 صورة للاختبار، وتم تقليل العينات المتبقية بحيث يحصل كل فئة على 200 عينة تدريبية. بالنسبة لمعلمات ‘model (all)’ و ‘model (smart)’، التي كان لديها بيانات أقل لكل فئة، استخدم المؤلفون بدلاً من ذلك فئات تحتوي على ما لا يقل عن 500 صورة، وقسموا كل فئة إلى مجموعات train و test بنسبة أربعة إلى واحد.

تم إبقاء المصورين منفصلين عبر مجموعات التدريب، والتحقق، والاختبار، وتم تدريب مصنف بسيط لتوقع معلومات الكاميرا بناءً على ميزات الصورة.

لضمان عدم تأثر المصنف بالمحتوى الدلالي للصور، تم إخفاء 90٪ من كل صورة في الوسط (انظر الأمثلة أدناه). يؤكد المؤلفون أنه عند هذا المستوى من الإخفاء، تعمل جميع المشفرات البصرية تقريباً عشوائياً على ImageNet، مما يدل على أن الإشارة الدلالية قد تم قمعها بفعالية:

دقة التحقق من ImageNet كدالة لنسبة الإخفاء. عند إخفاء 90٪، تنخفض جميع النماذج إلى أداء شبه عشوائي في توقع التصنيف الدلالي، مما يشير إلى إزالة الإشارات الدلالية بفعالية. توضح الصور المثالية في الأسفل مستويات الإخفاء.

حتى مع إخفاء 90٪ من كل صورة، لا تزال معظم نماذج الرؤية-اللغة المتباينة ومشفّرات ConvNeXt الخاضعة للإشراف تتنبأ بتسميات متعلقة بالكاميرا بمستويات تفوق الصدفة بكثير. تجاوز العديد من نماذج CVL دقة 70٪ في التمييز بين الصور الملتقطة بهاتف ذكي وتلك الملتقطة بكاميرا غير ذكية.

المشفّرات الخاضعة للإشراف الأخرى، SigLIP، وجميع النماذج ذاتية الإشراف أدت أسوأ بكثير. عندما لم يُطبق أي إخفاء، أظهرت نماذج CVL مرة أخرى أقوى تجميع حسب نوع الكاميرا، مؤكدًا أن هذه النماذج تدمج معلومات الاكتساب بعمق أكبر من غيرها:

تصورات t‑SNE لاثنين من المشفرات البصرية، مع ألوان تشير إلى ما إذا كانت كل صورة قد تم التقاطها بهاتف ذكي أو بكاميرا غير ذكية.

الأهمية اللاحقة

بعد إثبات أن البيانات الوصفية تؤثر على النماذج بهذه الطريقة، تم تقييم ميل الآثار المخفية للمعالجة إلى التدخل في تفسير الصورة.

عندما تم معالجة نسختين من نفس الصورة بطرق مختلفة، غالبًا ما تم تنظيم التمثيلات وفقًا لـ نمط المعالجة بدلاً من المحتوى. في عدة حالات، تم اعتبار صورة كلب مضغوطة بشدة أكثر تشابهًا مع صورة غير ذات صلة تحمل نفس إعداد الضغط من نسختها غير المضغوطة:

تأثير معلمات المعالجة على التنبؤ الدلالي، مع عرض دقة التصنيف الدلالي لـ ImageNet (أعلى) و iNaturalist (أسفل) تحت خمس إعدادات للمعالجة. في الإعداد الأساسي، تشترك جميع صور التدريب والاختبار في نفس تسمية المعالجة؛ في إعداد all-diff، تستخدم صورة الاختبار قيمة معالجة غير موجودة في مجموعة التدريب؛ في إعداد pos-same و neg-same، يتم محاذاة تسمية المعالجة إما مع صور ذات محتوى دلالي مشابه أو مختلف؛ في الإعداد الموحد، تُوزع تسميات المعالجة عشوائيًا عبر مجموعة التدريب. تم الإبلاغ عن النتائج باستخدام k = 10 لـ ImageNet، و k = 1 لـ iNaturalist.

كانت أقوى التشوهات ناتجة عن ضغط JPEG، تلاها الشحذ وإعادة التحجيم، بينما أحدثت الاستيفاء تأثيرًا طفيفًا فقط. يؤكد المؤلفون أن هذه النتائج تُظهر أن آثار المعالجة يمكنها أن تتجاوز المعلومات الدلالية وتحدد كيفية فهم الصورة.

في الختام، يحذرون:

‘بينما حددنا أن تسميات البيانات الوصفية مشفرة في المشفرات البصرية الأساسية وقدّمنا إشارات حول الأسباب المحتملة، لا يمكننا تحديد مصدر المشكلة بشكل قاطع. إن التحقيق في ذلك أكثر صعوبة بسبب تكلفة إعادة تدريب هذه النماذج والاستخدام المتكرر لمجموعات بيانات خاصة وتفاصيل تنفيذ غير مكشوفة.’

‘على الرغم من أننا لا نقترح تقنيات تخفيف محددة، فإننا نسلط الضوء على المشكلة كمنطقة مهمة للبحث المستقبلي.’

الخاتمة

في الأدبيات يتزايد الاهتمام الجنائي بآثار وإشارات ‘الطريقة على المحتوى’؛ كلما كان من الأسهل تحديد مجال الإطار أو مجموعة بيانات معينة، كلما كان من الأسهل استغلال هذه المعلومات في شكل – على سبيل المثال – كواشف التزييف العميق، أو أنظمة مصممة لتصنيف أصل أو عمر البيانات والنماذج.

كل ذلك يتعارض مع الهدف الأساسي لتدريب نماذج الذكاء الاصطناعي، وهو أن المفاهيم المركزية المصفاة يجب أن تُنقّح بشكل مستقل عن وسائل الإنتاج، ولا ينبغي أن تحمل أي أثر لها. في الواقع، تمتلك مجموعات البيانات وأجهزة الالتقاط خصائص وسمات نطاقية لا يمكن فصلها فعليًا عن المحتوى، لأنها في حد ذاتها تمثل ‘منظورًا تاريخيًا’.

* الورقة مُنظمة بطريقة غير تقليدية، وسنحاول التكيف قدر الإمكان مع تنسيقها وعرضها غير المعتاد. تم نقل الكثير من المواد التي كان ينبغي أن تكون في قسم ‘الطريقة’ (غير موجود) إلى أجزاء مختلفة من الملحق، على الأرجح لتقليل حجم الورقة الرئيسية إلى ثماني صفحات – وإن كان ذلك على حساب كبير للوضوح. إذا فاتتنا أي فرصة لتحسين ذلك بسبب نقص الوقت، فنحن نعتذر.

نُشر أولاً يوم الأربعاء، 20 أغسطس 2025