قد تخفي أنظمة الصور الذكية ترتيب الصور حسب علامة الجهاز، لا المحتوى

تشير الأبحاث الجديدة إلى أن الأنظمة الشائعة التي تركز على الصور لا تنظر فقط إلى ما يوجد في الصورة، بل أيضًا إلى كيفية التقاط الصورة. يمكن أن تؤثر التفاصيل الخفية مثل نوع الكاميرا أو جودة الصورة بشكل خفي على ما تعتقد أنظمة الذكاء الاصطناعي أنها ترى، مما يؤدي إلى نتائج خاطئة – فقط لأن الصورة جاءت من جهاز مختلف.

في عام 2012، تم الكشف عن أن موقعًا لل여행 كان يظهر أسعارًا أعلى للمستخدمين الذين يمكن استنتاجهم على أنها تستخدم أجهزة أبل، مما يعادل علامة أبل مع قوة شرائية أعلى. خلصت التحقيق اللاحق إلى أن هذا التركيز على الجهاز قد أصبح شبه روتيني للمواقع التجارية الإلكترونية.

في modo مشابه، يمكن استنتاج نوع الهاتف الذكي أو جهاز التقاط الصورة الذي التقط صورة معينة عن طريق وسائل تحقيقية، بناءً على الخصائص المعروفة للعدسات في النماذج. في هذه الحالات، يتم تقدير نموذج جهاز التقاط عادةً عن طريق آثار بصرية؛ كما هو الحال في حادثة 2012، معرفة نوع الكاميرا التي التقطت الصورة هي سمة يمكن استغلالها.

على الرغم من أن أجهزة التقاط الصور عادةً ما تضم بيانات تعريفية مهمة في الصورة، يمكن للمستخدمين في بعض الأحيان تعطيل هذه الميزة؛ حتى عندما يتم تركها مفعلة، قد تقوم منصات التوزيع مثل شبكات التواصل الاجتماعي بإزالة بعض أو كل البيانات التعريفية، إما لأسباب логистية أو أسباب خصوصية، أو كليهما.

مع ذلك، يتم في كثير من الأحيان إعادة كتابة البيانات التعريفية في الصور المرفوعة من قبل المستخدمين أو تafsها (بدلاً من حذفها) أو تركها سليمة، كمصدر ثانوي للمعلومات حول كيفية التقاط الصورة، وليس حول ما يوجد في الصورة. كما كشفت الحالة في 2012، يمكن أن تكون معلومات من هذا النوع قيمة – ليس فقط لأنها منصات تجارية، ولكن أيضًا، بشكل محتمل، للمخترقين والممارسين السيئين.

منظورات مزدوجة

أظهرت دراسة جديدة مشتركة بين اليابان وجمهورية التشيك أن الآثار التي تتركها أجهزة الكاميرا ومعالجة الصور (مثل جودة JPEG أو تحسين العدسة) لا يتم الكشف عنها فقط بواسطة أدوات تحقيقية، ولكنها أيضًا مشفرة بشكل خفي في “الفهم العالمي” لأنظمة الرؤية الاصطناعية الرائدة.

تشمل هذه الأنظمة CLIP ومدمجة بصرية لغة أخرى، وهي تستخدم على نطاق واسع في كل شيء من محركات البحث إلى تحرير المحتوى. تظهر هذه الأعمال أن هذه النماذج لا تفسر فقط ما يوجد في الصورة، بل يمكنها أيضًا تعلم كيفية التقاط الصورة؛ وهذا الإشارة الخفية يمكن أن تؤثر في بعض الأحيان على المحتوى المرئي.

تم إنشاء قاعدة بيانات تسمى PairCams، تتكون من 730 زوجًا من الصور، تم التقاط كل زوج في نفس اللحظة باستخدام هاتف ذكي وكاميرا غير هاتف.

تم اختبار النماذج على قدرتها على استعادة كل إعداد تحويل باستخدام فقط محتوى الصورة، مع توجيه التنبؤات الناجحة إلى أن المدمج يحتفظ بمعلومات حول هذه الخيارات في تمثيله الداخلي.

لإختبار معلمات التقاط، قام الباحثون ببناء قاعدة بيانات تسمى FlickrExif، تحتوي على بيانات تعريفية محفوظة، وقاموا ببناء قاعدة بيانات أخرى تسمى PairCams.

تم اختبار النماذج على قدرتها على التنبؤ بمعلمات معالجة الصور، مثل ضغط JPEG وتنقية العدسة، مع توجيه التنبؤات الناجحة إلى أن المدمج يحتفظ بمعلومات حول هذه الخيارات في تمثيله الداخلي.

المنهج والبيانات

لاختبار تأثير البيانات التعريفية الخفية على مدمج بصرية، قام الباحثون بتقييم 47 مدمجًا بصرية شائعة في حالتها المجمدة والمدربة مسبقًا، بما في ذلك نماذج بصرية لغة مقارنة ومدمج ذاتي الإشراف.

للمعلمات المعالجة، قام الباحثون بتطبيق تحويلات خاضعة للسيطرة على مجموعات بيانات ImageNet وiNaturalist 2018، بما في ذلك ستة مستويات من ضغط JPEG وثلاثة إعدادات لتحسين العدسة وثلاثة مستويات لتحجيم الصور وأربعة طرق للتقريب.

تم اختبار النماذج على قدرتها على استعادة كل إعداد تحويل باستخدام فقط محتوى الصورة، مع توجيه التنبؤات الناجحة إلى أن المدمج يحتفظ بمعلومات حول هذه الخيارات في تمثيله الداخلي.

الاختبارات

لتحديد ما إذا كانت المعلومات حول معالجة الصور ونوع الكاميرا مشفرة في تمثيلات النماذج، قام الباحثون بتدريب تصنيف لتنبؤ بالبيانات التعريفية مباشرة من هذه التمثيلات.

إذا كان التصنيف يؤدي بشكل أسوأ من التخمين العشوائي، فسيُظهر ذلك أن تفاصيل معالجة أو جهاز لا يتم التقاطها من قبل النموذج.

أظهرت النتائج أن معظم نماذج بصرية لغة مقارنة ومدمج ذاتي الإشراف يمكنها التنبؤ بمعلمات معالجة الصور، مثل ضغط JPEG وتنقية العدسة، بشكل أفضل من التخمين العشوائي.

أهمية متدفقة

أظهرت النتائج أن معلمات معالجة الصور يمكن أن تؤثر على تفسير الصورة، حيث يمكن أن تؤدي إلى نتائج خاطئة في مهام مثل التصنيف أو استرجاع الصور.

يمكن أن تؤدي هذه النتائج إلى نتائج غير متوقعة في تطبيقات مثل تحليل الصور الطبية أو المراقبة.

الاستنتاج

أظهرت الدراسة أن أنظمة الصور الذكية يمكن أن تؤثر على ترتيب الصور حسب علامة الجهاز، لا المحتوى، مما يمكن أن يؤدي إلى نتائج خاطئة.

يجب على الباحثين والمطورين أن يأخذوا هذه النتائج في الاعتبار عند تصميم وتطوير أنظمة الصور الذكية.

* تم نشر هذه الدراسة لأول مرة يوم الأربعاء، 20 أغسطس 2025.