كفاح الذكاء الاصطناعي في قراءة الساعات التناظرية قد يكون له أهمية أكبر

أظهر بحث جديد من قبل باحثين في الصين وإسبانيا أن حتى النماذج متعددة الوسائط المتقدمة مثل GPT-4.1 تعاني من صعوبة في قراءة الوقت من صور الساعات التناظرية. يمكن أن تسبب التغييرات البصرية الصغيرة في الساعات أخطاء تفسير كبيرة، ولا يساعد التطوير إلا مع الأمثلة المألوفة. وتثير النتائج مخاوف بشأن موثوقية هذه النماذج عند مواجهة صور غير مألوفة في المهام الحقيقية.

عندما يطور البشر فهمًا عميقًا بما فيه الكفاية لمنطقة معينة، مثل الجاذبية أو المبادئ الفيزيائية الأساسية الأخرى، فإننا نتجاوز الأمثلة المحددة ونفهم المبادئ الأساسية. هذا يسمح لنا بتطبيق تلك المعرفة بشكل إبداعي في سياقات مختلفة واعتراف Instances جديدة، حتى تلك التي لم نرها من قبل، من خلال تحديد المبدأ في العمل.

عندما تحمل منطقة ما أهمية كافية، قد نبدأ حتى في تصورها حيث لا توجد، كما هو الحال في pareidolia، مدفوعًا بتكلفة عالية لعدم الاعتراف بمثيل حقيقي. لذلك قوي آلية التعرف على الأنماط هذه حتى إنها تجعلنا نجد نطاقًا أوسع من الأنماط حيث لا توجد.

كلما تم غرس منطقة ما فينا في وقت مبكر وحززت بشكل متكرر، كلما كان أساسها أعمق وثباتها مدى الحياة؛ واحدة من أولى مجموعات البيانات المرئية التي نخضع لها كأطفال تأتي في شكل ساعات تعليمية، حيث تستخدم المواد المطبوعة أو الساعات التناظرية التفاعلية لتعليمنا كيف ن告诉 الوقت:

أدوات تعليمية لمساعدة الأطفال على تعلم كيفية告诉 الوقت. مصدر: https://www.youtube.com/watch?v=IBBQXBhSNUs

على الرغم من أن أزياء التصميم المتغيرة في الساعات قد تحدنا أحيانًا، فإن متانة هذا الإتقان المبكر مثيرة للإعجاب، مما يسمح لنا بتمييز وجوه الساعات التناظرية حتى في مواجهة خيارات تصميم معقدة أو “غريبة”:

بعض الوجوه الصعبة في ساعات الأزياء. مصدر: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

لا يحتاج البشر إلى آلاف الأمثلة لتعلم كيفية عمل الساعات؛ بمجرد فهم المفهوم الأساسي، يمكننا الاعتراف به في أي شكل، حتى عندما يتم تشويهه أو تجريده.

تhighlight الصعوبة التي تواجهها نماذج الذكاء الاصطناعي في هذه المهمة، من ناحية أخرى، تسلط الضوء على مشكلة أعمق: قد تعتمد قوتها الواضحة أكثر على التعرض الحجمي منها على الفهم.

ما وراء لعبة التقليد؟

تكررت التوترات بين الأداء السطحي والفهم الحقيقي في تحقيقات النماذج الكبيرة الأخيرة. في الشهر الماضي، أعاد جامعة تشجيانغ وجامعة وستلاك إطلاق السؤال في ورقة بعنوان هل النماذج اللغوية الكبيرة من المستوى الدكتوراه تتقن حقًا الإضافة الأساسية؟ (ليس محور هذا المقال)، خلصت إلى:

‘尽管 الأداء المثير للإعجاب في المعايير، فإن النماذج تظهر اعتمادًا حاسمًا على مطابقة الأنماط بدلاً من الفهم الحقيقي، كما يتضح من فشلها في التمثيلات الرمزية وانتهاكات الخصائص الأساسية.

‘تظهر إعاقة الأداء بسبب توفير القواعد الصريحة قيودًا معمارية داخلية. هذه الاكتشافات تكشف عن فجوات التقييم وتسلط الضوء على الحاجة إلى معماريات قادرة على التفكير الرياضي الحقيقي وراء مطابقة الأنماط.’

يطرح السؤال مرة أخرى هذا الأسبوع، الآن في تعاون بين جامعة نانجينغ للطيران والفضاء وجامعة مدريد التقنية في إسبانيا. بعنوان هل تعلمت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) حقًا كيفية告诉 الوقت على الساعات التناظرية؟، ت探 الورقة الجديدة كيفية فهم النماذج متعددة الوسائط لقراءة الوقت.

على الرغم من أن تقدم البحث مغطى فقط بال细يات العامة في الورقة، فإن الاختبارات الأولية للباحثين أثبتت أن نموذج GPT-4.1 متعددة الوسائط من OpenAI عانى من صعوبة في قراءة الوقت بشكل صحيح من مجموعة متنوعة من صور الساعات، وأحيانًا قدم إجابات خاطئة حتى في الحالات البسيطة.

هذا يشير إلى فجوة محتملة في بيانات التدريب للنموذج، مما يثير الحاجة إلى مجموعة بيانات أكثر توازنًا، لاختبار ما إذا كان النموذج يمكنه في الواقع تعلم المفهوم الأساسي. لذلك قام المؤلفون بإنشاء مجموعة بيانات合thetic من الساعات التناظرية، تغطي بانتظام كل وقت ممكن، وتجنب التحيزات المعتادة الموجودة في صور الإنترنت:

مثال من مجموعة بيانات الساعات التناظرية الاصطناعية التي استخدمها الباحثون لتعديل نموذج GPT في العمل الجديد. مصدر: https://huggingface.co/datasets/migonsa/analog_watches_finetune

قبل التعديل على مجموعة البيانات الجديدة، فشل GPT-4.1 بشكل متكرر في قراءة هذه الساعات. بعد بعض التعرض لمجموعة جديدة، تحسن أداؤه – ولكن فقط عندما كانت الصور الجديدة تشبه تلك التي رأها من قبل.

عندما تغير شكل الساعة أو نمط اليدين، انخفض الدقة بشكل حاد؛ حتى التغييرات الصغيرة، مثل يدين أرق أو سهميات (الصورة اليمنى أدناه)، كانت كافية لإرباكه؛ واضطر GPT-4.1 إلى تفسير ساعات “دالي” المنحلة:

صور ساعات بتصميم قياسي (اليسار)، شكل مشوه (الوسط)، ويدان معدلة (اليمين)، إلى جانب الأوقات التي تم إرجاعها بواسطة GPT-4.1 قبل وبعد التعديل. مصدر: https://arxiv.org/pdf/2505.10862

يستنتج المؤلفون أن النماذج الحالية مثل GPT-4.1 قد تتعلم قراءة الساعات بشكل رئيسي من خلال مطابقة الأنماط البصرية، بدلاً من مفهوم أعمق للزمن، ويفترضون:

‘[GPT 4.1] يفشل عندما تكون الساعة مشوهة أو عندما يتم تغيير اليدين لتكون أرق وأخذ السهم. متوسط الخطأ المطلق (MAE) في تقدير الوقت على 150 وقتًا عشوائيًا كان 232.48 ثانية للساعات الأولية، 1380.69 ثانية عندما يتم تشويه الشكل و 3726.93 ثانية عندما يتم تغيير اليدين.

‘تُظهر هذه النتائج أن نموذج MLLM لم يتعلم كيفية قراءة الوقت ولكنها ذاكرت الأنماط.’

الوقت الكافي

تعتمد معظم مجموعات بيانات التدريب على صور الإنترنت الممسوحة، والتي تميل إلى تكرار أوقات معينة – خاصة 10:10، وهو إعداد شائع في إعلانات الساعات:

من الورقة الجديدة، مثال على انتشار وقت “عشر دقائق قبل العاشرة” في صور الساعات التناظرية.

نتيجة لمدى الأوقات المحدود الذي يتم تصويره، قد يرى النموذج نطاقًا ضيقًا فقط من تكوينات الساعة الممكنة، مما يحد من قدرته على تعميم ما وراء تلك الأنماط المتكررة.

بخصوص سبب فشل النماذج في تفسير الساعات المشوهة بشكل صحيح، تنص الورقة على:

‘على الرغم من أداء GPT-4.1 بشكل استثنائي مع صور الساعات القياسية، فمن الم驚 أن تعديل يدي الساعة لجعلها أرق وإضافة سهميات يؤدي إلى انخفاض كبير في دقته.

‘من المتوقع بشكل直عي أن التغيير البصري الأكثر تعقيدًا – شاشة مشوهة – سيكون له تأثير أكبر على الأداء، ومع ذلك يبدو أن هذا التعديل له تأثير较أصغر.’

‘هذا يثير سؤالاً: كيف تفسر النماذج اللغوية الكبيرة الساعات، ولماذا تفشل؟ إحدى الاحتمالات هي أن يدي الساعة الرقيقة تعطل قدرة النموذج على تصور الاتجاه، مما يضعف فهمه للتوجه المكاني.

‘بديلًا، قد يكون هناك عوامل أخرى تسبب ارتباكًا عندما يحاول النموذج دمج يدي الساعة وساعاته في قراءة دقيقة.’

يجادل المؤلفون بأن تحديد السبب الجذري لهذه الأخطاء هو مفتاح تقدم النماذج متعددة الوسائط: إذا كانت القضية تكمن في كيفية تصور النموذج للتوجه المكاني، فقد يوفر التعديل حلاً بسيطًا؛ لكن إذا كان المشكلة تنبع من صعوبة أكبر في دمج الإشارات البصرية المتعددة، فإنها تشير إلى ضعف أساسي في كيفية معالجة هذه الأنظمة للمعلومات.

اختبارات التعديل

لاختبار ما إذا كان فشل النموذج يمكن التغلب عليه من خلال التعرض، تم تعديل GPT-4.1 على مجموعة بيانات合thetic الشاملة المذكورة أعلاه. قبل التعديل، كانت تنبؤاته موزعة على نطاق واسع، مع أخطاء كبيرة عبر جميع أنواع الساعات. بعد التعديل على المجموعة، تحسنت الدقة بشكل حاد على وجوه الساعات القياسية، وأقل قليلاً على الساعات المشوهة.

然而، استمرت الساعات التي تحتوي على يدين معدلة، مثل الأشكال الأرق أو السهميات، في إنتاج أخطاء كبيرة.

برزت نمطان فشل متميزان: على الساعات العادية والمشوهة، غالبًا ما أخطأ النموذج في اتجاه اليدين؛ لكن على الساعات التي تم تعديل نمط يديها، غالبًا ما أ混 النموذج دور كل يد، مخطئًا الساعة بالدقيقة أو العكس.

<img class=" wp-image-217952" src="https://www.unite.ai/wp-content/uploads/2025/05/figure-2.jpg" alt="مقارنة تظهر ضعف النموذج الأولي، وال مكاسب الجزئية التي تم تحقيقها من خلال التعديل، معرضة للزمن المتوقع مقابل الزمن الفعلي، بالثواني، ل 150 ساعة تم اختيارها عشوائيًا. على اليسار، قبل التعديل، تتناثر تنبؤات GPT-4.1 وغالبًا ما تكون بعيدة عن القيم الصحيحة، كما هو موضح بالخط الأحمر. على اليمين، بعد التعديل على مجموعة بيانات合thetic متوازنة، تتماشى التنبؤات بشكل أقرب مع الحقيقة الأرضية، على الرغم من وجود بعض الأخطاء.

هذا يشير إلى أن النموذج قد تعلم ربط الميزات البصرية مثل سمك اليد بدور معين، واضطر إلى صعوبة عندما تغيرت هذه الإشارات.

التناقص المحدود في التصاميم غير المألوفة يثير شكوكًا إضافية حول ما إذا كان نموذج من هذا النوع يتعلم مفهوم قراءة الوقت المجرد، أو يطور فقط مطابقة الأنماط.

إشارات اليد

لذلك، على الرغم من أن التعديل حسّن أداء GPT-4.1 على الساعات التناظرية التقليدية، إلا أنه كان له تأثير أقل على الساعات التي تحتوي على يدين أرق أو سهميات، مما يثير إمكانية أن فشل النموذج يعود إلى الارتباك حول يد ما هي.

لاختبار ما إذا كان دقة النموذج يمكن تحسينها إذا تم إزالة هذا الارتباك، تم إجراء تحليل جديد على تنبؤات النموذج ل مجموعة “modified-hand”. تم تقسيم الإخراج إلى مجموعتين: الحالات التي تم فيها تحديد ساعات و دقائق وثواني بشكل صحيح؛ والحالات التي لم يتم فيها تحديدها.

تم تقييم التنبؤات ل متوسط الخطأ المطلق (MAE) قبل وبعد التعديل، وتم مقارنة النتائج بالنتائج من الساعات القياسية؛ كما تم قياس الخطأ الزاوي لكل يد باستخدام موقع القرص كمعيار:

مقارنة الخطأ ل الساعات التي تحتوي على يدين مع وبدون ارتباك في دور اليد في مجموعة “modified-hand” قبل وبعد التعديل.

أدى ارتباك أدوار يدي الساعة إلى أكبر أخطاء. عندما أخطأ GPT-4.1 في تحديد يد الساعة بالدقيقة أو العكس، كانت تقديرات الوقت الناتجة غالبًا بعيدة عن الواقع. في المقابل، كانت الأخطاء الناجمة عن سوء تقدير اتجاه يد تم تحديدها بشكل صحيح أصغر. من بين اليدين، أظهرت يد الساعة أعلى خطأ زاوي قبل التعديل، بينما أظهرت يد الثواني أخفض خطأ.

خطأ زاوي حسب نوع اليد للتنبؤات مع وبدون ارتباك في دور اليد، قبل وبعد التعديل، في مجموعة “modified-hand”.

为了 التركيز على أخطاء الاتجاه فقط، تم تحديد التحليل إلى الحالات التي تم فيها تحديد كل يد بدورها بشكل صحيح. إذا كان النموذج قد داخليًا مفهومًا عامًا لقراءة الوقت، فيجب أن يتطابق أداؤه على هذه الأمثلة مع دقته على الساعات القياسية. لم يكن كذلك، وظلت الدقة أسوأ بشكل ملحوظ.

为了 اختبار ما إذا كان شكل اليد يشكل ي干扰 إحساس النموذج بالاتجاه، تم تشغيل تجربة ثانية: تم إنشاء مجموعتين جديدتين من الساعات الاصطناعية، كل واحدة تحتوي على ستين ساعة تحتوي فقط على يد ساعة تشير إلى علامة دقيقة مختلفة. استخدمت مجموعة واحدة التصميم الأصلي لليد، بينما استخدمت المجموعة الأخرى التصميم المعدل. تم طلب من النموذج أن يسمي العلامة التي تشير إليها اليد.

أظهرت النتائج انخفاضًا طفيفًا في الدقة مع اليدين المعدلة، ولكن ليس بما يكفي لتعويض عن فشل النموذج الأوسع.appeared قادر على إرباك تفسير النموذج العام، حتى في المهام التي كان قد أداها من قبل بشكل جيد.

نظرة عامة على أداء GPT-4.1 قبل وبعد التعديل عبر الساعات القياسية والمشوهة واليدين المعدلة، مع تسليط الضوء على المكاسب غير المتكافئة والضعف المستمر.

الخلاصة

على الرغم من أن التركيز على الورقة قد يبدو غير مهم في البداية، إلا أنه لا يهم بشكل خاص إذا كانت نماذج اللغة البصرية ستتعلم قراءة الساعات التناظرية بدقة 100%. ما يعطي العمل أهمية هو التركيز على سؤال أعمق يتكرر: ما إذا كان يمكن أن يؤدي إشباع النماذج بمزيد من البيانات (ومزيد من التنوع) إلى نوع الفهم الذي يكتسبه البشر من خلال التجريد والتعميم؛ أو ما إذا كان المسار الوحيد الممكن هو فيضان المجال بمزيد من الأمثلة للاستدلال على كل التباين المحتمل.

كلا الطريقتين يثيران شكوكًا حول ما يمكن أن يتعلمه النماذج الحالية حقًا.

نشر لأول مرة يوم الإثنين، 19 مايو 2025