قادة الفكر
فشل النماذج اللغوية الكبيرة في الرياضيات وكيفية حلها
أضف Unite.AI إلى مصادرك المفضلة على Google
لقد مثلت الرياضيات دائمًا تحديًا كبيرًا للنماذج الذكية. يتطلب التمكن من الرياضيات مهاراتreasoning معقدة، وهذا المهمة ليس بالأمر البسيط بالنسبة للنماذج الذكية. هذا يخلق مشكلة كبيرة بالنظر إلى أهمية الإتقان الرياضي للنجاح المهني والشخصي والأكاديمي.
على الرغم من قدراتها الرائعة، غالبًا ما تعاني النماذج اللغوية الكبيرة من الصعوبات في المهام الرياضية المعقدة، مثل الهندسة، التي تتطلب مهاراتreasoning متقدمة. هذا يطرح علينا السؤال الحاسم: كم من قدرة نموذج الذكاء الاصطناعي على الرياضيات يأتي منreasoning حقيقي مقابل مجرد تذكر البيانات المدربة؟
أظهرت الدراسات الحديثة من شركة آبل أن حتى النماذج الأكثر تطورًا لا تعمل بالكامل بالreasoning عند التركيز على مشاكل الكلمات الرياضية في المدرسة الابتدائية.
أضافت فرقة البحث والتطوير في MathGPT.ai光ًا جديدًا على مجالات الجبر إلى الرياضيات على مستوى الكالسيوم التي تحتاج إلى تحسين أكبر.
استكشفت هذه البيانات كيف تؤثر التغييرات في سياق المشكلة واللغة على أداء النموذج عبر نماذج لغة مختلفة، بما في ذلك نموذج o1-preview و o1-mini من OpenAI. وأظهرت النتائج اتجاهًا مثيرًا للقلق: انخفضت الدقة باستمرار مع انحراف المشاكل عن الأسئلة الأصلية المتاحة في بيانات التدريب للنماذج، مع انخفاض الأداء بشكل حاد على معايير رياضية أكثر تحديًا أعلى مستوى الرياضيات في المدرسة الابتدائية.
مأزق الاستدعاء والاستنتاج
ركزت الدراسة على ثلاثة عوامل رئيسية:
- استخدام معايير رياضية أكثر تحديًا من الرياضيات في المدرسة الابتدائية
- استكشاف “دفعة واحدة” مع قرب شديد من مشكلة الاختبار
- تنفيذ استراتيجية “أفضل من n” لمحاولات n لمشكلة واحدة – بشكل فعال تصويت الأغلبية لإlimination الشوائب الإحصائية، في وقت الاستدلال.
كانت النتائج مثيرة للاهتمام ومثيرة للقلق. تم دفع حدود تباين المشكلة، مما أظهر انخفاضًا مستمرًا في أداء نموذج الذكاء الاصطناعي مع زيادة تعقيد المعادلات الرياضية.
تحدي مجموعة بيانات الرياضيات
تم نشر مجموعة بيانات الرياضيات، المعروفة بمشاكل المدرسة الثانوية الصعبة، على عكس مجموعة بيانات الرياضيات في المدرسة الابتدائية، التي تحتوي على 8,500 مشكلة لغوية متنوعة على مستوى المدرسة الابتدائية. تقدم مجموعة بيانات الرياضيات أسئلة أكثر تحديًا على مستوى المدرسة الثانوية لاختبار أداء النموذج عبر مستويات صعوبة مختلفة، من الجبر إلى نظرية الأعداد. سمح هذا الاختيار ل MathGPT.ai بفحص أداء النموذج عبر مستويات صعوبة مختلفة.
في الاختبار، بينما ظلت القيم العددية والإجابات النهائية غير متغيرة، قمنا بتغيير اللغة والمتغيرات والسياق للمشاكل. على سبيل المثال، قد يتم تحويل سيناريو “كلب يمشي” إلى مشكلة “غسالة أطباق”. ساعدت هذه الطريقة على التقليل من تعقيد مجموعة بيانات الرياضيات بينما لا تزال تحدي قدراتreasoning للنماذج.
نتائج مثيرة
كانت النتائج مثيرة. حتى النماذج الأكثر تطورًا عانت عندما واجهت تنوعًا في المشاكل التي قد واجهوها في بيانات التدريب. على سبيل المثال، انخفضت دقة نموذج o1-mini من 93.66% على الأسئلة الأصلية إلى 88.54% على التحدي الأكثر صعوبة. واجه نموذج o1-preview انخفاضًا مشابهًا، حيث انخفض من 91.22% إلى 82.93% – انخفاض حاد بما فيه الكفاية لتحديد الفجوات الحاسمة في متانتهم.
تتوافق هذه النتائج مع البحوث السابقة لشركة آبل، وتظهر أن قيودreasoning الرياضية في الذكاء الاصطناعي تصبح أكثر وضوحًا مع زيادة تعقيد المشاكل وتطلب فهمًا أعمق بدلاً من التعرف على الأنماط.
الطريق إلى الأمام
مع استمرارنا في دفع حدودreasoning النماذج اللغوية الكبيرة، من المهم أن ندرك إمكانياتها الرائعة وقيودها الحالية. تؤكد الأبحاث الجديدة على الحاجة إلى استمرار الابتكار في تطوير نماذج الذكاء الاصطناعي القادرة على التحرك بعيدًا عن التعرف على الأنماط لتحقيق مهارات حل المشاكل الأكثر متانة وعمومية.
يأتي هذا في وقت حرج، خاصة في التعليم العالي، حيث يتم استخدام الذكاء الاصطناعي بشكل أكبر كمساعد للمعلم في الفصل الدراسي، بينما تواجه المدارس أيضًا معدلات فشل عالية بين طلاب الرياضيات الذين لا يستعدون لدوراتهم.
تحقيق القدرات الإدراكية البشرية أو الذكاء العام في الذكاء الاصطناعي يتطلب ليس فقط التطورات التكنولوجية ولكن أيضًا فهمًا دقيقًا لكيفية جسر الفجوة بين الاستدعاء والreasoning الحقيقي.
إذا كنا ناجحين في هذا المسار، أنا واثق من أننا يمكن أن تغيير حياة ملايين الطلاب والمحترفين لتضع حياتهم على مسار جديد تمامًا.
