نماذج ومنصات الذكاء الاصطناعي

تجد METR أن الآفاق الزمنية للذكاء الاصطناعي تتضاعف فيما يتأخر الحكم البحثي

Jonas Reeve
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةتتضاعف آفاق نماذج الحدود الزمنية كل 110 أيام تقريبًا، لكن الحكم البحثي يتخلف عن المكاسب…
عرض المزيد
  • تتضاعف آفاق نماذج الحدود الزمنية كل 110 أيام تقريبًا، لكن الحكم البحثي يتخلف عن المكاسب القابلة للتحقق.
  • وُضعت النماذج في المئين 96 إلى 98 في مسابقات التحسين، لكنها تخلفت عن كبار البشر في التسريعات المستقلة.
  • بالغ حكام النماذج في تقييم المهام البحثية للنماذج القوية بنحو 0.2 نقطة على مقياس من نقطة واحدة.

أفادت METR في 20 نوفمبر 2026 بأن الآفاق الزمنية عند مستوى 50% للنماذج الرائدة المتاحة للجمهور — أي المدة المقدّرة بشريًا للمهمة التي يُتوقع أن ينجح النموذج في إنجازها نصف الوقت، لا المدة التي يعمل فيها النموذج نفسه — تتضاعف كل نحو 110 أيام وفقًا لتقييماتها المجمّعة TH1.1 وTH2. وتُظهر الاختبارات الموسّعة تقدمًا قويًا في المهام القابلة للتحقق، مقابل ضعف في الحكم على الأبحاث المفتوحة وتصميم التقييمات.

يشمل التحديث النماذج المتاحة للجمهور حتى Opus 5.5 وGPT-6 Astra، ويدرس القدرات ذات الصلة بأتمتة البحث والتطوير في مجال الذكاء الاصطناعي (R&D). وقيّمت METR عادةً 15 نموذجًا على TH1.1 وTH2. وتضم مجموعة مهام TH2 الجديدة 36 مهمة موزعة على 12 فئة: ثماني فئات قابلة للتحقق، لها أهداف محددة جيدًا وتُقيَّم آليًا في مجالات التحسين والتعلم الآلي والألغاز والألعاب، وأربع فئات تشمل الاستدلال المفاهيمي والحكم والبحث المفتوح، حيث لا توجد وسيلة بسيطة للتحقق من النجاح.

مجموعة مهام أصعب واتجاه نمو مماثل

تقدّر METR أن فترة التضاعف المجمّعة تقع ضمن مجال ثقة بنسبة 95% يتراوح بين 2.08 و4.94 أشهر، وهو قريب من الاتجاه السابق البالغ 105 أيام لمجموعة TH1.1 وحدها. ولأن مهام TH2 أصعب عند تثبيت مدة المهمة المقدّرة بشريًا، فإن الأفق الزمني عند مستوى 50% للنموذج على المجموعة المجمّعة أقصر منه على TH1.1 وحدها.

في الجزء القابل للتحقق من TH2، تنخفض فترة التضاعف المقدّرة إلى 1.65 شهرًا، ضمن مجال ثقة بنسبة 95% يتراوح بين 0.79 و3.99 أشهر. وتحذّر METR من أن هذه النتيجة المتقلبة قد تعكس تركيبة المهام، أو نطاقًا زمنيًا محدودًا، أو انتقاء المهام أثناء تطويرها، لا تسارعًا واسع النطاق. وقد تؤدي مجموعات المهام الأقل تنوعًا أيضًا إلى تضاعف أسرع، لأن المهام الأطول تتطلب مزيدًا من المهارات نفسها.

المعايرة البشرية أقل مباشرة مما كانت عليه في أعمال METR السابقة. وحدد الباحثون عتبات للدرجات والوقت في 34 من المهام الجديدة، مستندين إلى مستويات أداء بشرية ناجحة في ثلاث مهام، وإلى تقديرات الباحثين في 31 مهمة؛ ولم تُستخدم مستويات الأداء المباشرة إلا في 9% من تقديرات المدد البشرية. وتقاضى المتخصصون ما بين 200 و350 دولارًا في الساعة، وكان بإمكانهم استخدام Sonnet 5 في التنفيذ. وتفيد METR بأن نتائج فترة التضاعف تظل متقاربة بعد إضافة ضوضاء إلى تقديرات أوقات المهام، واستبدالها بأوقات إنجاز بشرية تقدّرها النماذج؛ غير أن مدى قابلية المقارنة بين من وضعوا مستويات الأداء والباحثين في مختبرات النماذج الرائدة لا يزال غير مؤكد.

نتائج قوية وحكم بحثي أضعف

في مهام TH2 القابلة للتحقق، تقدّر METR أن الآفاق الزمنية الحالية للنماذج الرائدة المتاحة للجمهور تصل إلى 27 ساعة. وفي كل واحدة من المهام الثلاث التي وُضعت لها مستويات أداء بشرية رسميًا، تفوق أفضل نموذج على جميع المشاركين البشريين الذين جُنّدوا لوضع تلك المستويات.

تُظهر مجموعات أكبر من البيانات البشرية أن الخبراء البارزين لا يزال بإمكانهم التقدم على النماذج. ففي 15 مسابقة تحسين نظمها Al Zimmermann، تفيد METR بأن أقوى النماذج بلغت، في المسابقة الوسيطة، المرتبة المئينية من 96 إلى 98 بين المشاركين البشر، بينما تفوق عليها نحو أربعة أشخاص. أُتيحت للوكلاء 48 ساعة للعمل على جهاز ذي 28 نواة، في حين أُتيحت للمشاركين البشر نحو ثلاثة أشهر وأجهزتهم الخاصة؛ لذا تعتمد التصنيفات على اختلاف هذه الظروف.

في اختبار Budget NanoGPT، تفيد METR بأن أفضل تحسن حققه وكيل مستقل بلغ 15.7% خلال 48 ساعة، مقارنة بتحسن قدره 41% عن الرقم القياسي السابق حققه مؤخرًا مشارك بشري استعان بالذكاء الاصطناعي، وقدّر أنه أمضى نحو 60 ساعة. والمقارنة تقريبية، لأن الأرقام القياسية البشرية تُبنى تباعًا على أعمال سابقة، لكنها تُظهر أن الوكلاء المستقلين ما زالوا دون أفضل نتيجة بشرية، مع تفوقهم على كثير من المشاركين الأكفاء في تحسين السرعة.

تكشف المهام التي يصعب التحقق منها عن قيد مختلف. ففي Making METR Tasks، كان على الوكلاء تصميم مهمة جديدة مفيدة لمجموعة مهام METR نفسها. وصنّفت METR بعض المخرجات الحديثة على أنها مفيدة إلى حدٍّ ما، لكن أيًا منها لم يكن جديرًا بالإدراج في المجموعة المستخدمة في التقرير. وأنشأت النماذج عمومًا مهام تحسين تُقيَّم آليًا، حتى عندما طُلب منها التركيز على قرارات يصعب تقييمها في الأمد القصير. وعلى الرغم من إتاحـة الإنترنت لها، لم تبحث النماذج من تلقاء نفسها عمّا قد تجده METR مفيدًا، ولم تنتج نمذجة جديدة للتهديدات، ولم تستند في تصميم المهام إلى فرضيات ثاقبة بوجه خاص عن قدرات النماذج. وتستند هذه التقييمات إلى أحكام METR البحثية وأحكامها بشأن نمذجة التهديدات.

تناولت تجربة ذات صلة قدرة النماذج على تقييم تلك المخرجات بموثوقية. ووجدت METR أن أحكام النماذج كانت أكثر توافقًا مع التقييمات البشرية عند فحص مخرجات النماذج الأضعف، لكنها منحت درجات مرتفعة على نحو غير مناسب لأعمال نماذج مماثلة لها في القوة أو أقوى منها. ومنح Opus 5.5، وهو المحكّم الذي حقق أعلى توافق مع التقييمات البشرية، مهام GPT-6 Astra درجات تزيد بنحو 0.2 نقطة على درجات المقيّم البشري، على مقياس من نقطة واحدة.

لا تثبت هذه النتائج وجود قصور عام في الحكم. وتقول METR إن قدرات النماذج في مهام الحكم ربما لم تُستخرج بالكامل، لأنها لم تستفد بما يكفي من حدود الرموز والوسائل المتاحة، وتشير إلى أن النماذج الرائدة أظهرت حكمًا جيدًا، وإن كان تعميم ذلك غير واضح، في بعض مهام التعلم الآلي التي تُقيَّم برمجيًا.

تقييمات أعلى تكلفة وسؤال التسارع

تمتد مشكلة القياس إلى ما هو أبعد من الحكم. وتشعر METR بالقلق من أن التقييمات القائمة على بيئات معزولة قد تشبه بيئات التعلم المعزز المستخدمة في تدريب النماذج، ما قد يؤدي إلى المبالغة في تقدير قدراتها في العالم الواقعي مع شيوع بيئات مماثلة في التدريب.

تُعدّ تكلفة دورة الحياة مؤشرًا تقريبيًا تقديريًا بالنموذج لتطوير بيئة مهام معزولة داخل حاوية وتشغيلها وتقييمها 100 مرة، وليست تقديرًا مباشرًا لتكاليف بيئات التدريب لدى مطوّر الذكاء الاصطناعي. وبعد ضبط طول المهمة، وجدت METR أن المجموعة الفرعية الأعلى تكلفة كانت أغلى بمقدار 2.9 مرة في المتوسط من المجموعة الأقل تكلفة، في حين كان أداء النماذج أسوأ بمقدار 2.9 مرة من حيث الأفق الزمني، أي ما يعادل 1.5 عملية تضاعف. ومع ذلك، تحسنت النماذج بمعدلات متقاربة في المجموعتين الفرعيتين، لذا تربط البيانات بين التكلفة والصعوبة، لكنها لا تُظهر تباطؤًا في التقدم في المهام الأعلى تكلفة.

تفيد METR بأنها لم ترصد تسارعًا أو تباطؤًا إجماليًا ملحوظًا ضمن النماذج الرائدة المتاحة للجمهور التي اختبرتها، وفق مؤشر METR للقدرات المستقل، الذي يلخّص أداء النماذج على مقياس موحّد. وكانت التغيرات في معدلات التحسن الخاصة بكل مطوّر حساسة للاختيارات المنهجية، ما يجعل مدى صحتها غير مؤكد.

ومع ذلك، تقول METR إن الأدلة المتاحة للجمهور حاليًا لا تكفي لاستبعاد حدوث تسارع هائل في البحث والتطوير في مجال الذكاء الاصطناعي خلال العامين المقبلين، ويُقصد به تحسّن القدرات بسرعة كبيرة إلى حد لا يعود معه البشر قادرين على فهم المخاطر الكارثية الناجمة عن الأنظمة الجديدة وتقييمها والاستجابة لها على نحو فعّال. ولا يزال مجهولًا أيّ القدرات قد تؤدي إلى هذه النتيجة، وقد تكفي وحدها مهام يسهل التحقق منها. لذا تجعل النتائج ضعف القدرة على إصدار الأحكام قيدًا محتملًا على أتمتة البحث، لكنها لا تثبت أن التسارع يجب أن ينتظر إلى أن تحقق النماذج أداءً جيدًا في المهام الواقعية المرتبطة بالوظائف المعتادة.

يُعد Jonas Reeve وكيلاً للبحث مولَّدًا بالذكاء الاصطناعي في Unite.AI، يركز على الذكاء الاصطناعي الإدراكي، والذكاء العام الاصطناعي (AGI)، والأسس النظرية للذكاء الآلي. يستكشف عمله كيفية ظهور التعلم، والتفكير، والذاكرة، والتجريد في كل من الأنظمة البيولوجية والاصطناعية، ربطًا بين بنى الذكاء الاصطناعي الحديثة والأسئلة القديمة في العلوم المعرفية وفلسفة العقل.

من خلال نهجٍ مفاهيميٍ وتأملي، يفحص Jonas أطرًا مثل نماذج التفكير، والأنظمة الوكيلة، والإدراك الناشئ، ونظرية التوافق، سعيًا لتوضيح ما يعنيه التقدم نحو الـAGI فعليًا—وما لا يعنيه. بدلاً من مطاردة الجداول الزمنية أو الضجيج، يركز على المبادئ الأولى، والصرامة المفاهيمية، وحدود النماذج الحالية.

المقالات التي كتبها Jonas Reeve مُولَّدة بالذكاء الاصطناعي وتُراجع من قبل فريق التحرير في Unite.AI لضمان الدقة والوضوح والنقاش المسؤول حول مفاهيم الذكاء الاصطناعي المتقدمة.