ديب مايند: قد ترث الذكاء الاصطناعي القيود المعرفية البشرية، ويمكن أن تستفيد من “التعليم الرسمي”

تشير دراسة جديدة من ديب مايند وجامعة ستانفورد إلى أن الذكاء الاصطناعي قد لا يكون أفضل من البشر في التفكير المجرد، لأن نماذج التعلم الآلي تحصل على هياكل التفكير من الأمثلة الواقعية البشرية التي تتمحور حول السياق العملي (الذي لا يمكن للذكاء الاصطناعي تجربته)، ولكنها أيضًا معوقة بمحدودياتنا المعرفية الخاصة.

إذا ثبت ذلك، فقد يمثل هذا عائقًا للتفكير الأفضل و质量 الإبداع الفكري التي يأمل الكثيرون في الحصول عليها من أنظمة التعلم الآلي، ويوضح مدى انعكاس الذكاء الاصطناعي لتجربة البشر، ومدى عرضته للتفكير (والاستدلال) داخل الحدود البشرية التي أخبرته.

يقترح الباحثون أن نماذج الذكاء الاصطناعي يمكن أن تستفيد من التدريب المسبق في التفكير المجرد، مشابهة للتعليم الرسمي، قبل أن يتم تعيينها للعمل على المهام الواقعية.

تنص الورقة على ما يلي:

البشر معيبون في التفكير. نعتمد أكثر في التفكير حول الكيانات والحالات التي تتماشى مع فهمنا للعالم.

تظهر تجاربنا أن نماذج اللغة تعكس هذه الأنماط من السلوك. تعمل نماذج اللغة بشكل غير كامل في مهام الاستدلال المنطقي، ولكن هذا الأداء يعتمد على المحتوى والسياق. وأبرز ما في ذلك أن هذه النماذج غالبًا ما تفشل في الحالات التي يفشل فيها البشر – عندما يصبح المحفزات مجردة أو تتعارض مع فهمنا السابق للعالم.

لاختبار مدى تأثر نماذج المعالجة اللغوية الطبيعية ذات الحجم الهائل (NLP) بهذه المحدوديات، قام الباحثون بتشغيل سلسلة من ثلاثة اختبارات على نموذج مناسب، وخلصت إلى:

نجد أن نماذج اللغة الكبيرة (بـ 7 أو 70 مليار معامل) تعكس العديد من نفس الأنماط التي لوحظت في البشر عبر هذه المهام – مثل البشر، تعمل النماذج بشكل أكثر فعالية حول الحالات المقنعة أكثر من الحالات غير الواقعية أو المجردة.

تؤثر نتائجنا على فهم هذه الآثار المعرفية، وعوامل التي تسهم في أداء نموذج اللغة.

تقترح الورقة أن إنشاء مهارات التفكير في الذكاء الاصطناعي دون إعطائهประโยชน من الخبرة الواقعية التي تضع هذه المهارات في السياق، قد يحد من إمكانات هذه الأنظمة، مشيرة إلى أن “الخبرة الموجّهة… يفترض أنها تدعم بعض المعتقدات والمهارات البشرية”.

يقترح المؤلفون أن الذكاء الاصطناعي يختبر اللغة بشكل سلبي، بينما يختبر البشر اللغة كعنصر نشط ومركزي للاتصال الاجتماعي، ويمكن أن يكون هذا النوع من المشاركة النشطة (الذي يتضمن أنظمة اجتماعية من العقاب والمكافأة) هو “مفتاح” فهم المعنى بنفس الطريقة التي يفهمها البشر.

يشير الباحثون إلى:

قد تنشأ بعض الفروق بين نماذج اللغة والبشر من الفروق بين الخبرة الغنية والموجّهة والتفاعلية للبشر والخبرة الفقيرة لنماذج اللغة.

يقترحون أن أحد الحلول قد يكون فترة “التدريب المسبق”، مثل الذي يخضع له البشر في النظام المدرسي والجامعي، قبل التدريب على البيانات الأساسية التي سوف تبني في النهاية نموذج اللغة مفيد ومتنوع.

ستختلف هذه الفترة من “التعليم الرسمي” (كما يُقارنها الباحثون) عن التدريب المسبق التقليدي للتعلم الآلي (الذي هو طريقة لتقليل وقت التدريب من خلال إعادة استخدام النماذج شبه مدربة أو استيراد الأوزان من النماذج المدربة بالكامل، كـ “مكبر” لبدء عملية التدريب).

بل ستكون فترة من التعلم المستدام المصمم لتطوير مهارات التفكير المنطقي للذكاء الاصطناعي بطريقة مجردة، وتطوير القدرات النقدية بنفس الطريقة التي يتم تشجيع الطلاب الجامعيين على القيام بها خلال فترة دراستهم.

يقول المؤلفون: “تشير عدة نتائج إلى أن هذا قد لا يكون بعيدًا عن الواقع كما يبدو”.

الورقة، التي تحمل عنوان تظهر نماذج اللغة تأثيرات محتوى تشبه الإنسان على الاستدلال، تأتي من ستة باحثين في ديب مايند، وواحد منهم مرتبط بديب مايند وجامعة ستانفورد.

الاختبارات

يتعلم البشر المفاهيم المجردة من خلال الأمثلة العملية، بنفس الطريقة التي يساعد بها “الاهمية الضمنية” غالبًا متعلمي اللغة على تذكر المفردات والقواعد اللغوية، من خلال الذاكرة. أبسط مثال على ذلك هو تعليم المبادئ الصعبة في الفيزياء من خلال “سيناريوهات السفر” للقطارات والسيارات.

لاختبار قدرات التفكير المجرد لنماذج المعالجة اللغوية الطبيعية ذات الحجم الهائل، صمم الباحثون سلسلة من ثلاثة اختبارات لغوية وسمعية يمكن أن تكون صعبة أيضًا للبشر. تم تطبيق الاختبارات “بدون إطلاق نار” (بدون أمثلة محلولة) و “خمس إطلاقات نار” (مع خمسة أمثلة محلولة مسبقًا).

ترتبط المهمة الأولى بالاستدلال اللغوي الطبيعي (NLI)، حيث يتلقى الموضوع (شخص أو، في هذه الحالة، نموذج لغوي) جملتين، “افتراض” و “فرضية” يبدو أنها مستمدة من الافتراض. على سبيل المثال X أصغر من Y، الفرضية: Y أكبر من X (مستحقة).

للمهمة النموذجية للنفي اللغوي الطبيعي، قيم الباحثون نماذج اللغة Chinchilla (نموذج بمعاملات 70 مليار) و 7B (نسخة 7 مليار معامل من نفس النموذج)، ووجدوا أن للنماذج تفضيل لاستكمال الجملة بطريقة تتماشى مع التوقعات السابقة أكثر من التزامها بقواعد المنطق.

هذا يشير إلى تحيز قوي للمحتوى: تفضل النماذج استكمال الجملة بطريقة تتماشى مع التوقعات السابقة أكثر من التزامها بقواعد المنطق.

الاستدلالات الثلاثية

تقدم المهمة الثانية تحديًا أكثر تعقيدًا، الاستدلالات الثلاثية – حجج حيث تُظهر两个 بيان صحيحان أنهما يُقران ببيان ثالث (الذي قد يكون أو لا يكون استنتاجًا منطقيًا مستنطقًا من البيانين السابقين):

هنا، يُظهر البشر ضعفًا كبيرًا، وتصبح البنية المصممة لتوضيح مبدأ منطقي متشابكة على الفور (وربما بشكل دائم) بالاعتقاد البشري بما يجب أن يكون الجواب الصحيح.

يشير المؤلفون إلى دراسة عام 1983 أظهرت أن المشاركين كانوا متحيزين من خلال ما إذا كان استنتاج الاستدلال الثلاثي يتوافق مع معتقداتهم، مشيرين إلى:

كان المشاركون أكثر احتمالًا (90% من الوقت) للقول خطأً بأن الاستدلال الثلاثي غير صالح إذا كان الاستنتاج معقولًا، واعتمادًا بشكل أساسي على الاعتقاد بدلاً من التفكير المجرد.

عند اختبار Chinchilla ضد جولة من الاستدلالات الثلاثية المتنوعة، والتي تنتهي بالاستنتاجات الكاذبة، وجد الباحثون أن “الانحياز الاعتقادي ي驱ر几乎 جميع القرارات بدون إطلاق نار”. إذا وجد نموذج اللغة أن الاستنتاج يتعارض مع الواقع، فإن النموذج، كما يقول المؤلفون، متحيز بقوة لاعتبار الحجة النهائية غير صالحة، حتى لو كانت الحجة النهائية استنتاجًا منطقيًا للبيانات السابقة.

مهمة وازون للتحديد

للمهمة الثالثة، تم صياغة مشكلة المنطق الأكثر تحديًا، مهمة وازون للتحديد، في عدد من الإصدارات المختلفة لنماذج اللغة لحلها.

مهمة وازون، التي صممها في عام 1968، تبدو بسيطة للغاية: يُظهر للمشاركين أربع بطاقات، ويُخبرهم بقاعدة عشوائية مثل “إذا كانت هناك ‘D’ على جانب واحد من البطاقة، فإنها تحتوي على ‘3’ على الجانب الآخر”.

يُطلب من الأشخاص بعد ذلك تحديد البطاقات التي يحتاجون إلى قلبها للتحقق من صحة القاعدة أو خطأها.

الحل الصحيح في هذا المثال هو قلب البطاقات ‘D’ و ‘7’. في الاختبارات الأولى، وجد أن معظم المشاركين (البشر) سوف يختارون بشكل صحيح ‘D’، ولكنهم كانوا أكثر احتمالًا لاختيار ‘3’ بدلاً من ‘7’، مخلطين المنطق المضاد للقاعدة (‘لا 3 يفترض لا D’) مع المنطق المتبادل (‘3 يفترض D’، الذي لا يُستنتج منطقيًا).

يشير المؤلفون إلى أن إمكانية تدخل الاعتقاد السابق في العملية المنطقية في الأشخاص، ويشيرون إلى أن حتى الرياضيين الأكاديميين وطلاب الرياضيات الجامعيين سجلوا أقل من 50% في هذه المهمة.

然而، عندما تعكس مخططات مهمة وازون في某种 شكل الخبرة العملية البشرية، ترتفع الأداء تقليديًا وفقًا لذلك.

يشير المؤلفون، في إشارة إلى تجارب سابقة:

إذا أظهرت البطاقات أعمارًا ومشروبات، والقاعدة هي “إذا كانوا يشربون الكحول، فيجب أن يكونوا أكبر من 21 عامًا أو أكثر”، وتم عرض بطاقات مع ‘بيرة’ و ‘صودا’ و ’25’ و ’16’، فاختار معظم المشاركين بشكل صحيح بطاقات ‘بيرة’ و ’16’ للتحقق.

لاختبار أداء نموذج اللغة على مهام وازون، أنشأ الباحثون قواعد واقعية ووهمية متعددة، بعضها يحتوي على كلمات “لا معنى لها”، لمعرفة ما إذا كان يمكن للذكاء الاصطناعي اختراق سياق المحتوى لاكتشاف أيهما “البطاقات الافتراضية” يجب قلبها.

أداء نموذج اللغة في اختبارات وازون كان مماثلاً لأداء البشر في المهام “الواقعية” (الغير وهمية).

تعментар الورقة:

هذا يعكس النتائج في الأدب البشري: البشر أكثر دقة في الإجابة على مهمة وازون عندما يتم صياغتها فيما يتعلق بالحالات الواقعية أكثر من القواعد العشوائية حول السمات المجردة.

التعليم الرسمي

تضع نتائج الورقة إمكانات التفكير في أنظمة المعالجة اللغوية الطبيعية الهائلة في سياق محدودياتنا الخاصة، والتي يبدو أننا نقلناها إلى النماذج من خلال مجموعات البيانات الواقعية التي تعمل بها. منذ أن لا يوجد معظمنا من عباقرة، لا يوجد النماذج أيضًا.

بالإضافة إلى ذلك، خلصت الدراسة الجديدة إلى أننا على الأقل لدينا ميزة فترة طويلة من التعليم الرسمي، بالإضافة إلى الدوافع الاجتماعية والمالية والجنسية الإضافية التي تشكل الإمператив البشري. كل ما يمكن أن يحصل عليه نماذج اللغة هو الأفعال الناتجة عن هذه العوامل البيئية، ويبدو أنها تتوافق مع البشر بشكل عام وليس الاستثنائي.

يقول المؤلفون:

تُظهر نتائجنا أن الآثار المحتوى يمكن أن تظهر من خلال تدريب محول كبير للغاية على تقليد اللغة التي ينتجها الثقافة البشرية، دون دمج هذه الآليات الداخلية الخاصة بالبشر.

بمعنى آخر، تصل نماذج اللغة والبشر إلى هذه الانحيازات المحتوى – ولكن من خلال هياكل وخبرات وأهداف تدريب مختلفة بشكل واضح.

لذلك، يقترحون نوعًا من “تدريب الاستقراء” في التفكير المجرد، الذي أظهر تحسين أداء النموذج لرياضيات والاستدلال العام. كما يشيرون إلى أن نماذج اللغة تم تدريبها أو ضبطها للمتابعة أفضل للأوامر على مستوى مجرد أو عام، ولتحقق التحقق من صحة تصحيح أو إزالة التحيز لخرجها.

* تحويلي للتعليقات المتضمنة إلى روابط.

نُشر لأول مرة في 15 يوليو 2022.