زاوية Anderson
ديب مايند: قد يرث الذكاء الاصطناعي القيود المعرفية البشرية ويستفيد من التعليم النظامي

النقاط الرئيسيةتظهر ديب مايند وجامعة ستانفورد أن الذكاء الاصطناعي يعكس التحيز البشري في المعتقدات عند…
عرض المزيد
- تظهر ديب مايند وجامعة ستانفورد أن الذكاء الاصطناعي يعكس التحيز البشري في المعتقدات عند أداء مهام التفكير المنطقي.
- تواجه نماذج اللغة صعوبة في المنطق المجرد ولكنها تؤدي أداءً جيدًا في مهام اختيار ويسون الواقعية.
- يقترح الباحثون تدريبًا مسبقًا على غرار التعليم الرسمي لتحسين مهارات التفكير المجرد للذكاء الاصطناعي.
تشير دراسة جديدة من ديب مايند وجامعة ستانفورد إلى أن الذكاء الاصطناعي قد لا يكون أفضل من البشر في التفكير المجرد، لأن نماذج التعلم الآلي تحصل على هياكل التفكير من الأمثلة الواقعية البشرية التي تتمحور حول السياق العملي (الذي لا يمكن للذكاء الاصطناعي تجربته)، ولكنها أيضًا معوقة بمحدودياتنا المعرفية الخاصة.
إذا ثبت ذلك، فقد يمثل هذا عائقًا للتفكير الأفضل وجودة الإبداع الفكري التي يأمل الكثيرون في الحصول عليها من أنظمة التعلم الآلي، ويوضح مدى انعكاس الذكاء الاصطناعي لتجربة البشر، ومدى عرضته للتفكير (والاستدلال) داخل الحدود البشرية التي شكّلته.
يقترح الباحثون أن نماذج الذكاء الاصطناعي يمكن أن تستفيد من التدريب المسبق في التفكير المجرد، مشابهة للتعليم الرسمي، قبل أن يتم تعيينها للعمل على المهام الواقعية.
تنص الورقة على ما يلي:
البشر معيبون في التفكير. نعتمد أكثر في التفكير حول الكيانات والحالات التي تتماشى مع فهمنا للعالم.
تظهر تجاربنا أن نماذج اللغة تعكس هذه الأنماط من السلوك. تعمل نماذج اللغة بشكل غير كامل في مهام الاستدلال المنطقي، ولكن هذا الأداء يعتمد على المحتوى والسياق. وأبرز ما في ذلك أن هذه النماذج غالبًا ما تفشل في الحالات التي يفشل فيها البشر – عندما تصبح المحفزات شديدة التجريد أو تتعارض مع فهمنا السابق للعالم.
لاختبار مدى تأثر نماذج المعالجة اللغوية الطبيعية ذات الحجم الهائل (NLP) بهذه المحدوديات، قام الباحثون بتشغيل سلسلة من ثلاثة اختبارات على نموذج مناسب، وخلصت إلى:
نجد أن نماذج اللغة الكبيرة (بـ 7 أو 70 مليار معامل) تعكس العديد من نفس الأنماط التي لوحظت في البشر عبر هذه المهام – مثل البشر، تعمل النماذج بشكل أكثر فعالية حول الحالات المقنعة أكثر من الحالات غير الواقعية أو المجردة.
تؤثر نتائجنا على فهم هذه الآثار المعرفية، وعوامل التي تسهم في أداء نموذج اللغة.
تقترح الورقة أن إنشاء مهارات التفكير في الذكاء الاصطناعي دون إعطائه فائدة الخبرة الواقعية التي تضع هذه المهارات في السياق، قد يحد من إمكانات هذه الأنظمة، مشيرة إلى أن “الخبرة المرتبطة بالعالم الواقعي… تدعم على الأرجح بعض المعتقدات والاستدلالات البشرية”.
يقترح المؤلفون أن الذكاء الاصطناعي يختبر اللغة بشكل سلبي، بينما يختبر البشر اللغة كعنصر نشط ومركزي للاتصال الاجتماعي، ويمكن أن يكون هذا النوع من المشاركة النشطة (الذي يتضمن أنظمة اجتماعية من العقاب والمكافأة) هو “مفتاح” فهم المعنى بنفس الطريقة التي يفهمها البشر.
يشير الباحثون إلى:
قد تنشأ بعض الفروق بين نماذج اللغة والبشر من الفروق بين الخبرة الغنية والموجّهة والتفاعلية للبشر والخبرة الفقيرة لنماذج اللغة.
يقترحون أن أحد الحلول قد يكون فترة “التدريب المسبق”، مثل الذي يخضع له البشر في النظام المدرسي والجامعي، قبل التدريب على البيانات الأساسية التي سوف تبني في النهاية نموذج اللغة مفيد ومتنوع.
ستختلف هذه الفترة من “التعليم الرسمي” (كما يُقارنها الباحثون) عن التدريب المسبق التقليدي للتعلم الآلي (الذي هو طريقة لتقليل وقت التدريب من خلال إعادة استخدام النماذج شبه مدربة أو استيراد الأوزان من النماذج المدربة بالكامل، كـ “مكبر” لبدء عملية التدريب).
بل ستكون فترة من التعلم المستدام المصمم لتطوير مهارات التفكير المنطقي للذكاء الاصطناعي بطريقة مجردة، وتطوير القدرات النقدية بنفس الطريقة التي يتم تشجيع الطلاب الجامعيين على القيام بها خلال فترة دراستهم.
يقول المؤلفون: “تشير عدة نتائج إلى أن هذا قد لا يكون بعيدًا عن الواقع كما يبدو”.
الورقة، التي تحمل عنوان تظهر نماذج اللغة تأثيرات محتوى تشبه الإنسان على الاستدلال، تأتي من ستة باحثين في ديب مايند، وباحث آخر مرتبط بديب مايند وجامعة ستانفورد.
الاختبارات
يتعلم البشر المفاهيم المجردة من خلال الأمثلة العملية، بنفس الطريقة التي يساعد بها “الاهمية الضمنية” غالبًا متعلمي اللغة على تذكر المفردات والقواعد اللغوية، من خلال الذاكرة. أبسط مثال على ذلك هو تعليم المبادئ الصعبة في الفيزياء من خلال “سيناريوهات السفر” للقطارات والسيارات.
لاختبار قدرات التفكير المجرد لنماذج المعالجة اللغوية الطبيعية ذات الحجم الهائل، صمم الباحثون سلسلة من ثلاثة اختبارات لغوية ودلالية يمكن أن تكون صعبة أيضًا للبشر. تم تطبيق الاختبارات “zero-shot” (بدون أمثلة محلولة) و “five-shot” (مع خمسة أمثلة محلولة مسبقًا).
ترتبط المهمة الأولى بالاستدلال اللغوي الطبيعي (NLI)، حيث يتلقى الموضوع (شخص أو، في هذه الحالة، نموذج لغوي) جملتين، “افتراض” و “فرضية” يبدو أنها مستمدة من الافتراض. على سبيل المثال X أصغر من Y، الفرضية: Y أكبر من X (مستلزمة منطقيًا).
لمهمة الاستدلال باللغة الطبيعية، قيم الباحثون نماذج اللغة Chinchilla (نموذج بمعاملات 70 مليار) و 7B (نسخة 7 مليار معامل من نفس النموذج)، ووجدوا أن النموذج الأكبر Chinchilla وحده حقق نتائج أفضل من الصدفة في الأمثلة المتسقة، أي غير العبثية، ولاحظوا ما يلي.
هذا يشير إلى تحيز قوي للمحتوى: تفضل النماذج استكمال الجملة بطريقة تتماشى مع التوقعات السابقة أكثر من التزامها بقواعد المنطق.

أداء Chinchilla ذي 70 مليار معامل في مهمة NLI. أظهر هذا النموذج ونسخته الأصغر 7B انحيازًا اعتقاديًا كبيرًا بحسب الباحثين. المصدر: https://arxiv.org/pdf/2207.07051.pdf
الاستدلالات الثلاثية
تقدم المهمة الثانية تحديًا أكثر تعقيدًا، الاستدلالات الثلاثية – حجج حيث تبدو عبارتان صحيحتان وكأنهما تستلزمان عبارة ثالثة (الذي قد يكون أو لا يكون استنتاجًا منطقيًا مستنطقًا من البيانين السابقين):

من مواد اختبار الورقة: قياسات منطقية متنوعة واقعية أو متناقضة أو عديمة المعنى.
هنا، يُظهر البشر ضعفًا كبيرًا، وتصبح البنية المصممة لتوضيح مبدأ منطقي متشابكة على الفور (وربما بشكل دائم) بالاعتقاد البشري بما يجب أن يكون عليه الجواب الصحيح.
يشير المؤلفون إلى دراسة عام 1983 أظهرت أن المشاركين كانوا متحيزين من خلال ما إذا كان استنتاج الاستدلال الثلاثي يتوافق مع معتقداتهم، مشيرين إلى:
كان المشاركون أكثر احتمالًا (90% من الوقت) للقول خطأً بأن القياس غير الصالح صالح إذا كان الاستنتاج معقولًا، واعتمادًا بشكل أساسي على الاعتقاد بدلاً من التفكير المجرد.
عند اختبار Chinchilla ضد جولة من الاستدلالات الثلاثية المتنوعة، والتي تنتهي بالاستنتاجات الكاذبة، وجد الباحثون أن “الانحياز الاعتقادي يوجّه جميع قرارات zero-shot تقريبًا”. إذا وجد نموذج اللغة أن الاستنتاج يتعارض مع الواقع، فإن النموذج، كما يقول المؤلفون، متحيز بقوة لاعتبار الحجة النهائية غير صالحة، حتى لو كانت الحجة النهائية استنتاجًا منطقيًا للبيانات السابقة.

نتائج Chinchilla بطريقة zero-shot، أي من دون أمثلة محلولة بعد شرح القاعدة الأساسية، وهي الطريقة التي يتلقى بها معظم المشاركين هذه المسائل. توضح النتائج الفجوة الكبيرة بين قدرة الحاسوب الحسابية وقدرة نموذج NLP على التعامل مع هذا النوع من مسائل المنطق الأولية.
مهمة وازون للتحديد
للمهمة الثالثة، تم صياغة مشكلة المنطق الأكثر تحديًا، مهمة وازون للتحديد، في عدد من الإصدارات المختلفة لنماذج اللغة لحلها.
مهمة وازون، التي صممها في عام 1968، تبدو بسيطة للغاية: يُظهر للمشاركين أربع بطاقات، ويُخبرهم بقاعدة عشوائية مثل “إذا كانت هناك ‘D’ على جانب واحد من البطاقة، فإنها تحتوي على ‘3’ على الجانب الآخر”. وتُظهر الوجوه المرئية للبطاقات الأحرف والأرقام ‘D’ و’F’ و’3′ و’7′.
يُطلب من الأشخاص بعد ذلك تحديد البطاقات التي يحتاجون إلى قلبها للتحقق من صحة القاعدة أو خطأها.
الحل الصحيح في هذا المثال هو قلب البطاقات ‘D’ و ‘7’. في الاختبارات الأولى، وجد أن معظم المشاركين (البشر) سوف يختارون بشكل صحيح ‘D’، ولكنهم كانوا أكثر احتمالًا لاختيار ‘3’ بدلاً من ‘7’، مخلطين المنطق المضاد للقاعدة (‘لا 3 يفترض لا D’) مع المنطق المتبادل (‘3 يفترض D’، الذي لا يُستنتج منطقيًا).
يشير المؤلفون إلى أن إمكانية تدخل الاعتقاد السابق في العملية المنطقية في الأشخاص، ويشيرون إلى أن حتى الرياضيين الأكاديميين وطلاب الرياضيات الجامعيين سجلوا أقل من 50% في هذه المهمة.
لكن عندما يعكس تصميم مهمة وازون الخبرة العملية البشرية بطريقة ما، يرتفع الأداء تقليديًا وفقًا لذلك.
يشير المؤلفون، في إشارة إلى تجارب سابقة:
إذا أظهرت البطاقات أعمارًا ومشروبات، والقاعدة هي “إذا كانوا يشربون الكحول، فيجب أن يكونوا في سن 21 عامًا أو أكثر”، وتم عرض بطاقات مع ‘بيرة’ و ‘صودا’ و ’25’ و ’16’، فاختار معظم المشاركين بشكل صحيح بطاقات ‘بيرة’ و ’16’ للتحقق.
لاختبار أداء نموذج اللغة على مهام وازون، أنشأ الباحثون قواعد واقعية ووهمية متعددة، بعضها يحتوي على كلمات “لا معنى لها”، لمعرفة ما إذا كان يمكن للذكاء الاصطناعي اختراق سياق المحتوى لاكتشاف أيهما “البطاقات الافتراضية” يجب قلبها.
أداء نموذج اللغة في اختبارات وازون كان مماثلاً لأداء البشر في المهام “الواقعية” (الغير وهمية).

نتائج مهمة وازون للاختيار بطريقة zero-shot لنموذج Chinchilla. حقق النموذج أداء أعلى بكثير من الصدفة، على الأقل مع القواعد الواقعية.
تعلّق الورقة:
هذا يعكس النتائج في الأدب البشري: البشر أكثر دقة في الإجابة على مهمة وازون عندما يتم صياغتها فيما يتعلق بالحالات الواقعية أكثر من القواعد العشوائية حول السمات المجردة.
التعليم الرسمي
تضع نتائج الورقة إمكانات التفكير في أنظمة المعالجة اللغوية الطبيعية الهائلة في سياق محدودياتنا الخاصة، والتي يبدو أننا نقلناها إلى النماذج من خلال مجموعات البيانات الواقعية التي تعمل بها. بما أن معظمنا ليسوا عباقرة، فإن النماذج التي تتشكل معاملاتها من بياناتنا ليست كذلك أيضًا.
بالإضافة إلى ذلك، خلصت الدراسة الجديدة إلى أننا على الأقل لدينا ميزة فترة طويلة من التعليم الرسمي، بالإضافة إلى الدوافع الاجتماعية والمالية والجنسية الإضافية التي تشكل الدافع البشري. كل ما يمكن أن يحصل عليه نماذج اللغة هو الأفعال الناتجة عن هذه العوامل البيئية، ويبدو أنها تتوافق مع البشر بشكل عام وليس الاستثنائي.
يقول المؤلفون:
تُظهر نتائجنا أن تأثيرات المحتوى يمكن أن تظهر من خلال تدريب محول كبير للغاية على تقليد اللغة التي ينتجها الثقافة البشرية، دون دمج هذه الآليات الداخلية الخاصة بالبشر.
بمعنى آخر، تصل نماذج اللغة والبشر إلى هذه الانحيازات المرتبطة بالمحتوى – ولكن من خلال هياكل وخبرات وأهداف تدريب مختلفة بشكل واضح.
لذلك، يقترحون نوعًا من “تدريب الاستقراء” في التفكير المجرد، الذي ثبت أنه يحسّن أداء النموذج في الرياضيات والاستدلال العام. كما يشيرون إلى أن نماذج اللغة تم تدريبها أو ضبطها لاتباع الأوامر بصورة أفضل على مستوى مجرد أو عام، وكذلك للتحقق من مخرجاتها وتصحيحها أو تقليل تحيزاتها.
* تحويلي للتعليقات المتضمنة إلى روابط.
نُشر لأول مرة في 15 يوليو 2022.













