الذكاء الاصطناعي
نيتين مادناني، عالم أبحاث أول في ETS – سلسلة المقابلات
نيتين مادناني هو عالم أبحاث أول في مجموعة أبحاث معالجة اللغة الطبيعية (NLP) في خدمة الاختبارات التعليمية (ETS). تأسست ETS في عام 1947، وهي أكبر منظمة غير ربحية خاصة للاختبارات التعليمية والتقييم في العالم.
هل يمكنك أن تبدأ بتوضيح ما هي مهمة ETS؟
تتمثل مهمة ETS في تعزيز الجودة والعدالة في التعليم لجميع المتعلمين في جميع أنحاء العالم. تُحدد هذه المهمة منتجاتنا وخدماتنا وأبحاثنا وجهدنا التطويري بهدف تعزيز التعلم ودعم التعليم والتنمية المهنية وقياس المعرفة والمهارات، لكل فرد.
نعتقد أن أي شخص في أي مكان يمكنه أن يحدث فرقًا في حياته من خلال التعلم، ويمكن لأبحاث ETS وعمليات التقييم والقياس والسياسات أن تلعب دورًا هامًا في جعل هذا التعلم ممكنًا.
ما هو ما يجعلك متحمسًا لمعالجة اللغة الطبيعية؟
جميع اللغات البشرية معقدة وملتوية بجمال. إنها تسمح لنا بالتعبير عن مجموعة من العواطف في كلامنا وكتابةنا وتتطور مع الوقت. من ناحية أخرى، الحاسوب قطعة غير إنسانية ومحكمة في معالجة الإدخالات. معالجة اللغة الطبيعية (NLP) هي مجال من الذكاء الاصطناعي يحاول جعل هذه الأداة غير الإنسانية تفهم تعقيدات اللغة البشرية الجميلة من خلال الجمع بين تقنيات من علوم الحاسوب واللغويات والإحصاء. كيف لا تجد هذا ممتعًا؟
تم تطوير أداة RSMTool مؤخرًا من قبل علماء NLP وخطاب ETS. هل يمكنك أن تشاركنا ما تفعله أداة RSMTool؟
كما رأينا في السنوات القليلة الماضية، يمكن أن تظهر جميع نماذج التعلم الآلي سلوكًا متحيزًا بغض النظر عن المجال الذي يتم تطبيقه، والتعليم ليس استثناءً. أنظمة التقييم الآلية المستخدمة لتخصيص درجات أو تصنيفات للطلاب في الاختبارات أو الفصول الدراسية غالبًا ما تستخدم نماذج التعلم الآلي. لذلك، من الممكن أن تتصرف هذه الأنظمة بطريقة متحيزة. يمكن أن يكون لهذا التحيز عواقب خطيرة، خاصة إذا تم استخدام الدرجات من هذه الأنظمة لاتخاذ قرارات عالية المخاطر.
RSMTool هي أداة مفتوحة المصدر التي طورها زملائي Anastassia Loukina (تمت الإشارة إليها في السابق على Unite.AI) وأنا في ETS لمساعدة في ضمان أن يتم تحديد أي تحيزات نظامية ضارة في أنظمة التقييم الآلية في أقرب وقت ممكن، على أمل أن يكون قبل نشر هذه الأنظمة في العالم الحقيقي. تم تصميم RSMTool لتوفير تقييم شاملا لمحركات التقييم الإلكترونية، بما في ذلك ليس فقط معايير دقة التنبؤ، ولكن أيضًا مقاييس منصفة للنموذج ومقاييس تستند إلى نظرية الاختبار، مما يساعد مطوري هذه المحركات على تحديد مشاكل محتملة في أنظمتهم.
من أين أتى اسم RSMTool؟
في مجال التقييم التعليمي، غالبًا ما يُشار إلى شخص يخصص درجة لمقال (أو “يُقيِّم”) باسم “مُقيِّم”. هناك مُقيِّمون بشريون ومُقيِّمون آليون. RSMTool – اختصار لـ Rater Scoring Modeling Tool – مصمم للمساعدة في بناء (وتقييم) نماذج التقييم المستخدمة من قبل المُقيِّمين الآليين.
كيف يمكن لهذه الأداة مساعدة المطورين على تحديد التحيز المحتمل أو مشاكل أخرى في محركات التقييم الإلكترونية الخاصة بهم؟
في العقد الماضي، قام علماء القياس التعليمي – بما في ذلك العديد من زملائنا في ETS – بأبحاث قيمة حول ما يجعل التقييم الآلي عادلاً. كجزء من هذه الأبحاث، قاموا بتطوير العديد من التحليلات الإحصائية والقياسية لحساب مؤشرات التحيز النظامي. ومع ذلك، نظرًا لأن مجتمعات NLP والقياس النفسي نادرًا ما تتفاعل، فهناك فرصة قليلة للتبادل الأفكار. النتيجة هي أن باحثي NLP ومطوريهم الذين يبنيون أنظمة تقييم آلية فعلية – خاصة الباحثين الفرديين وأولئك في الشركات الصغيرة – لا يمتلكون وصولاً سهلاً إلى التحليلات القياسية التي يجب عليهم استخدامها للتحقق من أنظمتهم من التحيز. تحاول RSMTool حل هذه المشكلة من خلال توفير مجموعة كبيرة ومتنوعة من التحليلات القياسية في حزمة Python واحدة سهلة الاستخدام يمكن دمجها بسهولة من قبل أي باحث NLP في بحثه أو خط أنابيب تشغيلي.
ما هي أنواع التحيز الشائعة التي قد تؤثر على أنظمة التقييم الآلية؟
النوع الأكثر شيوعًا من التحيز الذي يؤثر على نظام تقييم آلي هو أداء المجموعة الفرعية التبايني، أي عندما يعمل النظام الآلي بشكل مختلف لمجموعات فرعية مختلفة. على سبيل المثال، نظام تقييم متحيز قد ينتج درجات منخفضة بشكل منهجي لمقالات كتبها، على سبيل المثال، نساء سوداوات مقارنة بتلك المكتوبة من قبل رجال بيض، حتى لو لم تكن هناك فروق منهجية في المهارات الكتابية الفعلية المعروضة من قبل هاتين المجموعتين الفرعيتين في مقالاتهم، من حيث منظور إنسان.
ETS لديها تاريخ غني في إجراء أبحاث حول العدالة لمحركات التقييم الآلية. على سبيل المثال، قمنا بفحص ما إذا كان محرك التقييم الآلي e-rater® يظهر أداءً فرقياً لمجموعات فرعية محددة حسب العرق والجنس والبلد (وجدوا بعض الاختلافات الطفيفة التي تمت معالجتها من خلال تغييرات سياسية لاحقة). كما قام الباحثون بفحص ما إذا كان e-rater® يعامل استجابات كتبها متقدمو GRE® الذين يعانون من إعاقات تعلم و / أو اضطراب نقص الانتباه معًا بشكل منهجي مختلف على متوسطه (لا يفعل).最近، دراسة حديثة تبحث عن ما إذا كان نظام التقييم الآلي لتحديد الكفاءة اللغوية يظهر أي تحيز منهجي تجاه المتقدمين الذين طُلب منهم ارتداء أقنعة الوجه مقابل أولئك الذين لم يرتدوا أقنعة (لا يفعل). تحتوي RSMTool على تحليلات قياسية عديدة تحاول量 التحيز الفرعي المنهجي على المجموعات الفرعية التي يمكن للمستخدم تحديدها على بياناته.
أختارت ETS جعل RSMTool مفتوح المصدر، هل يمكنك أن تشرح العقلية والاهمية وراء ذلك؟
نعم، RSMTool متاح على GitHub برخصة Apache 2.0. نعتقد أنه من المهم أن تكون أداة مثل هذه مفتوحة المصدر و非 مملوكة لكي يتمكن المجتمع من (أ) فحص код المصدر للتحليلات المتاحة لضمان مطابقتها لمعايير العدالة و (ب) المساهمة في تحليلات جديدة随ما تتطور المعايير وتتغير. كما نريد جعلها سهلة الاستخدام لمحققين NLP ومطوريهم في عملهم ومساعدتنا في جعلها أفضل. جعل RSMTool مفتوح المصدر هو مثال واضح على التزام ETS المستمر باستخدام الذكاء الاصطناعي بشكل مسؤول في التعليم.
ما هي بعض الدروس التي تعلمتها من تطوير RSMTool وصيانتها؟
خلال السنوات الخمس الماضية التي طورنا وصيانا RSMTool – مع مساعدة العديد من زملائنا في ETS ومساهمين غير ETS على GitHub – تعلمنا درسين شاملين. الأول هو أن مستخدمين مختلفين لديهم احتياجات مختلفة، ونهج واحد يناسب الجميع لن يعمل لبرنامج متداخل مثل RSMTool. الدرس الثاني الذي تعلمناه هو أنه لجعل البرنامج مفتوح المصدر أكثر احتمالاً للتبني، عليك أن تذهب إلى أقصى حد لجعلها قوية قدر الإمكان.
ما هي الأشياء التي تود أن تشاركها حول RSMTool؟
نحن نشجع القراء على مساعدتنا في تحسين RSMTool! لا يلزم أن يكونوا خبيرًا في القياس النفسي أو NLP للمساهمة. لدينا العديد من القضايا المفتوحة المتعلقة بالتوثيق وبرمجة Python التي ستكون مثالية لأي مطور مبتدئ إلى متقدم في Python. كما ندعو المساهمات في SKLL (Scikit-Learn Laboratory)، – حزمة مفتوحة أخرى لبرامج ETS لتشغيل تجارب التعلم الآلي القابلة للتكوين بشكل فوري – التي تستخدمها RSMTool أساسًا.
