نماذج ومنصات الذكاء الاصطناعي
أناستاسيا لوكينا، عالمة أبحاث أولى (NLP / كلام) في ETS – سلسلة المقابلات
أضف Unite.AI إلى مصادرك المفضلة على Google
أناستاسيا لوكينا هي عالمة أبحاث في خدمات الاختبار التعليمي (ETS) حيث تعمل على التقييم الآلي للكلام.
تشمل اهتماماتها البحثية مجموعة واسعة من الموضوعات. وقد عملت من بين أمور أخرى على اللهجات اليونانية الحديثة والритم الكلامي وتحليل النبرة الآلي.
يركز عملها الحالي على الجمع بين الأدوات والأساليب من تقنيات الكلام والتعلم الآلي مع الأفكار المستمدة من دراسات إدراك الإنتاج الكلامي من أجل بناء نماذج تقييم آلي لتقييم الكلام غير الأصلي.
من الواضح أنك تحب اللغات، ما الذي أدخلك على هذه الشغف؟
كنت أتحدث الروسية في سانت بطرسبورغ، روسيا، وأتذكر أنني كنت مهتمًا عندما تعرفت لأول مرة على اللغة الإنجليزية: كان هناك نمط لبعض الكلمات جعل من الممكن “تحويل” كلمة روسية إلى كلمة إنجليزية. ثم سأجد كلمة حيث “نمطي” فشل وسأحاول إيجاد قاعدة أفضل وأكثر عمومية. في ذلك الوقت، بالطبع، لم أكن أعرف أي شيء عن التصنيف اللغوي أو الفرق بين الكلمات المتشابهة والكلمات المستعارة، ولكن هذا أثار فضولي ورغبتي في تعلم المزيد من اللغات. هذا الشغف بالنمط في كيفية nói الناس واختبارهم على البيانات هو ما أداني إلى الصوتيات والتعلم الآلي والعمل الذي أفعله الآن.
قبل عملك الحالي في معالجة اللغة الطبيعية (NLP) كنت مترجمًا بين الإنجليزية والروسية واليونانية الحديثة والروسية. هل تعتقد أن عملك كمتَرجم قد أعطاك رؤى إضافية حول بعض الدقة والنواحي المتعلقة بمعالجة اللغة الطبيعية؟
كانت هويتي الأساسية دائمًا باحثًا. من الصحيح أنني بدأت مسيرتي الأكاديمية كباحث في اللغة اليونانية الحديثة، أو أكثر تحديدًا، صوتيات اللغة اليونانية الحديثة. في أطروحتي الدكتوراه، قمت بدراسة الفروق الصوتية بين لهجات اللغة اليونانية الحديثة المختلفة وكيف يمكن ربط الفروق بين هذه اللهجات بالتاريخ المنطقة. وادعت أن بعض الفروق بين اللهجات يمكن أن تظهر نتيجة للاتصال اللغوي بين كل لهجة ولغات أخرى يتكلمها في المنطقة. على الرغم من أنني لم أعد أعمل على اللغة اليونانية الحديثة، إلا أن التغيرات التي تحدث عندما تتصل لغة بلغة أخرى لا تزال في قلب عملي: الآن أركز على ما يحدث عندما يتعلم الفرد لغة جديدة وكيف يمكن للتكنولوجيا مساعدته في القيام بذلك بأكثر فعالية.
عندما يتعلق الأمر باللغة الإنجليزية، هناك العديد من اللهجات. كيف تصمم نظام معالجة اللغة الطبيعية بقدرة على فهم جميع اللهجات المختلفة؟ هل هو أمر بسيط يتعلق بإطعام خوارزمية التعلم الآلي ببيانات كبيرة إضافية من كل نوع من اللهجات؟
هناك العديد من النهج التي تم استخدامها في الماضي لمواجهة هذا الأمر. بالإضافة إلى بناء نموذج كبير يغطي جميع اللهجات، يمكنك أولاً تحديد اللهجة ثم استخدام نموذج مخصص لهذه اللهجة، أو يمكنك محاولة استخدام عدة نماذج في نفس الوقت واختيار النموذج الذي يعمل بشكل أفضل. في النهاية، لتحقيق أداء جيد على مجموعة واسعة من اللهجات، تحتاج إلى بيانات تدريب وتقييم ممثلة للعديد من اللهجات التي قد تواجهها النظام.
في ETS، نقوم بتقييمات شاملة لضمان أن الدرجات التي ينتجها أنظمتنا الآلية تعكس الفروق في المهارات الفعلية التي نريد قياسها ولا تتأثر بالخصائص الديموغرافية للمتعلم مثل جنسه أو عرقه أو بلده الأصلي.
الأطفال و/أو متعلمي اللغة غالبًا ما يعانون من صعوبات في النطق المثالي. كيف تتغلب على مشكلة النطق؟
لا يوجد ما يسمى بالنطق المثالي: الطريقة التي نتكلم بها ترتبط ارتباطًا وثيقًا بهويتنا وهدفنا كباحثين ومطورين هو ضمان أن أنظمتنا عادلة لجميع المستخدمين.
كلاً من الأطفال ومتعلمي اللغة يعرضان تحديات خاصة لأنظمة الكلام. على سبيل المثال، تتميز أصوات الأطفال بجودة صوتية مختلفة للغاية، كما يتكلم الأطفال بطريقة مختلفة عن الكبار وهناك الكثير من التباين بين الأطفال. ونتيجة لذلك، يعتبر تطوير نظام تقييم كلام آلي للأطفال مهمة منفصلة تتطلب كمية كبيرة من بيانات كلام الأطفال.
على نحو مماثل، على الرغم من وجود العديد من التشابهات بين متعلمي اللغة من نفس الخلفية، يمكن أن يختلف متعلمو اللغة بشكل كبير في استخدامهم لأنماط الصوتية والنحوية والlexical، مما يجعل تقييم الكلام مهمة صعبة بشكل خاص. عند بناء أنظمتنا لتقييم كفاءة اللغة الإنجليزية، نستخدم بيانات من متعلمي اللغة الذين لديهم مستويات مختلفة من الكفاءة واللغات الأم.
في يناير 2018، نشرت “استخدام استجابات النموذج للتدريب وتقييم أنظمة التقييم الكلامي الآلي”. ما هي بعض المفاهيم الأساسية التي يجب فهمها من هذه الورقة؟
في هذه الورقة، نظرنا إلى كيفية تأثير جودة بيانات التدريب والتقييم على أداء أنظمة التقييم الآلي.
تتم تدريب أنظمة التقييم الآلي، مثل العديد من الأنظمة الآلية الأخرى، على بيانات تم وضع علامات عليها من قبل البشر. في هذه الحالة، هذه هي الدرجات التي يخصصها تقييم人类. لا يتفق تقييم人类 دائمًا في الدرجات التي يمنحونها. هناك العديد من الاستراتيجيات التي يتم استخدامها في التقييم لضمان أن الدرجة النهائية التي يُبلغ عنها للممتحن تبقى موثوقة على الرغم من التباين في الاتفاق البشري على مستوى السؤال الفردي. ومع ذلك، منذ أن يتم تدريب محركات التقييم الآلي عادةً باستخدام درجات مستوى الاستجابة، يمكن أن يؤثر أي عدم اتساق في مثل هذه الدرجات بسبب مجموعة متنوعة من الأسباب المذكورة أعلاه بشكل سلبي على النظام.
كنا قادرين على الحصول على كمية كبيرة من البيانات مع اتفاق مختلف بين تقييم人类 وتمكنا من مقارنة أداء النظام في ظل ظروف مختلفة. ما وجدناه هو أن تدريب النظام على بيانات مثالية لا يحسن فعلاً أداءه أكثر من نظام مدرب على بيانات تحتوي على علامات أكثر ضجيجًا. تعطيك العلامات المثالية فقط ميزة عندما يكون حجم مجموعة التدريب الخاص بك منخفضًا للغاية. من ناحية أخرى، كان للجودة العالية للعلامات البشرية تأثير كبير على تقييم النظام: يمكن أن يكون تقديرات الأداء أعلى بنسبة تصل إلى 30٪ إذا قمت بتقييمها على علامات نظيفة.
الرسالة الرئيسية هي أنه إذا كان لديك الكثير من البيانات والموارد لتنظيف العلامات الذهبية، فقد يكون من الأفضل تنظيف العلامات في مجموعة التقييم بدلاً من العلامات في مجموعة التدريب. وتطبيق هذا الاستنتاج لا ينطبق فقط على التقييم الآلي ولكن على العديد من المجالات الأخرى أيضًا.
هل يمكنك وصف بعض عملك في ETS؟
أعمل على نظام محرك تقييم كلام يعالج اللغة المنطوقة في سياق تعليمي. واحد من هذه الأنظمة هو SpeechRater®، الذي يستخدم تقنيات متقدمة لتحليل الكلام وتقديم تقييمات مفصلة حول كفاءة التحدث باللغة الإنجليزية. SpeechRater هو تطبيق ناضج جدًا وقد تم استخدامه لمدة أكثر من 10 سنوات. أُنشئ نماذج تقييم لمختلف التطبيقات وأعمل مع زملائي في ETS لضمان أن درجاتنا موثوقة وعادلة وصحيحة لجميع الممتحنين. كما نعمل مع مجموعات أخرى في ETS لمراقبة أداء النظام باستمرار.
بالإضافة إلى صيانة وتحسين أنظمتنا التشغيلية، نقوم بإنشاء نماذج جديدة. أحد المشاريع التي أنا متحمس لها جدًا هو RelayReader™: تطبيق مصمم لمساعدة القراء الناشئين في الحصول على السلاسة والثقة. عند القراءة مع RelayReader، يقرأ المستخدم ويستمع إلى كتاب ويقرأه بصوت عالٍ. ثم يتم إرسال قراءته إلى خوادمنا لتوفير التغذية الراجعة. فيما يتعلق بمعالجة الكلام، التحدي الرئيسي في هذا التطبيق هو كيفية قياس التعلم وتوفير تغذية راجعة قابلة للتنفيذ وموثوقة بطريقة غير ملحوظة، دون التدخل في انخراط القارئ بالكتاب.
ما هو جزءك المفضل في العمل مع ETS؟
ما جذبني في البداية إلى ETS هو أنه منظمة غير ربحية تهدف إلى تعزيز جودة التعليم لجميع الناس حول العالم. في حين أنه من الرائع عندما يؤدي البحث إلى منتج، أنا أقدر الفرصة للعمل على مشاريع أكثر أساسية في الطبيعة ولكنها ستساعد في تطوير المنتجات في المستقبل. أنا أيضًا أقدر حقيقة أن ETS تأخذ قضايا مثل خصوصية البيانات والعدالة جدًا على محمل الجد وأن جميع أنظمتنا تخضع لتقييم صارم قبل النشر التشغيلي.
لكن ما يجعل ETS مكانًا رائعًا للعمل هو أشخاصه. لدينا مجتمع رائع من العلماء والمهندسين والمطورين من خلفيات مختلفة جدًا، مما يسمح بالعديد من التعاونات المثيرة.
هل تعتقد أن الذكاء الاصطناعي سيكون قادرًا على اجتياز اختبار تورينغ في أي وقت ما؟
منذ الخمسينيات، كان هناك العديد من التأويلات لكيفية إجراء اختبار تورينغ في الممارسة. هناك احتمال اتفاق عام على أن اختبار تورينغ لم يُجتز في معنى فلسفي أن هناك لا يوجد نظام ذكاء اصطناعي يفكر مثل الإنسان. ومع ذلك، أصبح هذا أيضًا موضوعًا ضيقًا جدًا. معظم الناس لا يبنيون أنظمتهم لاجتياز اختبار تورينغ – نريد أن تحقق أهدافًا محددة.
للبعض من هذه المهام، على سبيل المثال، تقييم الكلام أو فهم اللغة الطبيعية، يمكن اعتبار أداء الإنسان معيارًا ذهبيًا. ومع ذلك، هناك العديد من المهام الأخرى التي نتوقع فيها أن يعمل النظام الآلي بشكل أفضل من البشر أو أن يعمل نظام آلي وخبير بشري معًا لتحقيق أفضل نتيجة. على سبيل المثال، في سياق تعليمي، لا نريد نظامًا ذكاء اصطناعي لاستبدال معلم – نريد أن يساعد المعلمين، سواء كان ذلك من خلال تحديد الأنماط في مسارات التعلم الطلابية أو المساعدة في التقييم أو العثور على أفضل المواد التعليمية.
هل هناك أي شيء آخر تريد مشاركته حول ETS أو معالجة اللغة الطبيعية؟
يعرف الكثير من الناس ETS من خلال تقييماتها وأنظمة التقييم الآلي. لكننا نفعل أكثر من ذلك. لدينا العديد من القدرات، من البيومترية الصوتية إلى تطبيقات الحوار الصوتي، ونحن دائمًا نبحث عن طرق جديدة لدمج التكنولوجيا في التعلم. الآن بعد أن يتعلم العديد من الطلاب من المنزل، قمنا بفتح بعض قدرات البحث الخاصة بنا للجمهور العام.
شكرًا على المقابلة وعلى تقديم هذه الرؤى حول أحدث التطورات في معالجة اللغة الطبيعية والتعرف على الكلام. يمكن لأي شخص يرغب في معرفة المزيد زيارة خدمات الاختبار التعليمي.
