بايدو تتفوق على جوجل ومايكروسوفت، وتطوير تقنية جديدة لفهم اللغة

بايدو، واحدة من أكبر الشركات التكنولوجية في الصين، قامت مؤخرًا بتطوير طريقة جديدة لتعليم الذكاء الاصطناعي لفهم اللغة. كما أفادت TechnologyReview، فازت الشركة مؤخرًا على مايكروسوفت وجوجل في مسابقة التقييم العام للغة والفهم (GLUE)، وحققت نتائج على مستوى الدولة.

يتكون GLUE من تسعة اختبارات مختلفة، وكل اختبار يقيس مهمة مختلفة مهمة لفهم اللغة، مثل تمييز أسماء الكيانات في الجملة وتمييز السياق الذي يتم استخدامه فيه الضمير “هو” عند وجود العديد من المرشحين المحتملين. يصل متوسط درجة الإنسان إلى حوالي 87 نقطة من أصل 100 نقطة. قامت نموذج بايدو الجديد، ERNIE، بتحطيم عتبة 90 نقطة.

يحاول الباحثون دائمًا تحسين أداء نماذجهم في GLUE، وبالتالي من المحتمل أن يتم تحطيم المعيار الحالي الذي حددته بايدو قريباً. ومع ذلك، ما يجعل إنجازات بايدو ملحوظة هو أن نهج التعلم الذي تستخدمه يبدو أنه يمكن تعميمه على لغات أخرى. على الرغم من أن النموذج تم تطويره لتحليل اللغة الصينية، إلا أن نفس المبادئ تجعلها أفضل في تفسير اللغة الإنجليزية. ERNIE هو اختصار ل “تمثيل محسن من خلال دمج المعرفة”، ويلحق تطوير نموذج اللغة BERT (“تمثيلات التشفير ثنائي الاتجاه من المحولات”).

حدد BERT معيارًا جديدًا لفهم اللغة بسبب حقيقة أنه كان نموذجًا ثنائي الاتجاه. كانت نماذج اللغة السابقة قادرة فقط على تفسير البيانات التي تدفقت في اتجاه واحد، ونظرًا إلى الكلمة التي جاءت قبل أو بعد الكلمة المستهدفة كسياق. كان BERT قادرًا على تنفيذ نهج ثنائي الاتجاه يمكنه استخدام كلا الكلمات السابقة واللاحقة في الجملة لمساعدة تفسير الكلمة المستهدفة. يستخدم BERT تقنية تسمى التماسك لجعل التحليل ثنائي الاتجاه ممكنًا، واختيار كلمة في الجملة وإخفائها، مما يفرق بين السياق المحتمل للكلمة في السياق السابق واللاحق.

في اللغة الإنجليزية، الكلمة هي الوحدة الدلالية السائدة، الناس ينظرون إلى الكلمات الكاملة بدلاً من الحروف الفردية لتحديد المعنى. من الممكن إزالة الكلمة من سياقها ولا تزال الكلمة تحتفظ بمعناها، ومعنى الحروف الفردية几乎 دائمًا نفس الشيء. في المقابل، تعتمد اللغة الصينية بشكل أكبر على كيفية مطابقة الحروف مع حروف أخرى لتحديد المعنى. يمكن أن تعني الحروف أشياء مختلفة اعتمادًا على الحروف المحيطة بها.

أولاً فريق باحثي بايدو نموذج BERT واستخدمه، وإخفاء سلاسل من الحروف بدلاً من الكلمات الكاملة. تم تدريب نظام الذكاء الاصطناعي أيضًا على التمييز بين السلاسل العشوائية والسلاسل المهمة من أجل تمكين إخفاء السلاسل الصحيحة من الحروف. هذا يجعل ERNIE ماهراً في استخراج المعلومات من وثيقة نصية وتنفيذ الترجمة الآلية. كما وجد فريق البحث أن طريقة تدريبه الناتجة أيضًا في نموذج يمكنه تمييز العبارات الإنجليزية بشكل أفضل من العديد من النماذج الأخرى. هذا لأن اللغة الإنجليزية في بعض الأحيان، على الرغم من ندرة ذلك، تستخدم مجموعات كلمات تعبر عن معان مختلفة عند دمجها معًا مقارنةً بكونها منفصلة. الأسماء الصحيحة والتعابير الاصطلاحية أو العامية، مثل “قطعة من الكتلة القديمة”، هي أمثلة على هذه الظواهر اللغوية.

يستخدم ERNIE العديد من تقنيات التدريب الأخرى لتحسين الأداء، بما في ذلك تحليل ترتيب الجملة والمسافة عند تفسير الفقرات. كما يتم استخدام طريقة التدريب المستمر، مما يسمح ل ERNIE بالتدريب على بيانات جديدة واكتساب أنماط جديدة دون نسيان المعرفة المكتسبة مسبقًا.

تستخدم بايدو حاليًا ERNIE لتحسين جودة نتائج البحث. سوف يتم تفصيل أحدث هندسة ERNIE في ورقة قادمة سوف يتم تقديمها في مؤتمر 2020 لتعزيز الذكاء الاصطناعي.