ما وراء “وضعية القارئ” مع التعلم الآلي

استخدم باحثون من كوريا الجنوبية التعلم الآلي لتطوير طريقة محسنة لاستخراج المحتوى الفعلي من صفحات الويب بحيث تختفي “الأثاث” من صفحة الويب – مثل الشريط الجانبي والقدم والرأس ، بالإضافة إلى كتل الإعلانات – للمستخدم.

على الرغم من أن هذه الوظيفة موجودة في معظم متصفحات الويب الشهيرة ، أو متاحة بسهولة عبر الإضافات والملحقات ، إلا أن هذه التكنولوجيا تعتمد على تنسيق семантиكي قد لا يكون موجودًا في صفحة الويب ، أو قد يتم المساس به عمدًا من قبل مالك الموقع لمنع المستخدم من إخفاء تجربة الصفحة “الغنية”.

إحدى صفحاتنا الخاصة “مخففة” مع وظيفة Reader View المدمجة في Firefox.

بدلاً من ذلك ، تستخدم الطريقة الجديدة نظامًا قائمًا على الشبكة الذي يكرر الصفحة ، ويقيم مدى صلة المحتوى بالغرض الأساسي للصفحة.

خط أنابيب استخراج المحتوى يقسم الصفحة أولاً إلى شبكة (الصف العلوي) قبل تقييم العلاقة بين الخلايا المهمة المكتشفة مع الخلايا الأخرى (المنتصف) وأخيرًا دمج الخلايا المعتمدة (الأسفل). مصدر: https://arxiv.org/ftp/arxiv/papers/2110/2110.14164.pdf

بمجرد تحديد خلية مهمة ، يتم تقييم علاقتها مع الخلايا المجاورة قبل دمجها في المحتوى “الأساسي” المفسّر.

الفكرة المركزية لهذا النهج هو التخلي عن الترميز القائم على التعليمات كفهرس للصلة (أي علامات HTML التي قد تشير عادة إلى بداية الفقرة ، على سبيل المثال ، والتي يمكن استبدالها bằng علامات بديلة ستخدع قارئات الشاشة وبرامج مثل Reader View) ، والاستدلال على المحتوى بناءً على مظهره المرئي فقط.

تم توسيع هذا النهج ، الذي يسمى Grid-Center-Expand (GCE) ، من قبل الباحثين إلى نماذج الشبكات العصبية العميقة (DNN) التي تستغلهم TabNet من جوجل ، وهي هيكل تعلم جدولي تفسيري.

الوصول إلى النقطة

المقال ، الذي ي llev عنوان لا تقرأ ، فقط انظر: استخراج المحتوى الرئيسي من صفحات الويب باستخدام الميزات الواضحة بصريًا ، يأتي من ثلاثة باحثين من جامعة هانيانغ ، وواحد من معهد التكنولوجيا المتقاربة ، جميعهم يقعون في سول.

يمكن أن يكون استخراج المحتوى الأساسي لصفحات الويب مفيدًا ليس فقط للمستخدم النهائي العادي ، ولكن أيضًا لأنظمة الآلة التي تُكلف بابتلاع أو فهرسة محتوى النطاق لغرض معالجة اللغة الطبيعية (NLP) ، وغيرها من القطاعات في مجال الذكاء الاصطناعي.

كما هو الحال ، إذا تم تضمين المحتوى غير ذي الصلة في عمليات الاستخراج هذه ، فقد يتعين تصفيتها يدويًا (أو وضع علامات عليها) ، عند تكلفة كبيرة ؛ أسوأ من ذلك ، إذا تم تضمين المحتوى غير المرغوب فيه مع المحتوى الأساسي ، فقد يؤثر ذلك على كيفية تفسير المحتوى الأساسي ، ونتائج أنظمة المحول والفكودر التي تعتمد على المحتوى النظيف.

يجادل الباحثون بأن الطريقة المحسنة ضرورية بشكل خاص لأن النهج الحالية غالبًا ما تفشل مع صفحات الويب غير الإنجليزية.

تُلاحظ صفحات الويب الفرنسية واليابانية والروسية على أنها تُحقق أسوأ نتائج في معدلات النجاح لنهج “مشاهدة القارئ” الأربعة الأكثر شيوعًا: Readability.js من موزيلا؛ DOM Distiller من جوجل؛ Web2Text؛ و Boilernet.

مجموعات البيانات والتدريب

قام الباحثون بتركيب مواد مجموعة البيانات من الكلمات الرئيسية الإنجليزية في GoogleTrends-2017 و GoogleTrends-2020 ، على الرغم من أنهم يلاحظون أنه لم يكن هناك فرق عملي بين المجموعتين.

بالإضافة إلى ذلك ، جمع المؤلفون كلمات رئيسية غير إنجليزية من كوريا الجنوبية وفرنسا واليابان وروسيا وإندونيسيا والمملكة العربية السعودية. تمت إضافة الكلمات الرئيسية الصينية من مجموعة بيانات Baidu ، لأن Google Trends لم تتمكن من تقديم بيانات صينية.

الاختبار والنتائج

عند اختبار النظام ، وجد المؤلفون أنه يقدم نفس مستوى الأداء مثل نماذج الشبكات العصبية العميقة الحديثة ، مع توفير سكن أفضل لمجموعة أوسع من اللغات.

على سبيل المثال ، يُلاحظ أن هيكل Boilernet ، على الرغم من الحفاظ على أداء جيد في استخراج المحتوى ذي الصلة ، يُكيف بشكل سيئ مع مجموعات بيانات الصينية واليابانية ، بينما وجد المؤلفون أن Web2Text له “أداء نسبيًا سيئ” على مدار المسار ، مع ميزات لغوية ليست متعددة اللغات ، وليست مناسبة لاستخراج المحتوى المركزي من صفحات الويب.

وجد أن Readbility.js من موزيلا يحقق أداء مقبولًا عبر لغات متعددة ، بما في ذلك الإنجليزية ، حتى كنهج قائم على القواعد. ومع ذلك ، وجد الباحثون أن أداءه ينخفض بشكل ملحوظ في مجموعات بيانات اللغة اليابانية والفرنسية ، مما يبرز القيود التي تفرضها محاولة تحليل خصائص منطقة معينة بالكامل من خلال نهج قائم على القواعد.

في غضون ذلك ، وجد أن DOM Distiller من جوجل ، الذي ي 结 hợp بين المنهجيات الاستدلالية والتعلم الآلي ، أداء جيد عبر اللوحة.

جدول النتائج للطرق التي تم اختبارها خلال المشروع ، بما في ذلك وحدة GCE الخاصة بالباحثين. الأرقام الأعلى هي الأفضل.

يخلص الباحثون إلى أن “GCE لا يحتاج إلى مواكبة بيئة الويب المتغيرة بسرعة لأنها تعتمد على الطبيعة البشرية – الميزات العالمية والمتعددة اللغات بشكل حقيقي” .