Melampaui ‘Mode Pembaca’ Dengan Pembelajaran Mesin

Peneliti dari Korea Selatan telah menggunakan pembelajaran mesin untuk mengembangkan metode yang ditingkatkan untuk mengekstrak konten aktual dari halaman web sehingga ‘perabotan’ dari halaman web – seperti sidebar, footer, dan header navigasi, serta blok iklan – menghilang untuk pembaca.

Meskipun fungsionalitas seperti itu sudah terintegrasi ke dalam sebagian besar peramban web populer, atau tersedia melalui ekstensi dan plugin, teknologi tersebut bergantung pada pemformatan semantik yang mungkin tidak ada di halaman web, atau yang mungkin telah dikompromikan secara sengaja oleh pemilik situs untuk mencegah pembaca menyembunyikan ‘pengalaman penuh’ dari halaman.

Salah satu halaman web kami ‘disederhanakan’ dengan fungsi Reader View integral Firefox.

Sebagai gantinya, metode baru menggunakan sistem berbasis grid yang mengulangi halaman web, mengevaluasi seberapa relevan konten dengan tujuan inti dari halaman.

Pipeline ekstraksi konten pertama-tama membagi halaman menjadi grid (baris atas) sebelum mengevaluasi hubungan sel-sel yang ditemukan dengan sel lain (tengah) dan akhirnya menggabungkan sel yang disetujui (bawah). Sumber: https://arxiv.org/ftp/arxiv/papers/2110/2110.14164.pdf

Saat sebuah sel relevan diidentifikasi, hubungannya dengan sel di dekatnya juga dievaluasi sebelum digabungkan ke dalam konten ‘inti’ yang ditafsirkan.

Gagasan sentral dari pendekatan ini adalah meninggalkan markup berbasis kode sebagai indeks relevansi (yaitu tag HTML yang biasanya menandai awal paragraf, misalnya, yang dapat digantikan oleh tag alternatif yang akan ‘menipu’ pembaca layar dan utilitas seperti Reader View), dan menentukan konten berdasarkan pada penampilan visualnya saja.

Pendekatan, yang disebut Grid-Center-Expand (GCE), telah diperluas oleh peneliti ke dalam model Jaringan Saraf Dalam (DNN) yang memanfaatkan TabNet dari Google, sebuah arsitektur pembelajaran tabular interpretatif.

Inti Masalah

Makalah tersebut berjudul Jangan Baca, Cukup Lihat: Ekstraksi Konten Utama dari Halaman Web Menggunakan Fitur yang Tampak, dan berasal dari tiga peneliti di Universitas Hanyang, dan satu dari Institut Teknologi Konvergensi, semua berlokasi di Seoul.

Ekstraksi konten inti halaman web yang ditingkatkan berpotensi sangat berharga tidak hanya untuk pengguna akhir, tetapi juga untuk sistem mesin yang ditugaskan untuk mengonsumsi atau mengindeks konten domain untuk keperluan Pemrosesan Bahasa Alami (NLP), dan sektor lainnya dalam AI.

Sebagaimana adanya, jika konten non-relevan dimasukkan dalam proses ekstraksi tersebut, maka perlu disaring secara manual (atau diberi label), dengan biaya yang besar; lebih buruk lagi, jika konten yang tidak diinginkan dimasukkan bersama dengan konten inti, maka dapat mempengaruhi bagaimana konten inti ditafsirkan, dan hasil dari sistem transformator dan encoder/decoder yang bergantung pada konten yang bersih.

Metode yang ditingkatkan, menurut peneliti, sangat diperlukan karena pendekatan yang ada sering gagal dengan halaman web non-Inggris.

Halaman web dalam bahasa Prancis, Jepang, dan Rusia dicatat sebagai skor terburuk dalam tingkat keberhasilan untuk empat pendekatan ‘Reader View’ yang paling umum: Readability.js dari Mozilla; DOM Distiller dari Google; Web2Text; dan Boilernet.

Dataset dan Pelatihan

Peneliti mengompilasi materi dataset dari kata kunci Inggris dalam GoogleTrends-2017 dan GoogleTrends-2020 dataset, meskipun mereka mengamati bahwa, dalam hal hasil, tidak ada perbedaan praktis antara kedua dataset tersebut.

Selain itu, penulis mengumpulkan kata kunci non-Inggris dari Korea Selatan, Prancis, Jepang, Rusia, Indonesia, dan Arab Saudi. Kata kunci Tionghoa ditambahkan dari dataset Baidu, karena Google Trends tidak dapat menawarkan data Tionghoa.

Pengujian dan Hasil

Dalam menguji sistem, penulis menemukan bahwa sistem tersebut menawarkan tingkat kinerja yang sama dengan model DNN terbaru, sambil menyediakan akomodasi yang lebih baik untuk berbagai bahasa.

Sebagai contoh, arsitektur Boilernet, meskipun mempertahankan kinerja yang baik dalam mengekstrak konten yang relevan, beradaptasi dengan buruk terhadap dataset Tionghoa dan Jepang, sementara Web2Text, menurut penulis, memiliki ‘kinerja yang relatif buruk’ secara keseluruhan, dengan fitur linguistik yang tidak multibahasa, dan tidak cocok untuk mengekstrak konten sentral dari halaman web.

Mozilla’s Readbility.js ditemukan mencapai kinerja yang dapat diterima di berbagai bahasa, termasuk Inggris, meskipun sebagai metode berbasis aturan. Namun, peneliti menemukan bahwa kinerjanya menurun secara signifikan pada dataset Jepang dan Prancis, menyoroti keterbatasan mencoba memahami karakteristik wilayah tertentu hanya dengan pendekatan berbasis aturan.

Sementara itu, DOM Distiller dari Google, yang menggabungkan heuristik dan pendekatan pembelajaran mesin, ditemukan berkinerja dengan baik secara keseluruhan.

Tabel hasil untuk metode yang diuji selama proyek, termasuk modul GCE milik peneliti. Angka yang lebih tinggi lebih baik.

Peneliti menyimpulkan bahwa ‘GCE tidak perlu mengikuti lingkungan web yang berubah dengan cepat karena bergantung pada sifat manusia—fitur global dan multibahasa yang sebenarnya’.