Makine Öğrenimi ile ‘Okuyucu Modu’ Ötesine Geçmek

Güney Koreli araştırmacılar, web sayfalarından gerçek içeriği çıkarmak için makine öğrenimi kullanarak geliştirilmiş bir yöntem geliştirdiler, böylece web sayfasının ‘mobilyası’ – yan çubuklar, altbilgiler ve gezinti başlıkları gibi – okuyucu için kaybolur.

Böyle bir işlevselliğin çoğu popüler web tarayıcısına entegre edilmiş olması veya uzantılar ve eklentiler aracılığıyla kolayca erişilebilmesi rağmen, bu teknolojiler, web sayfasında mevcut olmayabilecek veya site sahibi tarafından sayfayı gizlemek için kasıtlı olarak bozulmuş olabilecek anlamsal biçimlendirmeye dayanır.

Kendi web sayfalarımızdan biri, Firefox’un entegre Reader View işlevselliği ile ‘slimmed down’.

Bunun yerine, yeni yöntem, web sayfasını değerlendirirken ilgili içeriğin ne kadar önemli olduğunu belirlemek için bir ızgara tabanlı sistem kullanır.

İçerik çıkarma pipeline’ı ilk olarak sayfayı bir ızgara’ya (üst satır) ayırır, daha sonra bulunan ilgili hücrelerin diğer hücrelerle ilişkisini değerlendirir (orta) ve nihayet onaylanan hücreleri birleştirir (alt). Kaynak: https://arxiv.org/ftp/arxiv/papers/2110/2110.14164.pdf

Bir ilgili hücre tanımlanır tanımlanmaz, yakındaki hücrelerle olan ilişkisi de değerlendirilir ve daha sonra yorumlanan ‘ana içerik’e birleştirilir.

Yaklaşımın merkezi fikri, ilgili içeriği belirlemede kod tabanlı işaretleme kullanmak yerine, içeriğin yalnızca görsel görünümüne dayanarak içeriği çıkarmaktır.

Yaklaşım, Grid-Center-Expand (GCE) olarak adlandırılmıştır ve araştırmacılar tarafından Google’ ın TabNet adlı yorumlayıcı tablo öğrenme mimarisini kullanan Derin Sinir Ağı (DNN) modellerine genişletilmiştir.

Önemli Noktaya Gel

Makale, Okumayın, sadece bakın: Web sayfalarından görsel olarak apparent özellikler kullanarak ana içerik çıkarma olarak adlandırılmıştır ve Seoul’deki Hanyang Üniversitesi’nden üç araştırmacı ve Institute of Convergence Technology’den bir araştırmacı tarafından yazılmıştır.

Web sayfalarından ana içeriği çıkarmak, yalnızca son kullanıcılar için değil, aynı zamanda doğal dil işleme (NLP) ve diğer AI alanlarındaki makine sistemleri için de değerli olabilir.

Mevcut yöntemler genellikle non-İngilizce web sayfalarında başarısız olur.

Fransızca, Japonca ve Rusça web sayfaları, dört ortak ‘Okuyucu Görünümü’ yaklaşımının başarısızlık oranlarında en kötü puanları aldıkları not edilmiştir: Mozilla’nın Readability.js; Google’ın DOM Distiller; Web2Text; ve Boilernet.

Veri Setleri ve Eğitim

Araştırmacılar, GoogleTrends-2017 ve GoogleTrends-2020 veri setlerinden İngilizce anahtar kelimeleri derlediler, ancak sonuçların iki veri seti arasında pratik olarak hiçbir fark olmadığını gözlemlediler.

Ayrıca, yazarlar Güney Kore, Fransa, Japonya, Rusya, Endonezya ve Suudi Arabistan’dan non-İngilizce anahtar kelimeleri topladılar. Çin anahtar kelimeleri, Google Trends’ın Çin verisi sunamadığı için Baidu veri setinden eklendi.

Test ve Sonuçlar

Sistemi test ederken, araştırmacılar, sistemin recent DNN modelleri ile aynı performans seviyesini sunduğunu, ancak daha geniş bir dizi dil için daha iyi bir uyum sağladığını buldular.

Örneğin, Boilernet mimarisi, ilgili içeriği çıkarmada iyi bir performans sergiler, ancak Çin ve Japon veri setlerine uyum sağlamakta zorluk çeker, Web2Text ise genel olarak ‘göreceli olarak zayıf bir performans’ gösterir ve çok dilli olmayan dil özelliklerine sahiptir ve web sayfalarından ana içeriği çıkarmaya uygun değildir.

Mozilla’nın Readbility.js adlı kural tabanlı yöntemi, birden fazla dilde, özellikle İngilizce’de kabul edilebilir bir performans sergiler, ancak Japonca ve Fransızca veri setlerinde performansı đáng kể ölçüde düşer, bu da belirli bir bölgenin özelliklerini tamamen kural tabanlı yaklaşımlarla çözümlemeye çalışmanın sınırlarını vurgular.

Google’ın DOM Distiller adlı yöntemi, hem sezgisel hem de makine öğrenimi yaklaşımını birleştirir ve genel olarak iyi bir performans sergiler.

Araştırmacıların kendi GCE modülünü de içeren test edilen yöntemler için sonuçlar tablosu. Daha yüksek numaralar daha iyidir.

Araştırmacılar, ‘GCE, hızlı değişen web ortamıyla uyum sağlamak zorunda değil, çünkü insan doğasına – gerçekten küresel ve çok dilli özelliklere – dayanır’ sonucuna varırlar.