Jenseits des “Lesemodus” mit Machine Learning

Forscher aus Südkorea haben mit Hilfe von Machine Learning eine verbesserte Methode entwickelt, um den tatsächlichen Inhalt von Webseiten zu extrahieren, sodass die “Möbel” einer Webseiten – wie Sidebars, Fußzeilen und Navigationsschaltflächen sowie Werbeblöcke – für den Leser verschwinden.

Obwohl eine solche Funktionalität in den meisten gängigen Webbrowsern integriert ist oder leicht über Erweiterungen und Plugins verfügbar ist, basieren diese Technologien auf semantischer Formatierung, die möglicherweise nicht in der Webseiten vorhanden ist oder von dem Seitenbesitzer absichtlich kompromittiert wurde, um zu verhindern, dass der Leser die “volle” Erfahrung der Seite versteckt.

Eine unserer eigenen Webseiten ‘abgespeckt’ mit der integralen Reader-View-Funktionalität von Firefox.

Stattdessen verwendet die neue Methode ein gridbasiertes System, das die Webseiten durchläuft und bewertet, wie relevant der Inhalt für das Kernziel der Seite ist.

Die Content-Extraktions-Pipeline teilt die Seite zunächst in ein Raster (obere Reihe) auf, bevor sie die Beziehung der gefundenen relevanten Zellen zu anderen Zellen (Mitte) auswertet und schließlich die genehmigten Zellen zusammenfügt (unten). Quelle: https://arxiv.org/ftp/arxiv/papers/2110/2110.14164.pdf

Sobald eine relevante Zelle identifiziert wurde, wird auch ihre Beziehung zu benachbarten Zellen ausgewertet, bevor sie in den interpretierten “Kerninhalt” integriert wird.

Die zentrale Idee des Ansatzes besteht darin, die codebasierte Formatierung als Index der Relevanz aufzugeben (d. h. HTML-Tags, die normalerweise den Beginn eines Absatzes anzeigen würden, der durch alternative Tags ersetzt werden kann, die Screen-Reader und Utilitys wie Reader View “täuschen”) und den Inhalt allein aufgrund seines visuellen Erscheinungsbilds zu bestimmen.

Der Ansatz, der als Grid-Center-Expand (GCE) bezeichnet wird, wurde von den Forschern auf Deep Neural Network (DNN)-Modelle erweitert, die Google’s TabNet ausnutzen, eine interpretative tabellarische Lernarchitektur.

Zur Sache

Das Papier trägt den Titel Nicht lesen, nur ansehen: Hauptinhalt-Extraktion aus Webseiten mithilfe visuell erkennbarer Merkmale und stammt von drei Forschern der Hanyang-Universität und einem Forscher des Instituts für Konvergenztechnologie, alle in Seoul.

Die verbesserte Extraktion des Kerninhalts von Webseiten ist potenziell nicht nur für den Endbenutzer, sondern auch für Maschinensysteme, die mit der Aufnahme oder Indizierung von Domaininhalten für die Zwecke der Natural Language Processing (NLP) und anderer Sektoren im Bereich KI betraut sind, von Wert.

Wie es derzeit steht, muss nicht relevanter Inhalt bei solchen Extraktionsprozessen manuell gefiltert (oder markiert) werden, was sehr teuer sein kann; schlimmer noch, wenn der unerwünschte Inhalt mit dem Kerninhalt einbezogen wird, kann dies die Art und Weise, wie der Kerninhalt interpretiert wird, beeinflussen und die Ergebnisse von Transformer- und Encoder/Decoder-Systemen, die auf sauberen Inhalten basieren, beeinträchtigen.

Ein verbessertes Verfahren, so argumentieren die Forscher, ist besonders notwendig, da bestehende Ansätze oft bei nicht-englischen Webseiten versagen.

Französische, japanische und russische Webseiten werden als diejenigen genannt, die bei den vier gängigsten ‘Reader-View’-Ansätzen die schlechtesten Erfolgsraten aufweisen: Mozilla’s Readability.js; Google’s DOM Distiller; Web2Text; und Boilernet.

Datensätze und Training

Die Forscher haben Datensatzmaterial aus englischen Schlüsselwörtern in den GoogleTrends-2017 und GoogleTrends-2020 Datensätzen zusammengestellt, obwohl sie feststellen, dass es in Bezug auf die Ergebnisse keine praktischen Unterschiede zwischen den beiden Datensätzen gab.

Zusätzlich sammelten die Autoren nicht-englische Schlüsselwörter aus Südkorea, Frankreich, Japan, Russland, Indonesien und Saudi-Arabien. Chinesische Schlüsselwörter wurden aus einem Baidu-Datensatz hinzugefügt, da Google Trends keine chinesischen Daten anbieten konnte.

Testen und Ergebnisse

Bei der Testung des Systems stellten die Autoren fest, dass es das gleiche Leistungsniveau wie jüngste DNN-Modelle bietet, während es eine bessere Unterstützung für eine Vielzahl von Sprachen bietet.

Beispielsweise bietet die Boilernet-Architektur, während sie eine gute Leistung bei der Extraktion von relevantem Inhalt beibehält, eine schlechte Anpassung an chinesische und japanische Datensätze, während Web2Text von den Autoren als “verhältnismäßig schlecht” bezeichnet wird, mit sprachlichen Merkmalen, die nicht multilingual sind und nicht für die Extraktion von zentralem Inhalt aus Webseiten geeignet sind.

Mozilla’s Readbility.js wurde als akzeptable Leistung über mehrere Sprachen hinweg, einschließlich Englisch, gefunden, auch wenn es sich um eine regelbasierte Methode handelt. Allerdings fanden die Forscher, dass seine Leistung bei japanischen und französischen Datensätzen deutlich abnahm, was die Grenzen des Versuchs, die Merkmale einer bestimmten Region ausschließlich durch regelbasierte Ansätze zu parsen, unterstreicht.

Währenddessen wurde Google’s DOM Distiller, der heuristische und maschinelle Lernansätze kombiniert, als gut über die gesamte Bandbreite hinweg gefunden.

Tabelle der Ergebnisse für die während des Projekts getesteten Methoden, einschließlich des eigenen GCE-Moduls der Forscher. Höhere Zahlen sind besser.

Die Forscher kommen zu dem Schluss, dass ‘GCE muss sich nicht an die sich schnell ändernde Webumgebung anpassen, da es auf menschliche Natur – tatsächlich globale und mehrsprachige Merkmale – basiert’.