Oltre la “Modalità lettura” con l’apprendimento automatico

I ricercatori della Corea del Sud hanno utilizzato l’apprendimento automatico per sviluppare un metodo migliorato per estrarre il contenuto effettivo dalle pagine web, in modo che la “mobilia” di una pagina web – come barre laterali, piè di pagina e intestazioni di navigazione, nonché blocchi pubblicitari – scompaia per l’utente.

Sebbene tale funzionalità sia già integrata nella maggior parte dei browser web più popolari o sia facilmente disponibile tramite estensioni e plugin, queste tecnologie si basano su una formattazione semantica che potrebbe non essere presente nella pagina web o che potrebbe essere stata compromessa intenzionalmente dal proprietario del sito per impedire all’utente di nascondere l’esperienza “completa” della pagina.

Una delle nostre pagine web ‘snellite’ con la funzionalità Reader View integrata di Firefox.

Invece, il nuovo metodo utilizza un sistema a griglia che scorre la pagina web, valutando quanto il contenuto sia pertinente all’obiettivo principale della pagina.

La pipeline di estrazione del contenuto divide la pagina in una griglia (riga superiore) prima di valutare la relazione delle celle pertinenti con altre celle (medio) e infine unire le celle approvate (basso). Fonte: https://arxiv.org/ftp/arxiv/papers/2110/2110.14164.pdf

Una volta identificata una cella pertinente, la sua relazione con le celle vicine viene valutata prima di essere unita al contenuto “core” interpretato.

L’idea centrale dell’approccio è abbandonare la markup basata sul codice come indice di rilevanza (ad esempio, i tag HTML che normalmente denotano l’inizio di un paragrafo, che possono essere sostituiti da tag alternativi che “ingannano” i lettori di schermo e utility come Reader View) e dedurre il contenuto basandosi solo sul suo aspetto visivo.

L’approccio, chiamato Grid-Center-Expand (GCE), è stato esteso dai ricercatori in modelli di reti neurali profonde (DNN) che sfruttano TabNet di Google, un’architettura di apprendimento tabulare interpretativo.

Vai al punto

L’articolo si intitola Non leggere, solo guarda: estrazione del contenuto principale dalle pagine web utilizzando caratteristiche visivamente evidenti e proviene da tre ricercatori dell’Università Hanyang e uno dell’Istituto di tecnologia di convergenza, tutti ubicati a Seul.

L’estrazione migliorata del contenuto delle pagine web è potenzialmente preziosa non solo per l’utente finale, ma anche per i sistemi di macchina che sono incaricati di ingerire o indicizzare il contenuto del dominio per scopi di elaborazione del linguaggio naturale (NLP) e altri settori dell’IA.

Come stanno le cose, se il contenuto non pertinente è incluso in tali processi di estrazione, potrebbe essere necessario filtrarlo manualmente (o etichettarlo), a grande spesa; peggio, se il contenuto indesiderato è incluso con il contenuto principale, potrebbe influenzare la way in cui il contenuto principale viene interpretato e l’esito dei sistemi di trasformazione e encoder/decoder che si basano su contenuti puliti.

Un metodo migliorato, sostengono i ricercatori, è particolarmente necessario perché gli approcci esistenti spesso falliscono con le pagine web non in inglese.

Le pagine web in francese, giapponese e russo sono segnalate come quelle con i tassi di successo più bassi per i quattro approcci ‘Reader View’ più comuni: Readability.js di Mozilla; DOM Distiller di Google; Web2Text; e Boilernet.

Set di dati e formazione

I ricercatori hanno raccolto materiale per il set di dati da parole chiave in inglese in GoogleTrends-2017 e GoogleTrends-2020, sebbene osservino che, in termini di risultati, non ci sono state differenze pratiche tra i due set di dati.

Inoltre, gli autori hanno raccolto parole chiave non in inglese dalla Corea del Sud, Francia, Giappone, Russia, Indonesia e Arabia Saudita. Le parole chiave cinesi sono state aggiunte da un set di dati Baidu, poiché Google Trends non poteva offrire dati cinesi.

Test e risultati

Nel testare il sistema, gli autori hanno scoperto che offre lo stesso livello di prestazioni dei recenti modelli DNN, mentre fornisce una migliore accoglienza per una più ampia varietà di lingue.

Ad esempio, l’architettura Boilernet, mentre mantiene buone prestazioni nell’estrazione del contenuto pertinente, si adatta male ai set di dati cinesi e giapponesi, mentre Web2Text, gli autori trovano, ha ‘prestazioni relativamente scarse’ in generale, con caratteristiche linguistiche che non sono multilingue e non sono adatte per estrarre il contenuto centrale dalle pagine web.

Mozilla’s Readbility.js è stato trovato per raggiungere prestazioni accettabili in più lingue, compreso l’inglese, anche come metodo basato su regole. Tuttavia, i ricercatori hanno trovato che le sue prestazioni sono scese notevolmente sui set di dati giapponesi e francesi, evidenziando i limiti del tentativo di analizzare le caratteristiche di una regione specifica interamente con approcci basati su regole.

Nel frattempo, Google’s DOM Distiller, che combina euristica e approcci di apprendimento automatico, è stato trovato per funzionare bene in generale.

Tabella dei risultati per i metodi testati durante il progetto, inclusa la modifica GCE dei ricercatori. I numeri più alti sono migliori.

I ricercatori concludono che ‘GCE non deve tenere il passo con l’ambiente web in rapida evoluzione perché si basa sulla natura umana – caratteristiche globali e multilingue autentiche’.