Ut over “Lesermodus” med maskinlæring

Forskere fra Sør-Korea har brukt maskinlæring til å utvikle en forbedret metode for å trekke ut faktisk innhold fra nettsider, slik at “møblementet” på en nettside – som sidepaneler, fotere og navigasjonsheader, samt annonseblokker – forsvinner for leseren.

Selv om slike funksjoner er bygget inn i de fleste populære nettlesere, eller er lett tilgjengelig via utvidelser og tillegg, baserer disse teknologiene seg på semantisk formatering som kanskje ikke er til stede på nettsiden, eller som kan være blitt bevisst kompromittert av nettstedseieren for å forhindre leseren i å skjule “fullfet” opplevelse av siden.

En av våre egne nettsider ‘slanket ned’ med Firefox sin integerte Lesermodus-funksjonalitet.

I stedet bruker den nye metoden et grid-basert system som itererer gjennom nettsiden, og vurderer hvor relevant innholdet er til sidens hovedmål.

Innholdstrekkingspipelinen deler først siden inn i et grid (øverste rad) før den vurderer forholdet mellom funnet relevant celle og andre celler (midten) og til slutt slår sammen de godkjente cellene (bunn). Kilde: https://arxiv.org/ftp/arxiv/papers/2110/2110.14164.pdf

Når en relevant celle er identifisert, vurderes også dens forhold til nærliggende celler før den slås sammen med den tolkede “hovedinnholdet”.

Den sentrale ideen bak tilnærmingen er å forlate kode-basert markup som en indeks for relevans (dvs. HTML-tags som vanligvis skulle angi begynnelsen av en paragraf, for eksempel, som kan erstattes med alternativ tags som vil “narre” skjermlesere og verktøy som Lesermodus), og slutte å trekke ut innholdet utelukkende basert på dens visuelle utseende.

Tilnærmingen, kalt Grid-Center-Expand (GCE), er utvidet av forskerne til Deep Neural Network (DNN)-modeller som utnytter Googles TabNet, en tolkbar tabell-læringarkitektur.

Kom til poenget

Artikkelen har tittelen Ikke les, bare se: Hovedinnholdstrekkning fra nettsider ved hjelp av visuelt synlige trekk, og kommer fra tre forskere ved Hanyang University, og en fra Institute of Convergence Technology, alle beliggende i Seoul.

Forbedret innholdstrekkning av nettsidens hovedinnhold er potensielt verdifullt ikke bare for den vanlige sluttbrukeren, men også for maskinsystemer som er oppgitt å innta eller indekse domeneinnhold for formål som naturlig språkbehandling (NLP), og andre sektorer i AI.

Som det er nå, hvis ikke-relevant innhold er inkludert i slike innholdstrekkingsprosesser, kan det måtte filtreres manuelt (eller merkes), til stor kostnad; verre, hvis uønsket innhold er inkludert med hovedinnholdet, kan det påvirke hvordan hovedinnholdet tolkes, og resultatet av transformer- og encoder/decoder-systemer som er avhengige av rent innhold.

En forbedret metode, argumenterer forskerne, er spesielt nødvendig fordi eksisterende tilnærminger ofte feiler med ikke-engelske nettsider.

Franske, japanske og russiske nettsider er notert som de som scorer dårligst i suksessrater for de fire vanligste ‘Lesermodus’-tilnærmingene: Mozillas Readability.js; Googles DOM Distiller; Web2Text; og Boilernet.

Datasett og trening

Forskerne samlet inn datasett-materiale fra engelske nøkkelord i GoogleTrends-2017 og GoogleTrends-2020-datasett, selv om de observerer at det ikke var noen praktiske forskjeller mellom de to datasettene.

I tillegg samlet forfatterne inn ikke-engelske nøkkelord fra Sør-Korea, Frankrike, Japan, Russland, Indonesia og Saudi-Arabia. Kinesiske nøkkelord ble lagt til fra et Baidu-datasett, siden Google Trends ikke kunne tilby kinesiske data.

Testing og resultater

Ved å teste systemet, fant forfatterne at det tilbød samme nivå av ytelse som nyere DNN-modeller, samtidig som det ga bedre rom for en bredere variasjon av språk.

For eksempel tilbyr Boilernet-arkitekturen, selv om den opprettholder god ytelse i å trekke ut relevant innhold, tilpasser seg dårlig til kinesiske og japanske datasett, mens Web2Text, finner forfatterne, har “relativt dårlig ytelse” overalt, med lingvistiske trekk som ikke er flerspråklige, og som er uegnet for å trekke ut sentral innhold fra nettsider.

Mozillas Readbility.js ble funnet å oppnå akseptabel ytelse over flere språk, inkludert engelsk, selv som en regel-basert metode. Likevel fant forskerne at dens ytelse falt betydelig på japanske og franske datasett, og understreker begrensningene ved å prøve å parsere karakteristika til en bestemt region utelukkende ved regel-baserte tilnærminger.

Mens Googles DOM Distiller, som kombinerer heuristikk og maskinlæringsteknikker, ble funnet å fungere godt over hele linjen.

Tabell over resultater for metoder testet under prosjektet, inkludert forskernes eget GCE-modul. Høyere tall er bedre.

Forskerne konkluderer med at ‘GCE trenger ikke å holde pace med den raskt endrende nettverksmiljøet fordi det baserer seg på menneskelig natur—ekte globale og flerspråklige trekk’.