Konen ytimeen koneoppimisen avulla

Etelä-Korean tutkijat ovat käyttäneet koneoppimista kehittääkseen parannetun menetelmän todellisen sisällön erottamiseksi verkkosivuilta, jotta verkkosivun “huonekalut” – kuten sivupalkit, alatunnisteet ja navigointipäätekstit sekä mainoslohkot – katoavat lukijalle.

Vaikka tällainen toiminto on joko rakennettu useimpiin suosittuihin verkkoselaimiin tai on helposti saatavilla laajennuksina ja lisäosina, nämä teknologiat perustuvat semanttiseen muotoiluun, joka saattaa ei ole läsnä verkkosivulla tai joka on tahallisesti heikennetty sivuston omistajan toimesta estämään lukijaa piilotamasta “täysipainoista” sivun kokemusta.

Yksi omista verkkosivustamme ‘laimentanut’ Firefoxin sisäänrakennetun Reader View -toiminnon avulla.

Sen sijaan uusi menetelmä käyttää ruutupohjaista järjestelmää, joka käy verkkosivun läpi arvioiden, kuinka merkityksellistä sisältö on sivun ydinkohdalle.

Sisällön erottamisputki jakaa sivun ruudukkoon (ylärivi) ennen kuin arvioi löydettyjen merkityksellisten solujen suhdetta muihin soluihin (keski) ja lopulta yhdistää hyväksytyt solut (ala). Lähde: https://arxiv.org/ftp/arxiv/papers/2110/2110.14164.pdf

Kun merkityksellinen solu on tunnistettu, sen suhdetta lähellä oleviin soluihin arvioidaan myös ennen kuin se yhdistetään tulkittuun “ydinsisältöön”.

Lähestymistavan keskeinen idea on hylätä koodipohjainen merkintä merkityksellisyyden indeksinä (ts. HTML-tunnisteet, jotka normaalisti merkitsevät esimerkiksi kappaleen alkua, jotka voidaan korvata vaihtoehtoisilla tunnisteilla, jotka “huijaavat” näytön lukijat ja Reader View -kaltaiset työkalut) ja johtopäätös sisällöstä pelkästään sen visuaalisesta ulkonäöstä.

Lähestymistapa, jota kutsutaan Grid-Center-Expand (GCE) -menetelmäksi, on laajennettu tutkijoiden toimesta syvän neuroverkkomallin (DNN) malleiksi, jotka hyödyntävät Google:n TabNet -tulkintaa tabulaarisen oppimisarkkitehtuurin avulla.

Menestykseen

Artikkeli on otsikoitu Älä lue, vaan katso: Pääsisällön erottaminen verkkosivuilta visuaalisesti ilmenevien ominaisuuksien avulla, ja se on peräisin kolmelta Hanyangin yliopiston tutkijalta ja yhdeltä tutkijalta Institute of Convergence Technology -yliopistosta, kaikki sijaitsevat Soulissa.

Parannettu ydinsisällön erottaminen verkkosivuilta on potentiaalisesti arvokasta sekä vapaa-ajan loppukäyttäjälle että konejärjestelmille, jotka ovat tehtävänään sisällön niistämiselle tai indeksointiin luonnollisen kielen prosessoinnin (NLP) ja muiden tekoälysektorien tarkoituksiin.

Sen nykyisessä tilassa, jos epämerkityksellistä sisältöä sisällytetään tällaisiin erottamisprosesseihin, se voi vaatia manuaalista suodatusta (tai merkintää) suurilla kustannuksilla; pahimmassa tapauksessa, jos ei-toivottu sisältö sisällytetään ydinsisältöön, se voi vaikuttaa siihen, miten ydinsisältö tulkitaan, ja transformer- ja encoder/decoder -järjestelmien lopputulokseen, jotka riippuvat puhtaasta sisällöstä.

Parannettu menetelmä on tutkijoiden mukaan erityisen tarpeen, koska olemassa olevat lähestymistavat usein epäonnistuvat ei-englanninkielisillä verkkosivuilla.

Ranskan, japanin ja venäjän verkkosivut mainitaan saavuttaneen huonoimmat onnistumisprosentit neljällä yleisimmällä ‘Reader View’ -lähetyksellä: Mozillan Readability.js; Google DOM Distiller; Web2Text; ja Boilernet.

Tietojoukot ja koulutus

Tutkijat kokosivat tietojoukkomateriaalia englanninkielisistä avainsanoista GoogleTrends-2017 – ja GoogleTrends-2020 -tietojoukoista, vaikka he huomauttavat, että tuloksissa ei ollut käytännön eroja näiden kahden tietojoukon välillä.

Lisäksi kirjoittajat keräsivät ei-englanninkielisiä avainsanoja Etelä-Koreasta, Ranskasta, Japanista, Venäjältä, Indonesiasta ja Saudi-Arabiasta. Kiinalaiset avainsanat lisättiin Baidu -tietojoukosta, koska Google Trends ei voinut tarjota kiinalaista dataa.

Testaus ja tulokset

Järjestelmän testaamisessa kirjoittajat totesivat, että se tarjoaa saman tason suorituskyvyn kuin viimeaikaiset DNN-mallit, samalla tarjoten paremman mukautumisen laajalle valikoimalle kieliä.

Esimerkiksi Boilernet -arkkitehtuuri, joka ylläpitää hyvää suorituskykyä merkityksellisen sisällön erottamisessa, sopeutuu huonosti kiinalaisiin ja japanilaisiin tietojoukkoihin, kun taas Web2Text kirjoittajat löysivät “suhteellisen heikon suorituskyvyn” yleisesti, jolla on kielelliset ominaisuudet, jotka eivät ole monikielisiä, ja jotka eivät sovellu ydinsisällön erottamiseen verkkosivuilta.

Mozillan Readbility.js havaittiin saavuttaneen hyväksytyn suorituskyvyn useilla kielillä, mukaan lukien englanti, vaikka säännönpohjainen menetelmä. Kuitenkin tutkijat löysivät, että sen suorituskyky laski merkittävästi japanin- ja ranskalaisilla tietojoukoilla, korostamalla säännönpohjaisia lähestymistapoja alueen ominaisuuksien parsimisen rajoituksia.

Toisaalta Google:n DOM Distiller, joka yhdistää heuristiikkaa ja koneoppimista, havaittiin suorittavan hyvin yleisesti.

Tulosten taulukko testatulle menetelmille, mukaan lukien tutkijoiden oma GCE-moduuli. Suuremmat numerot ovat parempia.

Tutkijat päättelevät, että ‘GCE ei tarvitse pysyä mukana nopeasti muuttuvassa verkkoympäristössä, koska se perustuu ihmisen luonteeseen – aidoille maailmanlaajuisille ja monikielisille ominaisuuksille’.