Ji bilî 'Moda Xwendevan' Bi Fêrbûna Makîneyê

Lekolînwanên ji Koreya Başûr fêrbûna makîneyê bikar anîne da ku rêbazek pêşkeftî ji bo derxistina naveroka rastîn ji rûpelên malperê pêş bixin da ku 'mobila' rûpelek malperê - wekî kêlek, pêlav û sernavên navîgasyonê, û her weha blokên reklamê - ji xwendevan re winda bibin. .

Her çend fonksiyonek wusa di nav pir gerokên webê yên populer de hatî çêkirin, an jî bi hêsanî bi pêvekirin û pêvekan ve tê peyda kirin, van teknolojiyên xwe dispêrin şeklê semantîk ku dibe ku di rûpelê malperê de tune be, an jî dibe ku bi qestî ji hêla xwediyê malperê ve hatî desteser kirin. ji bo ku xwendevan nehêle ku ezmûna 'temamî qelew' a rûpelê veşêre.

Yek ji rûpelên webê yên me bi fonksiyona yekpare ya Reader View ya Firefox 'kêm bû'.

Di şûna wê de, rêbaza nû pergalek-based torê bikar tîne ku di nav rûpelê malperê de dubare dike, dinirxîne ka naverok bi armanca bingehîn a rûpelê re çiqas têkildar e.

Xeta derxistina naverokê berî ku têkiliya hucreyên têkildar ên hatine dîtin bi şaneyên din re binirxîne (navîn) û di dawiyê de şaneyên pejirandî (jêr) yek dike, pêşî rûpelê di nav torek (rêza jorîn) de dabeş dike. Çavkanî: https://arxiv.org/ftp/arxiv/papers/2110/2110.14164.pdf

Dema ku şaneyek têkildar were nas kirin, pêwendiya wê bi şaneyên nêzîk re jî tê nirxandin berî ku di nav "naveroka bingehîn" de were şirove kirin.

Fikra bingehîn a nêzîkbûnê ev e ku meriv nîşankirina kod-based wekî nîşanek têkildariyê bihêle (ango tagên HTML-ê yên ku bi gelemperî destpêka paragrafekê destnîşan dikin, mînakî, ku dikare bi etîketên alternatîf were guheztin ku dê xwendevanên ekranê 'xapînin' û bixapînin." karûbarên wekî Reader View), û naverokê tenê li ser xuyangê dîtbarî derdixe holê.

Nêzîkatiya ku jê re Grid-Center-Expand (GCE) tê gotin, ji hêla lêkolîneran ve di nav modelên Tora Neuralî ya Kûr (DNN) de ku Google-ê îstismar dikin, hate dirêj kirin. TabNet, mîmariya fêrbûna tabloya şiroveker.

Biçe ser xalê

Ew kaxez sernavkirî ye Nexwînin, tenê binihêrin: Derxistina naveroka sereke ji rûpelên malperê bi karanîna taybetmendiyên xuyang, û ji sê lêkolînerên li Zanîngeha Hanyang, û yek ji Enstîtuya Teknolojiya Hevahengiyê, ku hemî li Seulê ne, tê.

Derxistina pêşkeftî ya naveroka rûpela malperê ya bingehîn ne tenê ji bo bikarhênerê dawî yê casual, lê di heman demê de ji bo pergalên makîneyê yên ku ji bo mebestên Pêvajoya Zimanê Xwezayî (NLP), û sektorên din ên di AI-ê de, bi hilgirtin an navnîşkirina naveroka domainê têne peywirdar kirin potansiyel hêja ye.

Weke ku radiweste, ger naverokek ne-girêdayî di nav pêvajoyên derxistinê yên weha de hebe, dibe ku hewce be ku ew bi destan were fîltrekirin (an binavkirin), bi lêçûnek mezin; xirabtir, heke naveroka nedilxwaz bi naveroka bingehîn re were vegirtin, ew dikare bandorê li ser şîrovekirina naveroka bingehîn, û encamên pergalên veguherîner û şîfreker / dekoder ku xwe dispêre naveroka paqij bike.

Rêbazek çêtir, lêkolîner dibêjin, bi taybetî hewce ye ji ber ku nêzîkatiyên heyî bi gelemperî bi rûpelên malperê yên ne-îngilîzî têk diçin.

Malperên Fransî, Japonî û Rûsî di rêjeya serkeftinê de ji bo çar nêzîkatiyên herî gelemperî yên 'Nêrîna Xwendevanan' wekî encamên herî xirab têne destnîşan kirin: Mozilla's Readability.js; Google's DOM Distiller; Web2Text; û Boilernet.

Datasets û Perwerde

Lekolînwanan ji peyvên sereke yên Englishngilîzî materyalê danehevê berhev kirin GoogleTrends-2017 û GoogleTrends-2020 databases, her çend ew dibînin ku, di warê encaman de, di navbera her du daneyan de cûdahiyên pratîkî tune.

Wekî din, nivîskaran ji Koreya Başûr, Fransa, Japonya, Rusya, Endonezya û Erebistana Siûdî peyvên ne-îngilîzî berhev kirin. Keywordên çînî ji a Baidu database, ji ber ku Google Trends nikare daneyên Çînî pêşkêşî bike.

Test û Encam

Di ceribandina pergalê de, nivîskaran dît ku ew heman astê performansê wekî modelên DNN yên vê dawiyê pêşkêşî dike, di heman demê de cîhek çêtir ji bo cûrbecûr zimanan peyda dike.

Wek mînak, Boilernet mîmarî, dema ku performansa baş di derxistina naveroka têkildar de diparêze, bi hûrgulî bi danehevên Çînî û Japonî re têkildar dibe, dema ku Web2Text, nivîskar dibînin, ku li her derê 'performansa nisbeten nebaş' heye, bi taybetmendiyên zimanî yên ku ne pirzimanî ne, û ji bo derxistina naveroka navendî ji rûpelên malperê neguncan in.

Mozilla's Readbility.js hate dîtin ku performansa pejirandî di nav pir zimanan de di nav de Englishngilîzî, tewra wekî rêbazek-bingeha qaîdeyê jî bi dest dixe. Lêbelê, lêkolîneran dît ku performansa wê bi taybetî li ser danûstendinên Japonî û Frensî daket, û ronî dike ku sînorên hewildana parskirina taybetmendiyên herêmek taybetî bi tevahî bi nêzîkatiyên li gorî qaîdeyan.

Di vê navberê de ya Google DOM Distiller, ku nêzîkatiyên heuristics û fêrbûna makîneyê tevlihev dike, hate dîtin ku li seranserê panelê baş performans dike.

Tabloya encaman ji bo rêbazên ku di dema projeyê de hatine ceribandin, tevî modula GCE-ya xweya lêkolîneran. Hejmarên bilind çêtir in.

Lêkolîner encam didin ku "GCE ne hewce ye ku bi hawîrdora malperê ya ku bi lez diguhere re bidome ji ber ku ew xwe dispêre xwezaya mirovan - taybetmendiyên gerdûnî û pirzimanî yên rastîn.".