Πέρα από τη “Λειτουργία Αναγνωστής” με τη Μαchine Learning

Ερευνητές από τη Νότια Κορέα έχουν χρησιμοποιήσει τη μηχανική μάθηση για την ανάπτυξη μιας βελτιωμένης μεθόδου για την εξαγωγή του πραγματικού περιεχομένου από τις ιστοσελίδες, έτσι ώστε το “mobilia” μιας ιστοσελίδας – όπως π.χ. πλευρικές μπάρες, υποσέλιδα και κεφαλίδες πλοήγησης, καθώς και μπλοκ διαφημίσεων – να εξαφανίζεται για τον αναγνώστη.

Αν και τέτοιου είδους λειτουργικότητα είναι είτε ενσωματωμένη στις περισσότερες δημοφιλείς ιστοσελίδες, είτε είναι εύκολα διαθέσιμη μέσω επεκτάσεων και συνδέσμων, αυτές οι τεχνολογίες βασίζονται σε σημασιολογική μορφοποίηση που μπορεί να μην είναι παρόντα στην ιστοσελίδα, ή μπορεί να έχουν παραβιαστεί σκόπιμα από τον ιδιοκτήτη της ιστοσελίδας για να αποτρέψουν τον αναγνώστη από το να κρύψει την “πλήρη” εμπειρία της σελίδας.

Μια από τις δικές μας ιστοσελίδες ‘λιγότερο φορτωμένη’ με τη λειτουργία Reader View του Firefox.

Αντίθετα, η νέα μέθοδος χρησιμοποιεί ένα σύστημα με βάση τη γραφική παράσταση που επαναλαμβάνει την ιστοσελίδα, αξιολογώντας πόσο σχετικό είναι το περιεχόμενο με τον κεντρικό στόχο της σελίδας.

Η διαδικασία εξαγωγής περιεχομένου πρώτα διαιρεί τη σελίδα σε μια γραφική παράσταση (πάνω σειρά) πριν αξιολογήσει τη σχέση των ευρημάτων κελιών με άλλα κελιά (μεσαία) και τελικά συνδυάζει τα εγκεκριμένα κελιά (κάτω). Πηγή: https://arxiv.org/ftp/arxiv/papers/2110/2110.14164.pdf

Μόλις ταυτοποιηθεί ένα σχετικό κελί, η σχέση του με τα γειτονικά κελιά αξιολογείται επίσης πριν από τη συγχώνευση στο ερμηνευμένο “κεντρικό περιεχόμενο”.

Η κεντρική ιδέα της προσέγγισης είναι να εγκαταλείψει τη μορφοποίηση με βάση τον κώδικα ως δείκτη σχετικότητας (π.χ. HTML ετικέτες που θα σήμαιναν συνήθως την αρχή ενός παραγράφου, που μπορεί να αντικατασταθεί από εναλλακτικές ετικέτες που θα “απατήσουν” τους αναγνώστες οθόνης και’utilities όπως η Λειτουργία Αναγνωστής), και να εξαγάγει το περιεχόμενο με βάση μόνο την οπτική του εμφάνιση.

Η προσέγγιση, που ονομάζεται Grid-Center-Expand (GCE), έχει επεκταθεί από τους ερευνητές σε μοντέλα Deep Neural Network (DNN) που εκμεταλλεύονται το TabNet της Google, μια ερμηνευτική αρχιτεκτονική ταμπλό.

Πήγαινε στο Σημείο

Το έγγραφο έχει τον τίτλο Μη διαβάζεις, απλώς κοιτάξτε: Εξαγωγή κεντρικού περιεχομένου από ιστοσελίδες χρησιμοποιώντας οπτικά φανερά χαρακτηριστικά, και προέρχεται από τρεις ερευνητές στο Πανεπιστήμιο Hanyang, και έναν από το Ινστιτούτο Συγκλίνουσας Τεχνολογίας, όλα στην Σεούλ.

Η βελτιωμένη εξαγωγή του κεντρικού περιεχομένου μιας ιστοσελίδας είναι потенτικά πολύτιμη όχι μόνο για τον τελικό χρήστη, αλλά και για τα συστήματα μηχανής που έχουν ανατεθεί να καταναλώσουν ή να δείξουν περιεχόμενο τομέα για τους σκοπούς της Φυσικής Γλώσσας (NLP), και άλλους τομείς της Τεχνητής Νοημοσύνης.

Όπως είναι τώρα, αν το μη σχετικό περιεχόμενο περιλαμβάνεται σε τέτοιες διαδικασίες εξαγωγής, μπορεί να χρειαστεί να φιλτραριστεί χειροκίνητα (ή να επισημανθεί), με μεγάλο κόστος· χειρότερα, αν το μη επιθυμητό περιεχόμενο περιλαμβάνεται με το κεντρικό περιεχόμενο, μπορεί να επηρεάσει τον τρόπο με τον οποίο το κεντρικό περιεχόμενο ερμηνεύεται, και το αποτέλεσμα των συστημάτων μετασχηματισμού και κωδικοποιητή/αποκωδικοποιητή που βασίζονται σε καθαρό περιεχόμενο.

Μια βελτιωμένη μέθοδος, οι ερευνητές υποστηρίζουν, είναι ιδιαίτερα απαραίτητη επειδή οι υφιστάμενες προσεγγίσεις συχνά αποτυγχάνουν με ιστοσελίδες μη αγγλικών γλωσσών.

Οι γαλλικές, ιαπωνικές και ρωσικές ιστοσελίδες σημειώνονται ως οι χειρότερες σε ποσοστά επιτυχίας για τις τέσσερις πιο συχνές προσεγγίσεις ‘Λειτουργία Αναγνωστής’: Mozilla’s Readability.js; Google’s DOM Distiller; Web2Text; και Boilernet.

Δεδομένα και Εκπαίδευση

Οι ερευνητές συγκέντρωσαν υλικό dataset από αγγλικές λέξεις-κλειδιά στο GoogleTrends-2017 και GoogleTrends-2020 dataset, αν και παρατηρούν ότι, σε όρους αποτελεσμάτων, δεν υπήρχαν praktikés διαφορές μεταξύ των δύο dataset.

Επιπλέον, οι συγγραφείς συγκέντρωσαν μη αγγλικές λέξεις-κλειδιά από τη Νότια Κορέα, τη Γαλλία, την Ιαπωνία, τη Ρωσία, την Ινδονησία και τη Σαουδική Αραβία. Κινεζικές λέξεις-κλειδιά προστέθηκαν από ένα Baidu dataset,既然 Google Trends δεν μπορούσε να προσφέρει κινεζικά δεδομένα.

Δοκιμές και Αποτελέσματα

Στις δοκιμές του συστήματος, οι συγγραφείς βρήκαν ότι προσφέρει το ίδιο επίπεδο απόδοσης με πρόσφατα μοντέλα DNN, ενώ παρέχει καλύτερη φιλοξενία για eine ευρύτερη ποικιλία γλωσσών.

Για παράδειγμα, η Boilernet αρχιτεκτονική, ενώ διατηρεί καλή απόδοση στην εξαγωγή σχετικού περιεχομένου, προσαρμόζεται κακώς σε κινεζικά και ιαπωνικά dataset, ενώ η Web2Text, οι συγγραφείς βρίσκουν, έχει ‘σχετικά κακή απόδοση’ γενικά, με γλωσσικά χαρακτηριστικά που δεν είναι πολυγλωσσικά, και δεν είναι κατάλληλα για την εξαγωγή κεντρικού περιεχομένου από ιστοσελίδες.

Η Mozilla’s Readbility.js βρέθηκε να επιτυγχάνει αποδεκτή απόδοση σε πολλές γλώσσες, συμπεριλαμβανομένης της αγγλικής, ακόμη και ως μια με βάση κανόνες μέθοδος. Ωστόσο, οι ερευνητές βρήκαν ότι η απόδοσή της έπεσε σημαντικά σε ιαπωνικά και γαλλικά dataset, υπογραμμίζοντας τις περιορισμοί της προσπάθειας να αναλύσει χαρακτηριστικά μιας συγκεκριμένης περιοχής εξ ολοκλήρου με βάση κανόνες προσεγγίσεις.

Εν τω μεταξύ, η Google’s DOM Distiller, που συνδυάζει εύρητα και προσεγγίσεις μηχανικής μάθησης, βρέθηκε να έχει καλή απόδοση γενικά.

Πίνακας αποτελεσμάτων για τις μεθόδους που δοκιμάστηκαν κατά τη διάρκεια του έργου, συμπεριλαμβανομένου του δικού τους GCE module. Υψηλότερα νούμερα είναι καλύτερα.

Οι ερευνητές συμπεραίνουν ότι ‘GCE δεν χρειάζεται να跟ει τον ταχέως μεταβαλλόμενο περιβάλλον του ιστότοπου επειδή βασίζεται στη φύση του ανθρώπου—γenuinely全球 και πολυγλωσσικά χαρακτηριστικά’.