Καταργώντας τις Ξεπερασμένες «Αλήθειες» με τη Μαχανική Μάθηση

Ορισμένες φορές η αλήθεια έχει μια ημερομηνία λήξης. Όταν μια χρονικά περιορισμένη αξίωση (όπως «οι μάσκες είναι υποχρεωτικές στα μέσα μαζικής μεταφοράς») εμφανίζεται στις κατατάξεις των μηχανών αναζήτησης, η φαινομενική «εξουσιοδοτημένη» λύση μπορεί να παραμείνει για πολλά χρόνια, ξεπερνώντας более πρόσφατο και ακριβέστερο περιεχόμενο για το ίδιο θέμα.

Αυτό είναι ένα παραπροϊόν των αλγορίθμων των μηχανών αναζήτησης που προσπαθούν να αναγνωρίσουν και να προωθήσουν «μακροχρόνιες» οριστικές λύσεις, και της τάσης τους να προτιμούν περιεχόμενο που διατηρεί την κυκλοφορία με την πάροδο του χρόνου – και μιας ολοένα και πιο προσεκτικής στάσης απέναντι σε νεότερο περιεχόμενο στην εποχή των ψευδών ειδήσεων.

Εναλλακτικά, η υποτίμηση του πολύτιμου περιεχομένου του ιστότοπου απλώς και μόνο επειδή το timestamp που συνδέεται με αυτό έχει περάσει ένα αυθαίρετο «παράθυρο εγκυρότητας» κινδυνεύει να οδηγήσει σε μια γενιά πραγματικά χρήσιμου περιεχομένου να υποβαθμιστεί αυτόματα υπέρ επόμενου υλικού που μπορεί να είναι χαμηλότερου επιπέδου.

Για να διορθωθεί αυτό το σύνδρομο, μια νέα ερεύνα από ερευνητές στην Ιταλία, το Βέλγιο και τη Δανία έχει χρησιμοποιήσει μια ποικιλία τεχνικών μαχανικής μάθησης για την ανάπτυξη μιας μεθοδολογίας για χρονική κατάταξη αποδεικτικών στοιχείων.

Πέρα από τις Ξεπερασμένες Απαντήσεις

Το έγγραφο γράφτηκε από ερευνητές της Ευρωπαϊκής Επιτροπής στο Κέντρο Εργαστηριακών Ερευνών (JRC) στο Ίσπρα, το Καθολικό Πανεπιστήμιο στο Λέουβεν και το Πανεπιστήμιο της Κοπεγχάγης.

Το έργο εξετάζει τέσσερις χρονικές μεθόδους κατάταξης που εφαρμόζονται σε τρεις μεθόδους ελέγχου γεγονότων, καθεμία με διαφορετική προσέγγιση στην κατάταξη αποδεικτικών στοιχείων, και προσφέρει μια νέα μεθοδολογία για κατάταξη που χρησιμοποιεί χρονικές στάμπες ως «χρυσοί προτύποι». Η μελέτη δείχνει ότι η χρονική κατάταξη αποδεικτικών στοιχείων βελτιώνει την οξυδέρκεια των αποτελεσμάτων και επίσης βελτιώνει τις προβλέψεις εξουσιοδότησης και ακρίβειας για χρονικά ευαίσθητες αξίωσεις και γεγονότα.

Η έρευνα προσφέρεται ως πιθανό παράρτημα σε μεταγενέστερα ή υπάρχοντα συστήματα, και σχεδιάζεται για να βοηθήσει στην έρευνα, και ως πιθανός επιπλέον παράγοντας για ένταξη στην ανάπτυξη νέων και εξελιγμένων αλγορίθμων μηχανών αναζήτησης.

Το έργο μοντελοποιεί τις χρονικές δυναμικές των αποδεικτικών στοιχείων για την κατάταξη γεγονότων με βάση το περιεχόμενο, και υπερέχει των προσεγγίσεων «σεμαντικής ομοιότητας» που υιοθετούνται από τους τυπικούς αλγορίθμους κατάταξης των μηχανών αναζήτησης. Το μοντέλο που εκπαιδεύτηκε από τους ερευνητές χρησιμοποιεί μια βελτιστοποιημένη συνάρτηση μάθησης κατάταξης που μπορεί να επιβληθεί εύκολα σε μια υπάρχουσα αρχιτεκτονική ελέγχου γεγονότων. Οι ερευνητές υποστηρίζουν ότι το σύστημα είναι μια νέα συνεισφορά στην αυτόματη κατάταξη γεγονότων.

Τροποποίηση Πολλαπλών Αρχιτεκτονικών Ελέγχου Γεγονότων

Οι ερευνητές επέβαλλαν το χρονικά περιορισμένο παράγοντά τους σε τρεις υπάρχουσες αρχιτεκτονικές ελέγχου γεγονότων. Η πρώτη από αυτές είναι το μοντέλο Bidirectional Long Short Term Memory (BiLSTM) που προτάθηκε στο σύνολο δεδομένων MultiFC που κυκλοφόρησε το 2019.

Η δεύτερη είναι μια τροποποίηση του πρώτου, με ένα μονοκατευθυντικό Recurrent Neural Network (RNN) που αντικαθιστά το компонόμενο LSTM.

Το τρίτο μοντέλο που χρησιμοποίησαν οι ερευνητές είναι ένας μετασχηματιστής DistilBERT από τη βιβλιοθήκη Hugging Faces, μια αποσταγμένη έκδοση του μοντέλου NLP BERT της Google.

Σε όλες τις τρεις αρχιτεκτονικές, οι ερευνητές applied了一一种 ListMLE loss, από έρευνα που ηγήθηκε η Microsoft, η οποία έχει συμβάλλει συνεχώς σε νέα έρευνα για τον έλεγχο γεγονότων τα τελευταία δύο δεκαετία.

Τα δύο основные μοντέλα ελέγχου γεγονότων στα οποία η ερευνητική ομάδα έχει προσθέσει ένα χρονικό компонента ως φίλτρο για την εξουσιοδότηση και τις επόμενες τιμές κατάταξης. Πηγή: https://arxiv.org/pdf/2009.06402.pdf

Οι τιμές timestamp εξαγόταν από τα μεταδεδομένα εκπαίδευσης και συμπεριελέγονταν ως παράγοντες κατάταξης σε κάθε μοντέλο.

Δοκιμές

Η πειραματική αξιολόγηση του συστήματος περιελάμβανε τη χρήση του συνόλου δεδομένων MultiFC,既然 ότι είναι το μόνο υψηλού όγκου ανοιχτό σύνολο δεδομένων διαθέσιμο για αυτό το συγκεκριμένο ερευνητικό ενδιαφέρον. Το MultiFC περιέχει 34.924 πραγματικές αξίωσεις που προέρχονται από 26 διαφορετικές τοποθεσίες ελέγχου γεγονότων, συμπεριλαμβανομένων των Snopes και της Washington Post.

Η πρόβλεψη της ακρίβειας κάθε αξίωσης αυξάνεται με δέκα αποσπάσματα αποδεικτικών στοιχείων που παρέχονται από το Google Search API, και προβλέψεις που λαμβάνονται μέσω μιας σύγκλισης στοιχείων, συμπεριλαμβανομένων ομιλητή, ετικετών και κατηγοριών.

Πολύ συχνά η σχετική χρονική στάμπα δεν είναι απαραίτητα αυτή που περιέχεται στα μεταδεδομένα· ένα άρθρο μπορεί να αναφέρεται σε γεγονότα από προηγούμενες χρονικές στιγμές, και σε αυτή την περίπτωση τα συστήματα των ερευνητών έπρεπε να φροντίσουν να εξαγάγουν και να μετατρέψουν αυτά τα δεδομένα απευθείας από το κείμενο. Χωρίς αυτή τη διαδικασία, μια «επαναεκτέλεση» ξεπερασμένων ειδήσεων θα τείνει να της δώσει μια νέα λάμψη, ιδιαίτερα στην περίπτωση υψηλής εξουσιοδότησης ιστοσελίδων, που προωθεί τα ξεπερασμένα δεδομένα.

Οι ημερομηνίες εξαγόταν με μια διαδικασία Python, και τα επίσημα μεταδεδομένα ημερομηνιών ελέγχθηκαν για συνεπή μορφοποίηση (καθώς, για παράδειγμα, η μορφοποίηση ημερομηνίας των ΗΠΑ και του Ηνωμένου Βασιλείου διαφέρει). Όταν ελέγχθηκαν χειρονακτικά, δεν βρέθηκαν λάθη στα μεταδεδομένα χρονικής στάμπας.

Αποτελέσματα

Ενάντια σε μια χειρονακτική επαλήθευση των αυτοματοποιημένων αποτελεσμάτων, οι ερευνητές βρήκαν ότι η χρονική κατάταξη αποδεικτικών στοιχείων βελτίωσε σημαντικά τις υποθέσεις σχετικότητας που βασίζονταν σε καθαρή σεμαντική ομοιότητα ή κατατάξεις SERPs. Επίσης, διαπιστώνουν ότι η μέθοδός τους βελτιώνει τις προβλέψεις ακρίβειας για χρονικά ευαίσθητες αξίωσεις (δηλαδή περιστάσεις όπου μια ειδησεογραφική κατάσταση μπορεί να αλλάζει γρήγορα, και όπου είναι απαραίτητο να προτεραιοποιηθούν ενημερωμένες πληροφορίες χωρίς απλώς να επιβάλουν την προτεραιότητα των πιο πρόσφατων αποτελεσμάτων για ένα θέμα).

Οι ερευνητές σημειώνουν ότι αυτή η προσέγγιση θα είναι πολύτιμη στην βελτίωση των μοντέλων κατάταξης για εύθραυστα θέματα όπως η πολιτική και η ψυχαγωγία, όπου οι πληροφορίες αλλάζουν γρήγορα, και υψηλές εξελίξεις απαιτούν ένα πλαίσιο για αυτόματη υποβάθμιση από τις υψηλές θέσεις κατάταξης που μπορεί να έχουν επιτύχει κατά την κυκλοφορία.