Νέα Μελέτη Προσπαθεί να Βελτιώσει τους Αλγορίθμους Ανίχνευσης Μισαλλόδοξου Λόγου

Οι εταιρείες κοινωνικών μέσων, ιδιαίτερα το Twitter, έχουν αντιμετωπίσει για καιρό κριτική για τον τρόπο με τον οποίο σημαδεύουν τον λόγο και αποφασίζουν ποια λογαριασμούς να απαγορεύσουν. Το υποκείμενο πρόβλημα σχεδόν πάντα έχει να κάνει με τους αλγορίθμους που χρησιμοποιούν για να παρακολουθούν τις online αναρτήσεις. Τα συστήματα τεχνητής νοημοσύνης είναι μακριά από την τελειότητα όταν πρόκειται για αυτή τη δουλειά, αλλά υπάρχει συνεχής εργασία για να τους βελτιώσουν.

Συμπεριλαμβανόμενο σε αυτή τη δουλειά είναι μια νέα μελέτη που προέρχεται από το Πανεπιστήμιο της Νότιας Καλιφόρνιας και προσπαθεί να μειώσει certains σφάλματα που θα μπορούσαν να οδηγήσουν σε φυλετική προκατάληψη.

Αποτυχία Αναγνώρισης Πλαίσιο

Ένα από τα ζητήματα που δεν λαμβάνει τόσο μεγάλη προσοχή έχει να κάνει με αλγορίθμους που σκοπό έχουν να σταματήσουν τη διάδοση του μισαλλόδοξου λόγου, αλλά στην πραγματικότητα ενισχύουν τη φυλετική προκατάληψη. Αυτό συμβαίνει όταν οι αλγόριθμοι αποτυγχάνουν να αναγνωρίσουν το πλαίσιο και τελικά σημαδεύουν ή μπλοκάρουν tweets από μειονοτικές ομάδες.

Το μεγαλύτερο πρόβλημα με τους αλγορίθμους σε σχέση με το πλαίσιο είναι ότι είναι υπερευαίσθητοι σε ορισμένες ομάδες-ταυτοποιητικούς όρους όπως “μαύρος”, “ομοφυλόφιλος” και “τρανσέξουαλ”. Οι αλγόριθμοι θεωρούν αυτούς ταξινομητές μισαλλόδοξου λόγου, αλλά συχνά χρησιμοποιούνται από μέλη αυτών των ομάδων και το περιβάλλον είναι σημαντικό.

Σε μια προσπάθεια να επιλύσει αυτό το ζήτημα της τυφλότητας του πλαισίου, οι ερευνητές δημιούργησαν έναν πιο ευαίσθητο ταξινομητή μισαλλόδοξου λόγου. Ο νέος αλγόριθμος είναι λιγότερο πιθανό να λανθασμένα επισημάνει μια ανάρτηση ως μισαλλόδοξο λόγο.

Ο Αλγόριθμος

Οι ερευνητές ανέπτυξαν τους νέους αλγορίθμους με δύο neuen παράγοντες στο μυαλό: το πλαίσιο σε σχέση με τους ταυτοποιητές της ομάδας, και αν υπάρχουν επίσης άλλα χαρακτηριστικά του μισαλλόδοξου λόγου στην ανάρτηση, όπως απανθρώπινη γλώσσα.

Ο Brendan Kennedy είναι φοιτητής διδακτορικού προγράμματος πληροφορικής και συν-πρωταγωνιστής της μελέτης, η οποία δημοσιεύθηκε στις 6 Ιουλίου στο ACL 2020.

“Θέλουμε να φέρουμε την ανίχνευση του μισαλλόδοξου λόγου πιο κοντά στην εφαρμογή στον πραγματικό κόσμο”, είπε ο Kennedy.

“Οι μοντέλοι ανίχνευσης μισαλλόδοξου λόγου συχνά ‘σπάζουν’ ή παράγουν κακές προβλέψεις, όταν εισαχθούν σε δεδομένα του πραγματικού κόσμου, όπως τα κοινωνικά μέσα ή άλλα online κείμενα, επειδή είναι προκατειλημμένα από τα δεδομένα στα οποία εκπαιδεύονται να συνδέουν την εμφάνιση των κοινωνικών ταυτοποιητικών όρων με μισαλλόδοξο λόγο.”

Ο λόγος για τον οποίο οι αλγόριθμοι είναι συχνά ανακριβείς είναι ότι εκπαιδεύονται σε ασύμμετρα δεδομένα με εξαιρετικά υψηλές ποσοστώσεις μισαλλόδοξου λόγου. Λόγω αυτού, οι αλγόριθμοι αποτυγχάνουν να μάθουν πώς να χειρίζονται τι τα κοινωνικά μέσα στην πραγματικότητα μοιάζουν στον πραγματικό κόσμο.

Ο καθηγητής Xiang είναι ειδικός στη φυσική επεξεργασία γλώσσας.

“Είναι κλειδί για τα μοντέλα να μην αγνοούν τους ταυτοποιητές, αλλά να τους ταιριάζουν με το σωστό πλαίσιο”, είπε ο Ren.

“Εάν διδάξετε ένα μοντέλο από ένα ασύμμετρο σύνολο δεδομένων, το μοντέλο αρχίζει να πιάνει παράξενους συνδυασμούς και να μπλοκάρει χρήστες αντικανονικά.”

Για να δοκιμάσουν τον αλγόριθμο, οι ερευνητές χρησιμοποίησαν ένα τυχαίο δείγμα κειμένου από δύο ιστοτόπους κοινωνικών μέσων που έχουν υψηλό ποσοστό μισαλλόδοξου λόγου. Το κείμενο πρώτα σημαδεύτηκε από ανθρώπους ως προκατειλημμένο ή απανθρώπινη. Το μοντέλο της τελευταίας τεχνολογίας μετρήθηκε εναντίον του μοντέλου των ερευνητών για την αντικανονική σημάνευση μη μισαλλόδοξου λόγου, μέσω της χρήσης 12.500 άρθρων της New York Times χωρίς μισαλλόδοξο λόγο. Ενώ το μοντέλο της τελευταίας τεχνολογίας κατάφερε να επιτύχει το 77% ακρίβεια στην αναγνώριση μισαλλόδοξου και μη μισαλλόδοξου λόγου, το μοντέλο των ερευνητών ήταν υψηλότερο στο 90%.

“Αυτή η εργασία από μόνη της δεν κάνει την ανίχνευση μισαλλόδοξου λόγου τέλεια, αυτό είναι ένα τεράστιο πρόγραμμα που πολλοί δουλεύουν, αλλά κάνει σταδιακή πρόοδο”, είπε ο Kennedy.

“Εκτός από το να αποτρέψουμε τις αναρτήσεις στα κοινωνικά μέσα από μέλη προστατευόμενων ομάδων να цензουρούνται αντικανονικά, ελπίζουμε η δουλειά μας θα βοηθήσει να διασφαλίσει ότι η ανίχνευση μισαλλόδοξου λόγου δεν προκαλεί άσκοπη ζημία ενισχύοντας ψευδείς συσχετίσεις προκατάληψης και απανθρώπινης γλώσσας με κοινωνικές ομάδες.”