Νέα Μελέτη Προσπαθεί να Βελτιώσει τους Αλγορίθμους Ανίχνευσης Μίσους

Οι εταιρείες κοινωνικών μέσων, ιδιαίτερα το Twitter, έχουν αντιμετωπίσει για καιρό κριτική για τον τρόπο με τον οποίο σηματοδοτούν την ομιλία και αποφασίζουν ποια λογαριασμού να απαγορεύσουν. Το υποκείμενο πρόβλημα σχεδόν πάντα έχει να κάνει με τους αλγορίθμους που χρησιμοποιούν για να παρακολουθούν τις online αναρτήσεις. Τα συστήματα τεχνητής νοημοσύνης είναι μακριά από το τέλειο όταν πρόκειται για αυτή την εργασία, αλλά υπάρχει συνεχής εργασία για να τα βελτιώσουν.

Συμπεριλαμβανόμενο σε αυτή την εργασία είναι μια νέα μελέτη που προέρχεται από το Πανεπιστήμιο της Νότιας Καλιφόρνιας, η οποία προσπαθεί να μειώσει certains σφάλματα που θα μπορούσαν να οδηγήσουν σε φυλετικές προκαταλήψεις.

Αποτυχία Αναγνώρισης Πλαίσιο

Ένα από τα ζητήματα που δεν λαμβάνει τόσο μεγάλη προσοχή έχει να κάνει με αλγορίθμους που προορίζονται να σταματήσουν την διάδοση μισούστικης ομιλίας, αλλά στην πραγματικότητα ενισχύουν τις φυλετικές προκαταλήψεις. Αυτό συμβαίνει όταν οι αλγόριθμοι αποτυγχάνουν να αναγνωρίσουν το πλαίσιο και τελικά σηματοδοτούν ή μπλοκάρουν tweets από μειονοτικές ομάδες.

Το μεγαλύτερο πρόβλημα με τους αλγορίθμους σε σχέση με το πλαίσιο είναι ότι είναι υπερευαίσθητοι σε ορισμένες όρους ταυτοποίησης ομάδας, όπως «μαύρος», «ομοφυλόφιλος» και «τρανσέξουαλ». Οι αλγόριθμοι θεωρούν αυτούς τους ταξινομείς μίσους, αλλά συχνά χρησιμοποιούνται από μέλη αυτών των ομάδων και το πλαίσιο είναι σημαντικό.

Σε μια προσπάθεια να επιλυθεί αυτό το ζήτημα της τυφλότητας του πλαισίου, οι ερευνητές δημιούργησαν έναν πιο ευαίσθητο ταξινομιστή μίσους. Ο νέος αλγόριθμος είναι λιγότερο πιθανό να λανθασμένα να επισημάνει μια ανάρτηση ως μίσος.

Ο Αλγόριθμος

Οι ερευνητές ανέπτυξαν τους νέους αλγορίθμους με δύο νέους παράγοντες στο μυαλό: το πλαίσιο σε σχέση με τους ταυτοποιητές ομάδας και αν υπάρχουν επίσης άλλες λειτουργίες μίσους στην ανάρτηση, όπως η αποανθρωποίηση.

Ο Brendan Kennedy είναι φοιτητής διδακτορικού στο τμήμα πληροφορικής και συν-συγγραφέας της μελέτης, η οποία δημοσιεύθηκε στις 6 Ιουλίου στο ACL 2020.

«Θέλουμε να φέρουμε την ανίχνευση μίσους πιο κοντά στην εφαρμογή στον πραγματικό κόσμο», είπε ο Kennedy.

«Οι μοντέλα ανίχνευσης μίσους συχνά «σπάει», ή παράγουν κακές προβλέψεις, όταν εισαχθούν σε δεδομένα του πραγματικού κόσμου, όπως τα κοινωνικά μέσα ή άλλα online κείμενα, γιατί είναι προκατειλημμένα από τα δεδομένα στα οποία εκπαιδεύονται να συνδέουν την εμφάνιση των κοινωνικών ταυτοποιητών με μίσος».

Ο λόγος που οι αλγόριθμοι είναι συχνά ανακριβείς είναι ότι εκπαιδεύονται σε ασύμμετρες βάσεις δεδομένων με εξαιρετικά υψηλές ποσοστώσεις μίσους. Λόγω αυτού, οι αλγόριθμοι αποτυγχάνουν να μάθουν πώς να χειρίζονται τι vypadají τα κοινωνικά μέσα στον πραγματικό κόσμο.

Ο καθηγητής Xiang είναι ειδικός στην επεξεργασία φυσικής γλώσσας.

«Είναι κλειδί για τα μοντέλα να μην αγνοούν τους ταυτοποιητές, αλλά να τους ταιριάζουν με το σωστό πλαίσιο», είπε ο Ren.

«Αν διδάξετε ένα μοντέλο από μια ασύμμετρη βάση δεδομένων, το μοντέλο αρχίζει να πιάνει παράξενες προτύπους και να μπλοκάρει χρήστες ανεπαρκώς».

Για να δοκιμάσουν τον αλγόριθμο, οι ερευνητές χρησιμοποίησαν ένα τυχαίο δείγμα κειμένου από δύο ιστοτόπους κοινωνικών μέσων που έχουν υψηλή ποσοστό μίσους. Το κείμενο ήταν αρχικά σηματοδοτημένο από ανθρώπους ως προκατειλημμένο ή αποανθρωπιστικό. Το μοντέλο της κατάστασης του τεχνητού ήταν στη συνέχεια μετρημένο έναντι του μοντέλου των ερευνητών για την ανεπαρκή σηματοδότηση μη-μίσους, μέσω της χρήσης 12.500 άρθρων της New York Times χωρίς μίσος. Ενώ τα μοντέλα της κατάστασης του τεχνητού κατάφεραν να επιτύχουν 77% ακρίβεια στην αναγνώριση μίσους και μη-μίσους, το μοντέλο των ερευνητών ήταν υψηλότερο στο 90%.

«Αυτή η εργασία από μόνη της δεν κάνει την ανίχνευση μίσους τέλεια, αυτό είναι ένα τεράστιο έργο που πολλοί εργάζονται, αλλά κάνει προοδευτική πρόοδο», είπε ο Kennedy.

«Εκτός από το να αποτρέψουμε τις αναρτήσεις στα κοινωνικά μέσα από μέλη προστατευόμενων ομάδων από την ακατάλληλη λογοκρισία, ελπίζουμε ότι η δουλειά μας θα βοηθήσει να διασφαλιστεί ότι η ανίχνευση μίσους δεν προκαλεί άσκοπη ζημία ενισχύοντας ψευδείς συνδέσεις προκατάληψης και αποανθρωποίησης με κοινωνικές ομάδες».