Πού εξακολουθεί να χρειάζεται ανθρώπινη κρίση η εποπτεία περιεχομένου με τη βοήθεια της τεχνητής νοημοσύνης

Σε μια κοινότητα με εκατομμύρια χρήστες, η επιβλαβής συμπεριφορά μπορεί να εξαπλωθεί ταχύτερα απ’ όσο μπορούν οι συντονιστές να την εντοπίσουν και να την αντιμετωπίσουν. Μια μικρή κοινότητα μπορεί να βασίζεται σε μεγάλο βαθμό στην άμεση παρατήρηση. Οι συντονιστές γνωρίζουν τα τακτικά μέλη, κατανοούν την κουλτούρα της κοινότητας και συνήθως μπορούν να εντοπίσουν γρήγορα τη διαταρακτική συμπεριφορά. Όταν μια κοινότητα φτάσει τις εκατοντάδες χιλιάδες ή τα εκατομμύρια χρήστες, η χειροκίνητη αξιολόγηση της δραστηριότητας γίνεται πολύ δυσκολότερη. Δημιουργούνται υποομάδες, η γλώσσα εξελίσσεται και η επιβλαβής συμπεριφορά μπορεί να εξαπλωθεί σε πολλούς λογαριασμούς ή συνομιλίες προτού αναγνωρίσει κανείς το μοτίβο.

Η προσθήκη συντονιστών αυξάνει τη δυναμικότητα, αλλά κάθε ομάδα εποπτείας έχει περιορισμένο χρόνο και δυνατότητα συγκέντρωσης της προσοχής. Οι μεγάλες κοινότητες χρειάζονται υποδομές που μπορούν να επεξεργάζονται αδιάλειπτα τη συνήθη δραστηριότητα, να εντοπίζουν έγκαιρα ασυνήθιστες συμπεριφορές και να παρέχουν στους συντονιστές επαρκές πλαίσιο, ώστε να επικεντρώνονται σε περιπτώσεις που απαιτούν κρίση.

Έτσι, η εποπτεία εντάσσεται όλο και περισσότερο στο πεδίο της μηχανικής συστημάτων. Ο εντοπισμός, η κλιμάκωση, τα όρια, η παρατηρησιμότητα και η ανατροφοδότηση μπορούν να επηρεάσουν όλα το κατά πόσο μια κοινότητα παραμένει υγιής καθώς μεγαλώνει.

Η μεγαλύτερη αλλαγή όταν μια κοινότητα μεγαλώνει είναι ότι οι οριακές περιπτώσεις παύουν να είναι σπάνιες. Ακόμη κι αν μια συγκεκριμένη συμπεριφορά επηρεάζει μόνο ένα απειροελάχιστο ποσοστό των χρηστών, σε μια κοινότητα εκατομμυρίων ανθρώπων μπορεί να γίνει κάτι που οι συντονιστές συναντούν διαρκώς. Χάνεται επίσης η δυνατότητα να κατανοεί κανείς κάθε αλληλεπίδραση ξεχωριστά, οπότε η αποτελεσματική εποπτεία εξαρτάται όλο και περισσότερο από τον εντοπισμό μοτίβων, χωρίς να χάνεται το πλαίσιο που τα περιβάλλει.

Η εποπτεία σε μεγάλη κλίμακα απαιτεί αναγνώριση μοτίβων

Πολλά εργαλεία εποπτείας ξεκίνησαν με σχετικά απλούς κανόνες ενεργοποίησης. Εμφανιζόταν μια απαγορευμένη λέξη, ένας χρήστης υπέβαλλε αναφορά ή ένας συντονιστής εντόπιζε μια παραβίαση κανόνα και αναλάμβανε δράση.

Οι μεγάλες κοινότητες παράγουν πιο σύνθετα σήματα. Τα ανεπιθύμητα μηνύματα μπορεί να προέρχονται ταυτόχρονα από δεκάδες λογαριασμούς. Η παρενόχληση μπορεί να εξελίσσεται σταδιακά μέσα από πολλές συνομιλίες. Η συντονισμένη κακοποιητική συμπεριφορά μπορεί να περιλαμβάνει μεμονωμένες ενέργειες που φαίνονται ακίνδυνες όταν εξετάζονται ξεχωριστά. Οι νέοι λογαριασμοί μπορεί να συμπεριφέρονται φυσιολογικά για κάποιο διάστημα και, στη συνέχεια, να αρχίσουν ξαφνικά να δημοσιεύουν πανομοιότυπους συνδέσμους ή μηνύματα.

Αυτές οι περιπτώσεις εντοπίζονται ευκολότερα όταν τα συστήματα αξιολογούν τη συμπεριφορά διαχρονικά. Τα σήματα κινδύνου μπορεί να περιλαμβάνουν τη συχνότητα των μηνυμάτων, το πανομοιότυπο περιεχόμενο, την παλαιότητα του λογαριασμού, την επανάληψη συνδέσμων, τις απότομες αυξήσεις στη δραστηριότητα δημοσιεύσεων, ασυνήθιστα μοτίβα εγγραφής, προηγούμενες ενέργειες επιβολής κανόνων και τις σχέσεις μεταξύ λογαριασμών. Ένα μεμονωμένο σήμα μπορεί να αποκαλύπτει ελάχιστα. Ο συνδυασμός πολλών σημάτων μπορεί να υποδεικνύει ότι κάτι χρειάζεται πιο προσεκτική εξέταση.

Για παράδειγμα, η Ofcom, η ρυθμιστική αρχή επικοινωνιών του Ηνωμένου Βασιλείου, έχει εξετάσει τα αυτοματοποιημένα συστήματα ταξινόμησης περιεχομένου στο πλαίσιο μιας ευρύτερης διαδικασίας που περιλαμβάνει τη συλλογή δεδομένων, την ανάπτυξη μοντέλων, την εφαρμογή, την παρακολούθηση και την αξιολόγηση.

Το πλαίσιο κάνει το πρόβλημα δυσκολότερο. Μια καταιγίδα μηνυμάτων μπορεί να υποδηλώνει ανεπιθύμητη αλληλογραφία σε ένα επαγγελματικό φόρουμ, αλλά να αποτελεί φυσιολογική συμπεριφορά κατά τη διάρκεια μιας ζωντανής εκδήλωσης. Η γλώσσα μπορεί επίσης να έχει πολύ διαφορετικές σημασίες ανάλογα με τις σχέσεις, τις κοινές αναφορές και τους κανόνες της κοινότητας.

Οι αποτελεσματικές υποδομές εποπτείας χρειάζονται παραμετροποιήσιμους κανόνες, όρια προσαρμοσμένα σε κάθε κοινότητα και ιστορικά δεδομένα συμπεριφοράς. Η συχνότητα των μηνυμάτων είναι ένα χαρακτηριστικό παράδειγμα. Ένας χρήστης που δημοσιεύει πολύ γρήγορα μπορεί να στέλνει ανεπιθύμητα μηνύματα, αλλά μπορεί απλώς να είναι ενεργός κατά τη διάρκεια μιας ζωντανής εκδήλωσης ή μιας συζήτησης που εξελίσσεται γρήγορα. Αν ο ίδιος λογαριασμός είναι επίσης πολύ νέος, δημοσιεύει επανειλημμένα πανομοιότυπο περιεχόμενο και στέλνει τον ίδιο σύνδεσμο σε πολλά κανάλια, ο συνδυασμός αυτών των στοιχείων αποκτά πολύ μεγαλύτερη σημασία.

Η αυτοματοποίηση παρέχει στους συντονιστές καλύτερη πληροφόρηση

Οι ομάδες εποπτείας αφιερώνουν σημαντικό χρόνο σε επαναλαμβανόμενες εργασίες. Η αφαίρεση ανεπιθύμητων μηνυμάτων, οι περιορισμοί συνδέσμων, ο εντοπισμός διπλότυπων μηνυμάτων, τα όρια συχνότητας και ο έλεγχος λογαριασμών μπορούν συχνά να αυτοματοποιηθούν, όταν το σύστημα διαθέτει αρκετά ισχυρά σήματα ώστε να ενεργήσει με βεβαιότητα.

Η ανθρώπινη κρίση γίνεται πολύτιμη όταν η σημασία εξαρτάται από το ιστορικό, την πρόθεση, το χιούμορ, τον σαρκασμό, τις σχέσεις ή το πολιτισμικό πλαίσιο. Αυτές οι περιπτώσεις συχνά απαιτούν από κάποιον να κατανοήσει τη συνομιλία ως σύνολο. Η σωστά σχεδιασμένη αυτοματοποίηση μπορεί να διευκολύνει αυτές τις αποφάσεις, οργανώνοντας τις πληροφορίες γύρω από ένα περιστατικό.

Ένας συντονιστής που εξετάζει ύποπτη δραστηριότητα θα πρέπει να μπορεί να δει γιατί αυτή επισημάνθηκε. Οι σχετικές πληροφορίες μπορεί να περιλαμβάνουν πρόσφατες αλλαγές στη συμπεριφορά δημοσιεύσεων, προηγούμενα περιστατικά, σχετικές αναφορές, επαναλαμβανόμενο περιεχόμενο, το ιστορικό του λογαριασμού ή παρόμοια δραστηριότητα σε άλλα σημεία της κοινότητας.

Τα επίπεδα βεβαιότητας μπορούν επίσης να καθορίσουν την αντιμετώπιση. Η εξαιρετικά προβλέψιμη δραστηριότητα, όπως η επανειλημμένη αποστολή πανομοιότυπων ανεπιθύμητων μηνυμάτων από νεοδημιούργητους λογαριασμούς, μπορεί να δικαιολογεί άμεση δράση. Πιο αμφίσημη δραστηριότητα μπορεί να επισημαίνεται για εξέταση, μαζί με τα σήματα που προκάλεσαν την ειδοποίηση.

Αυτή η προσέγγιση είναι συνηθισμένη και σε άλλα μεγάλα τεχνικά συστήματα. Οι υποδομές παρακολούθησης επεξεργάζονται μεγάλους όγκους δραστηριότητας, εντοπίζουν ανωμαλίες, ομαδοποιούν σχετικά σήματα και κλιμακώνουν ασυνήθιστες συνθήκες. Οι μηχανικοί διερευνούν τις περιπτώσεις που απαιτούν βαθύτερη ανάλυση.

Η εποπτεία των κοινοτήτων μπορεί να ωφεληθεί από την ίδια αρχιτεκτονική. Τα αυτοματοποιημένα συστήματα διαχειρίζονται τον όγκο και τον εντοπισμό μοτίβων, ενώ οι συντονιστές λαμβάνουν ένα πιο εστιασμένο σύνολο περιπτώσεων προς αξιολόγηση.

Προτιμώ την εκτεταμένη αυτοματοποίηση όταν η συμπεριφορά είναι εξαιρετικά προβλέψιμη, αλλά την πολύ πιο συντηρητική προσέγγιση όταν αρχίζει να παίζει ρόλο το πλαίσιο. Αν ένα σύστημα καλείται να αποφασίσει αν κάτι είναι ανεπιθύμητο μήνυμα, ένα πανομοιότυπο μήνυμα που επαναλαμβάνεται μπορεί να είναι εύκολο να αξιολογηθεί· αν όμως προσπαθεί να κρίνει αν κάτι αποτελεί παρενόχληση, αστείο ή διαφωνία μεταξύ ανθρώπων που γνωρίζονται, είναι πολύ πιθανότερο να απαιτείται ανθρώπινη κρίση. Η αυτοματοποίηση θα πρέπει να μειώνει τον όγκο του περιττού περιεχομένου που καλούνται να επεξεργαστούν οι συντονιστές, όχι να προσποιείται ότι κάθε περίπτωση που απαιτεί κρίση μπορεί να υπαχθεί σε έναν κανόνα.

Τα ισχυρά συστήματα εποπτείας μαθαίνουν από τις αποφάσεις τους

Η συμπεριφορά των κοινοτήτων αλλάζει επίσης διαρκώς. Εμφανίζεται νέα αργκό. Οι χρήστες ανακαλύπτουν τρόπους να παρακάμπτουν τα φίλτρα. Οι τεχνικές ανεπιθύμητης αλληλογραφίας εξελίσσονται. Οι κοινωνικοί κανόνες μετατοπίζονται. Ένας κανόνας εποπτείας που λειτουργεί καλά σήμερα μπορεί να γίνει λιγότερο αποτελεσματικός καθώς αλλάζει η συμπεριφορά.

Οι υποδομές εποπτείας χρειάζονται ισχυρούς μηχανισμούς ανατροφοδότησης. Κάθε αυτοματοποιημένη ενέργεια παρέχει χρήσιμες πληροφορίες. Οι συχνές ανατροπές αποφάσεων από τους συντονιστές μπορεί να υποδηλώνουν ότι ένα όριο είναι υπερβολικά ευαίσθητο. Μια επαναλαμβανόμενη μορφή κακοποίησης που διαφεύγει ξανά και ξανά από τον εντοπισμό μπορεί να αποκαλύπτει ότι λείπει κάποιο σήμα. Ένας ασυνήθιστα υψηλός αριθμός ψευδώς θετικών αποτελεσμάτων μπορεί να δείχνει ότι ένας συγκεκριμένος κανόνας λειτουργεί ανεπαρκώς σε ορισμένα περιβάλλοντα.

Οι ομάδες θα πρέπει να μπορούν να παρακολουθούν ποιοι κανόνες ενεργοποιούνται συχνότερα, πόσο γρήγορα εντοπίζονται τα περιστατικά, πόσο συχνά ανατρέπονται οι αυτοματοποιημένες ενέργειες και ποιες συμπεριφορές τείνουν να προηγούνται μεγαλύτερων αναταραχών.

Το Πλαίσιο Διαχείρισης Κινδύνων ΤΝ του NIST τονίζει επίσης τη σημασία της συνεχούς μέτρησης, παρακολούθησης και διαχείρισης όταν οι οργανισμοί θέτουν σε λειτουργία αυτοματοποιημένα συστήματα.

Η παρατηρησιμότητα επιτρέπει στα συστήματα εποπτείας να προσαρμόζονται καθώς αλλάζουν οι κοινότητες. Μια κοινότητα παιχνιδιών, μια ομάδα επαγγελματικής συζήτησης και ένα φόρουμ υποστήριξης μπορεί να αναπτύξουν πολύ διαφορετικά μοτίβα συμπεριφοράς. Τα όρια εποπτείας τους θα πρέπει να μπορούν να εξελίσσονται ανάλογα με αυτές τις διαφορές, διατηρώντας παράλληλα σαφείς δικλίδες ασφαλείας.

Η διαφάνεια έχει επίσης σημασία. Οι χρήστες ωφελούνται από κατανοητούς κανόνες και σχετικά προβλέψιμη εφαρμογή τους. Οι συντονιστές χρειάζονται ορατότητα στα συστήματα που υποστηρίζουν τις αποφάσεις τους, ενώ οι μηχανικοί χρειάζονται επαρκείς πληροφορίες για να διαπιστώνουν αν τα συστήματα αυτά λειτουργούν όπως προβλέπεται.

Η επόμενη γενιά διαδικτυακών κοινοτήτων θα εξαρτάται σε μεγάλο βαθμό από την αρμονική συνεργασία της έξυπνης αυτοματοποίησης, της ανθρώπινης κρίσης και της συνεχούς μέτρησης.

Η εποπτεία σε μεγάλη κλίμακα απαιτεί υποδομές που μπορούν να επεξεργάζονται τεράστιους όγκους συνήθους δραστηριότητας, να αναγνωρίζουν μοτίβα που θα ήταν δύσκολο να εντοπίσουν μεμονωμένα άτομα και να παρέχουν στους συντονιστές πιο ουσιαστικές πληροφορίες όταν προκύπτουν δύσκολες αποφάσεις.

Η ανάπτυξη αυτών των υποδομών απαιτεί προσεκτική εξέταση των σημάτων συμπεριφοράς, των ορίων βεβαιότητας, των διαδικασιών κλιμάκωσης, της παρακολούθησης και της ανατροφοδότησης. Οι κοινότητες που θα αναπτύξουν αυτές τις δυνατότητες θα είναι καλύτερα εξοπλισμένες ώστε να αναπτύσσονται, διατηρώντας παράλληλα την ασφάλεια, την εμπιστοσύνη και την ποιότητα που κρατούν τους ανθρώπους ενεργούς.