Dove la moderazione dei contenuti basata sull’IA ha ancora bisogno del giudizio umano

In una community con milioni di utenti, i comportamenti dannosi possono diffondersi più rapidamente di quanto i moderatori riescano a individuarli e contrastarli. Una community piccola può fare molto affidamento sull’osservazione diretta. I moderatori conoscono i partecipanti abituali, comprendono la cultura della community e di solito riescono a individuare rapidamente i comportamenti che creano disordini. Quando una community raggiunge centinaia di migliaia o milioni di utenti, diventa molto più difficile valutare manualmente l’attività. Si formano sottogruppi, il linguaggio evolve e i comportamenti dannosi possono diffondersi attraverso numerosi account o conversazioni prima che qualcuno riconosca lo schema.

Aggiungere moderatori aumenta la capacità operativa, ma il tempo e l’attenzione di ogni team di moderazione sono limitati. Le community di grandi dimensioni hanno bisogno di un’infrastruttura in grado di elaborare costantemente le attività di routine, individuare tempestivamente i comportamenti insoliti e fornire ai moderatori un contesto sufficiente per concentrarsi sulle situazioni che richiedono un giudizio.

La moderazione rientra sempre più nell’ambito dell’ingegneria dei sistemi. Il rilevamento, l’escalation, le soglie, l’osservabilità e i meccanismi di feedback possono tutti influire sulla capacità di una community di mantenersi sana mentre cresce.

Con l’aumentare delle dimensioni, il cambiamento più significativo è che i casi limite smettono di essere rari. Anche se un determinato comportamento riguarda solo una minima parte degli utenti, su milioni di persone può diventare un fenomeno che i moderatori incontrano di continuo. Inoltre, non è più possibile comprendere ogni interazione singolarmente, quindi una buona moderazione dipende sempre più dalla capacità di individuare gli schemi senza perdere di vista il contesto che li determina.

La moderazione su larga scala richiede il riconoscimento degli schemi

Molti strumenti di moderazione sono nati da criteri di attivazione relativamente semplici. Compariva una parola vietata, un utente inviava una segnalazione oppure un moderatore notava una violazione delle regole e interveniva.

Le community di grandi dimensioni generano segnali più complessi. Lo spam può arrivare contemporaneamente da decine di account. Le molestie possono svilupparsi gradualmente nell’arco di diverse conversazioni. Gli abusi coordinati possono comprendere singole azioni che, considerate separatamente, sembrano innocue. I nuovi account possono comportarsi normalmente per un certo periodo, per poi iniziare all’improvviso a pubblicare link o messaggi identici.

È più facile individuare queste situazioni quando i sistemi valutano il comportamento nel tempo.  I segnali di una possibile minaccia possono includere la frequenza dei messaggi, la presenza di contenuti duplicati, l’anzianità dell’account, la ripetizione dei link, aumenti improvvisi dell’attività di pubblicazione, modalità insolite di adesione, precedenti provvedimenti e relazioni tra account. Un singolo segnale può rivelare ben poco. La presenza contemporanea di più segnali può indicare che una situazione merita maggiore attenzione.

Per esempio, l’autorità britannica di regolamentazione delle comunicazioni, Ofcom, ha esaminato i sistemi automatizzati di classificazione dei contenuti nell’ambito di un processo più ampio che comprende la raccolta dei dati, lo sviluppo dei modelli, la distribuzione, il monitoraggio e la valutazione.

Il contesto rende il problema più difficile. Una raffica di messaggi potrebbe indicare spam in un forum professionale, ma essere normale durante un evento in diretta. Anche il linguaggio può assumere significati molto diversi a seconda dei rapporti tra le persone, dei riferimenti condivisi e delle norme della community.

Un’infrastruttura di moderazione efficace ha bisogno di regole configurabili, soglie specifiche per ciascuna community e segnali comportamentali storici. La frequenza dei messaggi ne è un buon esempio. Un utente che pubblica a ritmo molto serrato potrebbe fare spam, ma potrebbe anche essere semplicemente attivo durante un evento in diretta o una conversazione molto rapida. Se lo stesso account è anche molto recente, pubblica ripetutamente contenuti identici e invia lo stesso link su più canali, la combinazione di questi elementi diventa molto più significativa.

L’automazione fornisce ai moderatori informazioni migliori

I team di moderazione dedicano molto tempo ad attività ripetitive. La rimozione dello spam, le restrizioni sui link, il rilevamento dei messaggi duplicati, i limiti di frequenza e il controllo degli account possono spesso essere automatizzati quando il sistema dispone di segnali sufficientemente affidabili per intervenire con sicurezza.

Il giudizio umano diventa prezioso quando il significato dipende dalla storia, dall’intento, dall’umorismo, dal sarcasmo, dai rapporti tra le persone o dal contesto culturale. Spesso queste situazioni richiedono che qualcuno comprenda la conversazione nel suo insieme. Un’automazione ben progettata può facilitare queste decisioni organizzando le informazioni che circondano un episodio.

Un moderatore che esamina un’attività sospetta dovrebbe poter capire perché è stata segnalata. Tra le informazioni pertinenti potrebbero esserci cambiamenti recenti nelle modalità di pubblicazione, episodi precedenti, segnalazioni correlate, contenuti ripetuti, la cronologia dell’account o attività simili in altre parti della community.

Anche i livelli di affidabilità possono orientare la risposta. Attività altamente prevedibili, come la ripetizione dello stesso spam da parte di account appena creati, possono giustificare un intervento immediato. Le attività più ambigue possono essere sottoposte a revisione insieme ai segnali che hanno generato l’avviso.

Questo approccio è comune in altri grandi sistemi tecnici. Le infrastrutture di monitoraggio elaborano grandi volumi di attività, individuano anomalie, raggruppano segnali correlati e portano all’attenzione dei responsabili le condizioni insolite. Gli ingegneri esaminano i casi che richiedono un’analisi più approfondita.

La moderazione delle community può trarre vantaggio dalla stessa architettura. I sistemi automatizzati gestiscono i volumi e individuano gli schemi, mentre i moderatori ricevono un insieme più mirato di situazioni da valutare.

La mia preferenza è automatizzare in modo deciso quando il comportamento è altamente prevedibile, ma adottare un approccio molto più prudente quando il contesto comincia a diventare rilevante. Se un sistema deve stabilire se qualcosa è spam, un messaggio identico ripetuto può essere facile da riconoscere; se invece deve decidere se si tratta di una molestia, di uno scherzo o di un disaccordo tra persone che si conoscono, è molto più probabile che serva il giudizio umano. L’automazione dovrebbe ridurre il rumore che i moderatori devono gestire, non fingere che ogni decisione di giudizio possa essere ricondotta a una regola.

I sistemi di moderazione efficaci imparano dalle proprie decisioni

Il comportamento delle community cambia costantemente. Compaiono nuovi termini gergali. Gli utenti scoprono come aggirare i filtri. Le tecniche di spam si evolvono. Le norme sociali cambiano. Una regola di moderazione che funziona bene oggi può diventare meno efficace con il mutare dei comportamenti.

Le infrastrutture di moderazione hanno bisogno di solidi cicli di feedback. Ogni azione automatizzata genera informazioni utili. Le frequenti decisioni dei moderatori di annullare un’azione possono indicare che una soglia è troppo sensibile. Una forma ricorrente di abuso che continua a sfuggire al rilevamento può rivelare l’assenza di un segnale. Un numero insolitamente elevato di falsi positivi può indicare che una determinata regola funziona male in certi contesti.

I team dovrebbero poter monitorare quali regole si attivano più spesso, con quale rapidità vengono rilevati gli incidenti, con quale frequenza vengono annullate le azioni automatizzate e quali comportamenti tendono a precedere interruzioni più gravi.

Anche il Framework NIST per la gestione dei rischi dell’IA sottolinea l’importanza della misurazione, del monitoraggio e della gestione continui quando le organizzazioni implementano sistemi automatizzati.

L’osservabilità consente ai sistemi di moderazione di adattarsi ai cambiamenti delle community. Una community di videogiochi, un gruppo di discussione professionale e un forum di assistenza possono sviluppare modelli comportamentali molto diversi. Le relative soglie di moderazione dovrebbero poter evolvere in funzione di queste differenze, mantenendo al contempo garanzie chiare.

Anche la trasparenza è importante. Gli utenti traggono vantaggio da regole comprensibili e da un’applicazione ragionevolmente prevedibile. I moderatori devono poter vedere i sistemi che supportano le loro decisioni, mentre gli ingegneri hanno bisogno di informazioni sufficienti per stabilire se tali sistemi funzionano come previsto.

La prossima generazione di community online dipenderà in larga misura dalla collaborazione tra automazione intelligente, giudizio umano e misurazione continua.

La moderazione su larga scala richiede infrastrutture in grado di elaborare enormi volumi di attività di routine, riconoscere schemi che sarebbero difficili da individuare per i singoli e fornire ai moderatori informazioni più complete quando devono affrontare decisioni difficili.

Per realizzare queste infrastrutture occorre prestare particolare attenzione ai segnali comportamentali, alle soglie di confidenza, ai percorsi di escalation, al monitoraggio e ai feedback. Le community che svilupperanno queste capacità saranno meglio attrezzate per crescere preservando la sicurezza, la fiducia e la qualità che spingono le persone a partecipare.