Unde moderarea conținutului cu ajutorul IA încă are nevoie de discernământ uman

Într-o comunitate cu milioane de utilizatori, comportamentele dăunătoare se pot răspândi mai repede decât pot moderatorii să le identifice și să le gestioneze. O comunitate mică se poate baza în mare măsură pe observarea directă. Moderatorii îi cunosc pe membrii obișnuiți, înțeleg cultura comunității și, de regulă, pot identifica rapid comportamentele perturbatoare. Când o comunitate ajunge la sute de mii sau milioane de utilizatori, activitatea devine mult mai greu de evaluat manual. Se formează subgrupuri, limbajul evoluează, iar comportamentele dăunătoare se pot răspândi prin numeroase conturi sau conversații înainte ca cineva să recunoască tiparul.

Adăugarea de moderatori mărește capacitatea echipei, însă timpul și atenția fiecărei echipe de moderare sunt limitate. Comunitățile mari au nevoie de o infrastructură care să poată procesa în permanență activitatea de rutină, să identifice din timp comportamentele neobișnuite și să le ofere moderatorilor suficient context pentru a se concentra asupra situațiilor care necesită discernământ.

Astfel, moderarea ține tot mai mult de ingineria sistemelor. Detectarea, escaladarea, pragurile, observabilitatea și feedbackul pot influența toate capacitatea unei comunități de a rămâne sănătoasă pe măsură ce crește.

La scară mare, cea mai importantă schimbare este că situațiile-limită nu mai sunt rare. Chiar dacă un anumit comportament afectează doar o mică parte dintre utilizatori, într-o comunitate cu milioane de oameni poate ajunge să fie întâlnit constant de moderatori. Se pierde și posibilitatea de a înțelege fiecare interacțiune în parte, așa că o moderare eficientă depinde tot mai mult de identificarea tiparelor fără a pierde din vedere contextul care le înconjoară.

Moderarea la scară mare necesită recunoașterea tiparelor

Multe instrumente de moderare au pornit de la declanșatori relativ simpli. Apărea un cuvânt interzis, un utilizator trimitea o sesizare sau un moderator observa încălcarea unei reguli și lua măsuri.

Comunitățile mari generează semnale mai complexe. Spam-ul poate veni simultan de la zeci de conturi. Hărțuirea se poate desfășura treptat, pe parcursul mai multor conversații. Abuzul coordonat poate include acțiuni individuale care par inofensive atunci când sunt analizate separat. Conturile noi se pot comporta normal o vreme, apoi pot începe brusc să publice linkuri sau mesaje identice.

Aceste situații sunt mai ușor de identificat atunci când sistemele evaluează comportamentul în timp.  Printre indiciile unei amenințări se pot număra frecvența mesajelor, conținutul duplicat, vechimea contului, repetarea linkurilor, creșterile bruște ale activității de publicare, tiparele neobișnuite de înscriere, măsurile de sancționare anterioare și relațiile dintre conturi. Un singur indiciu poate dezvălui foarte puțin. Mai multe indicii care apar simultan pot semnala că situația merită analizată mai atent.

Autoritatea de reglementare a comunicațiilor din Regatul Unit, Ofcom, a analizat, de exemplu, sistemele automate de clasificare a conținutului ca parte a unui proces mai amplu care include colectarea datelor, dezvoltarea modelelor, implementarea, monitorizarea și evaluarea.

Contextul complică problema. Un val de mesaje poate indica spam pe un forum profesional, dar poate fi un comportament normal în timpul unui eveniment transmis în direct. Limbajul poate avea, de asemenea, sensuri foarte diferite în funcție de relații, referințe comune și normele comunității.

O infrastructură de moderare eficientă are nevoie de reguli configurabile, praguri adaptate fiecărei comunități și semnale istorice privind comportamentul. Frecvența mesajelor este un bun exemplu. Un utilizator care postează foarte repede poate face spam, dar poate fi și pur și simplu activ în timpul unui eveniment transmis în direct sau al unei conversații care se desfășoară rapid. Dacă același cont este și foarte nou, publică în mod repetat conținut identic și trimite același link pe mai multe canale, combinația acestor indicii devine mult mai relevantă.

Automatizarea le oferă moderatorilor informații mai bune

Echipele de moderare petrec mult timp cu sarcini repetitive. Eliminarea spam-ului, restricționarea linkurilor, detectarea mesajelor duplicate, limitarea frecvenței și verificarea conturilor pot fi adesea automatizate atunci când sistemul dispune de semnale suficient de puternice pentru a acționa cu încredere.

Discernământul uman devine esențial atunci când sensul depinde de istoricul conversației, intenție, umor, sarcasm, relații sau context cultural. În astfel de situații, este adesea nevoie ca cineva să înțeleagă conversația în ansamblu. O automatizare bine concepută poate facilita aceste decizii organizând informațiile din jurul unui incident.

Un moderator care analizează o activitate suspectă ar trebui să poată vedea de ce a fost semnalată. Printre informațiile relevante se pot număra schimbările recente în comportamentul de publicare, incidentele anterioare, sesizările asociate, conținutul repetat, istoricul contului sau activități similare în alte locuri din comunitate.

Nivelurile de încredere pot influența, de asemenea, răspunsul. Activitatea foarte predictibilă, cum ar fi spam-ul repetat cu mesaje identice de la conturi nou-create, poate justifica o intervenție imediată. Activitatea mai ambiguă poate fi semnalată pentru analiză, împreună cu indiciile care au declanșat alerta.

Această abordare este obișnuită și în alte sisteme tehnice de mari dimensiuni. Infrastructura de monitorizare procesează volume mari de activitate, identifică anomalii, grupează semnalele asociate și escaladează situațiile neobișnuite. Inginerii investighează cazurile care necesită o analiză mai aprofundată.

Moderarea comunităților poate beneficia de aceeași arhitectură. Sistemele automate gestionează volumul și detectarea tiparelor, iar moderatorii primesc un set mai restrâns de situații de evaluat.

Prefer să automatizez cât mai mult atunci când comportamentul este foarte previzibil, dar să fiu mult mai prudent pe măsură ce contextul devine important. Dacă un sistem trebuie să decidă dacă ceva este spam, un mesaj identic trimis în mod repetat poate fi ușor de identificat; dacă trebuie să decidă dacă este vorba despre hărțuire, o glumă sau o neînțelegere între persoane care se cunosc, este mult mai probabil să fie nevoie de judecata unui om. Automatizarea ar trebui să reducă volumul de zgomot pe care moderatorii trebuie să-l gestioneze, nu să pretindă că orice decizie poate fi redusă la o regulă.

Sistemele eficiente de moderare învață din propriile decizii

Comportamentul comunităților se schimbă, de asemenea, constant. Apar expresii noi. Utilizatorii descoperă metode de a ocoli filtrele. Tehnicile de spam evoluează. Normele sociale se schimbă. O regulă de moderare care funcționează bine astăzi poate deveni mai puțin eficientă pe măsură ce comportamentul se schimbă.

Infrastructura de moderare are nevoie de mecanisme solide de feedback. Fiecare acțiune automatizată generează informații utile. Anulările frecvente ale deciziilor de către moderatori pot indica faptul că un prag este prea sensibil. O formă recurentă de abuz care scapă în mod repetat nedetectată poate semnala lipsa unui indicator. Un număr neobișnuit de mare de rezultate fals pozitive poate arăta că o anumită regulă funcționează slab în anumite medii.

Echipele ar trebui să poată urmări care reguli se declanșează cel mai des, cât de repede sunt detectate incidentele, cât de frecvent sunt anulate acțiunile automatizate și ce comportamente tind să preceadă perturbări mai ample.

Cadrul NIST de gestionare a riscurilor asociate inteligenței artificiale subliniază, de asemenea, importanța măsurării, monitorizării și gestionării continue atunci când organizațiile implementează sisteme automatizate.

Observabilitatea le permite sistemelor de moderare să se adapteze pe măsură ce comunitățile se schimbă. O comunitate de jocuri video, un grup de discuții profesionale și un forum de asistență pot dezvolta tipare comportamentale foarte diferite. Pragurile de moderare ar trebui să poată evolua în funcție de aceste diferențe, menținând totodată măsuri de protecție clare.

Transparența este, de asemenea, importantă. Utilizatorii au de câștigat de pe urma unor reguli ușor de înțeles și a unei aplicări suficient de previzibile. Moderatorii trebuie să poată vedea cum funcționează sistemele care îi ajută să ia decizii, iar inginerii au nevoie de suficiente informații pentru a stabili dacă aceste sisteme funcționează conform așteptărilor.

Următoarea generație de comunități online se va baza în mare măsură pe colaborarea dintre automatizarea inteligentă, judecata umană și măsurarea continuă.

Moderarea la scară largă necesită o infrastructură capabilă să proceseze volume uriașe de activitate obișnuită, să recunoască tipare greu de observat de către fiecare persoană în parte și să le ofere moderatorilor informații mai detaliate atunci când trebuie luate decizii dificile.

Construirea unei astfel de infrastructuri presupune o atenție deosebită acordată semnalelor comportamentale, pragurilor de încredere, căilor de escaladare, monitorizării și feedbackului. Comunitățile care își dezvoltă aceste capacități vor fi mai bine pregătite să crească, păstrând totodată siguranța, încrederea și calitatea care îi fac pe oameni să participe.