Hvor AI-drevet innholdsmoderering fortsatt trenger menneskelig skjønn

I et fellesskap med millioner av brukere kan skadelig atferd spre seg raskere enn moderatorene rekker å oppdage og håndtere den. Et lite fellesskap kan i stor grad basere seg på direkte observasjon. Moderatorene kjenner de faste deltakerne, forstår kulturen og kan som regel raskt oppdage forstyrrende atferd. Når et fellesskap når hundretusener eller millioner av brukere, blir det langt vanskeligere å vurdere aktiviteten manuelt. Det dannes undergrupper, språket utvikler seg, og skadelig atferd kan spre seg på tvers av mange kontoer eller samtaler før noen oppdager mønsteret.

Flere moderatorer øker kapasiteten, men alle modereringsteam har begrenset med tid og oppmerksomhet. Store fellesskap trenger infrastruktur som kontinuerlig kan behandle rutineaktivitet, oppdage uvanlig atferd tidlig og gi moderatorene nok kontekst til å konsentrere seg om situasjoner som krever skjønn.

Dermed blir moderering i økende grad et spørsmål om systemteknikk. Deteksjon, eskalering, terskelverdier, observerbarhet og tilbakemeldinger kan alle påvirke om et fellesskap forblir velfungerende etter hvert som det vokser.

Den største endringen når omfanget øker, er at grensetilfeller ikke lenger er sjeldne. Selv om en bestemt type atferd bare berører en svært liten andel av brukerne, kan den bli noe moderatorene stadig møter når det dreier seg om millioner av mennesker. Man mister også muligheten til å forstå hver enkelt interaksjon, så god moderering avhenger i økende grad av å oppdage mønstre uten å miste konteksten bak dem.

Moderering i stor skala krever mønstergjenkjenning

Mange modereringsverktøy begynte med forholdsvis enkle utløsere. Et forbudt ord dukket opp, en bruker sendte inn en rapport, eller en moderator la merke til et regelbrudd og grep inn.

Store fellesskap genererer mer sammensatte signaler. Søppelinnhold kan komme fra dusinvis av kontoer samtidig. Trakassering kan utvikle seg gradvis på tvers av flere samtaler. Samordnet misbruk kan bestå av enkelthandlinger som virker harmløse når de vurderes hver for seg. Nye kontoer kan oppføre seg normalt en stund før de plutselig begynner å publisere identiske lenker eller meldinger.

Slike situasjoner er lettere å oppdage når systemene vurderer atferd over tid.  Trusselsignaler kan omfatte meldingsfrekvens, duplisert innhold, kontoens alder, gjentatte lenker, plutselige økninger i publiseringsaktiviteten, uvanlige mønstre for hvordan brukere blir med, tidligere sanksjoner og forbindelser mellom kontoer. Ett enkelt signal sier kanskje svært lite. Flere signaler som opptrer samtidig, kan tyde på at noe bør undersøkes nærmere.

Den britiske kommunikasjonsmyndigheten Ofcom har for eksempel undersøkt automatiserte systemer for innholdsklassifisering som en del av en bredere prosess som omfatter datainnsamling, modellutvikling, utrulling, overvåking og evaluering.

Konteksten gjør problemet vanskeligere. En strøm av meldinger kan tyde på søppelinnhold i et fagforum, men være helt normal under et direktesendt arrangement. Språk kan også ha svært ulik betydning avhengig av relasjoner, felles referanser og normene i fellesskapet.

Effektiv modereringsinfrastruktur trenger konfigurerbare regler, terskelverdier tilpasset det enkelte fellesskapet og historiske signaler om atferd. Meldingsfrekvens er et godt eksempel. En bruker som publiserer svært raskt, kan sende søppelinnhold, men kan også bare være aktiv under et direktesendt arrangement eller i en samtale som utvikler seg raskt. Hvis den samme kontoen i tillegg er helt ny, gjentatte ganger publiserer identisk innhold og sender den samme lenken i flere kanaler, blir kombinasjonen langt mer betydningsfull.

Automatisering gir moderatorene bedre informasjon

Modereringsteam bruker mye tid på gjentakende oppgaver. Fjerning av søppelinnhold, begrensning av lenker, oppdagelse av dupliserte meldinger, frekvensbegrensninger og kontroll av kontoer kan ofte automatiseres når systemet har sterke nok signaler til å handle med høy grad av sikkerhet.

Menneskelig skjønn blir verdifullt når betydningen avhenger av historikk, hensikt, humor, sarkasme, relasjoner eller kulturell kontekst. Slike situasjoner krever ofte at noen forstår samtalen som helhet. Godt utformet automatisering kan gjøre disse vurderingene enklere ved å samle og strukturere informasjonen rundt en hendelse.

En moderator som undersøker mistenkelig aktivitet, bør kunne se hvorfor den ble fanget opp. Relevant informasjon kan omfatte nylige endringer i publiseringsatferd, tidligere hendelser, relaterte rapporter, gjentatt innhold, kontoens historikk eller lignende aktivitet andre steder i fellesskapet.

Konfidensnivåer kan også påvirke hvordan man reagerer. Svært forutsigbar aktivitet, som gjentatt, identisk søppelinnhold fra nyopprettede kontoer, kan gjøre umiddelbar handling berettiget. Mer tvetydig aktivitet kan legges frem til vurdering sammen med signalene som utløste varselet.

Denne tilnærmingen er vanlig i andre store tekniske systemer. Overvåkingsinfrastruktur behandler store mengder aktivitet, oppdager avvik, grupperer relaterte signaler og eskalerer uvanlige forhold. Ingeniører undersøker sakene som krever grundigere analyse.

Moderering av fellesskap kan dra nytte av den samme arkitekturen. Automatiserte systemer håndterer volum og mønstergjenkjenning, mens moderatorene får et mer avgrenset utvalg situasjoner å vurdere.

Jeg foretrekker å automatisere offensivt når atferden er svært forutsigbar, men å være langt mer tilbakeholden når konteksten begynner å spille en rolle. Hvis et system skal avgjøre om noe er søppelpost, kan gjentatte identiske meldinger være enkle å håndtere; hvis det derimot skal avgjøre om noe er trakassering, en spøk eller en uenighet mellom personer som kjenner hverandre, er det langt mer sannsynlig at det krever menneskelig skjønn. Automatisering bør redusere mengden støy moderatorer må håndtere, ikke late som om alle skjønnsmessige vurderinger kan reduseres til en regel.

Gode modereringssystemer lærer av beslutningene sine

Atferden i fellesskap endrer seg også stadig. Nye slanguttrykk dukker opp. Brukere finner måter å omgå filtre på. Søppelpostmetodene utvikler seg. Sosiale normer endrer seg. En modereringsregel som fungerer godt i dag, kan bli mindre effektiv etter hvert som atferden endrer seg.

Modereringsinfrastrukturen trenger gode tilbakemeldingssløyfer. Hver automatiserte handling gir nyttig informasjon. Hyppige omgjøringer av moderatorer kan tyde på at en terskel er for følsom. En gjentakende form for misbruk som stadig unngår å bli oppdaget, kan avdekke at et signal mangler. Et uvanlig høyt antall falske positiver kan tyde på at en bestemt regel fungerer dårlig i visse miljøer.

Team bør kunne følge med på hvilke regler som utløses oftest, hvor raskt hendelser oppdages, hvor ofte automatiserte handlinger omgjøres, og hvilken atferd som gjerne går forut for større forstyrrelser.

NIST-rammeverket for risikostyring av KI legger også vekt på løpende måling, overvåking og styring når organisasjoner tar i bruk automatiserte systemer.

Observerbarhet gjør det mulig for modereringssystemer å tilpasse seg etter hvert som fellesskapene endrer seg. Et spillfellesskap, en faglig diskusjonsgruppe og et støtteforum kan utvikle svært ulike atferdsmønstre. Modereringstersklene bør kunne justeres i takt med disse forskjellene, samtidig som tydelige sikkerhetstiltak opprettholdes.

Åpenhet er også viktig. Brukerne har nytte av forståelige regler og håndheving som er rimelig forutsigbar. Moderatorer trenger innsyn i systemene som støtter beslutningene deres, mens ingeniører trenger nok informasjon til å kunne avgjøre om systemene fungerer etter hensikten.

Den neste generasjonen nettbaserte fellesskap vil i stor grad være avhengig av intelligent automatisering, menneskelig skjønn og kontinuerlig måling som virker sammen.

Moderering i stor skala krever infrastruktur som kan behandle enorme mengder rutineaktivitet, gjenkjenne mønstre som enkeltpersoner ville hatt vanskelig for å oppdage, og gi moderatorer bedre informasjon når vanskelige beslutninger må tas.

Utviklingen av slik infrastruktur krever nøye oppmerksomhet rundt atferdssignaler, konfidensgrenser, eskaleringsrutiner, overvåking og tilbakemeldinger. Fellesskap som utvikler disse ferdighetene, vil være bedre rustet til å vokse samtidig som de bevarer tryggheten, tilliten og kvaliteten som får folk til å delta.