Hvor AI-drevet indholdsmoderation stadig kræver menneskelig dømmekraft

I et fællesskab med millioner af brugere kan skadelig adfærd sprede sig hurtigere, end moderatorerne kan nå at opdage og håndtere den. Et lille fællesskab kan i høj grad basere sig på direkte observation. Moderatorerne kender de faste deltagere, forstår kulturen og kan som regel hurtigt få øje på forstyrrende adfærd. Når et fællesskab når op på hundredtusinder eller millioner af brugere, bliver det langt sværere at vurdere aktiviteten manuelt. Der opstår undergrupper, sproget udvikler sig, og skadelig adfærd kan sprede sig på tværs af mange konti eller samtaler, før nogen opdager mønstret.

Flere moderatorer øger kapaciteten, men alle moderatorteams har begrænset tid og opmærksomhed. Store fællesskaber har brug for en infrastruktur, der løbende kan behandle rutinepræget aktivitet, tidligt opdage usædvanlig adfærd og give moderatorerne tilstrækkelig kontekst til at fokusere på situationer, der kræver dømmekraft.

Derfor bliver moderation i stigende grad et spørgsmål om systemteknik. Detektion, eskalering, tærskelværdier, observerbarhed og feedback kan alle påvirke, om et fællesskab forbliver velfungerende, efterhånden som det vokser.

Den største forandring i stor skala er, at grænsetilfælde ikke længere er sjældne. Selv hvis en bestemt adfærd kun påvirker en lille brøkdel af brugerne, kan den blandt millioner af mennesker blive noget, moderatorerne støder på hele tiden. Man mister også muligheden for at forstå hver enkelt interaktion, så god moderation i stigende grad afhænger af at kunne identificere mønstre uden at miste konteksten bag dem.

Moderation i stor skala kræver mønstergenkendelse

Mange moderationsværktøjer tog udgangspunkt i forholdsvis enkle udløsere. Et forbudt ord blev brugt, en bruger indsendte en anmeldelse, eller en moderator opdagede et regelbrud og greb ind.

Store fællesskaber genererer mere komplekse signaler. Spam kan komme fra snesevis af konti på én gang. Chikane kan udvikle sig gradvist på tværs af flere samtaler. Koordinerede overgreb kan bestå af enkeltstående handlinger, der virker harmløse, når man ser på dem hver for sig. Nye konti kan opføre sig normalt i en periode, før de pludselig begynder at slå identiske links eller beskeder op.

Disse situationer er lettere at opdage, når systemer vurderer adfærd over tid. Trusselssignaler kan omfatte beskedfrekvens, gentaget indhold, kontoens alder, gentagne links, pludselige stigninger i opslag, usædvanlige mønstre for tilmelding, tidligere håndhævelsestiltag og forbindelser mellem konti. Et enkelt signal afslører måske meget lidt. Flere signaler, der optræder samtidig, kan tyde på, at noget bør undersøges nærmere.

Den britiske kommunikationsmyndighed Ofcom har for eksempel undersøgt automatiserede systemer til klassificering af indhold som led i en bredere proces, der omfatter dataindsamling, modeludvikling, implementering, overvågning og evaluering.

Konteksten gør problemet vanskeligere. En strøm af beskeder kan være tegn på spam i et fagligt forum, men helt normal adfærd under en begivenhed, der finder sted live. Sprog kan også have meget forskellig betydning afhængigt af relationer, fælles referencer og normerne i fællesskabet.

En effektiv moderationsinfrastruktur kræver regler, der kan tilpasses, tærskelværdier, der er specifikke for det enkelte fællesskab, og historiske signaler om adfærd. Beskedfrekvens er et godt eksempel. En bruger, der skriver meget hurtigt, kan være i gang med at sende spam, men kan også blot være aktiv under en begivenhed, der finder sted live, eller i en samtale, der udvikler sig hurtigt. Hvis den samme konto også er helt ny, gentagne gange slår identisk indhold op og deler det samme link i flere kanaler, bliver kombinationen langt mere sigende.

Automatisering giver moderatorer bedre information

Moderatorteams bruger betydelig tid på gentagne opgaver. Fjernelse af spam, begrænsning af links, registrering af identiske beskeder, hastighedsbegrænsninger og kontrol af konti kan ofte automatiseres, når systemet har tilstrækkeligt stærke signaler til at handle med sikkerhed.

Menneskelig dømmekraft er værdifuld, når betydningen afhænger af historik, hensigt, humor, sarkasme, relationer eller kulturel kontekst. I sådanne situationer er det ofte nødvendigt, at nogen forstår samtalen som helhed. Velfungerende automatisering kan gøre disse afgørelser lettere ved at samle oplysningerne omkring en hændelse.

En moderator, der gennemgår mistænkelig aktivitet, bør kunne se, hvorfor den er blevet fremhævet. Relevante oplysninger kan omfatte nylige ændringer i brugerens opslagsadfærd, tidligere hændelser, relaterede anmeldelser, gentaget indhold, kontoens historik eller lignende aktivitet andre steder i fællesskabet.

Sikkerhedsgrader kan også påvirke, hvordan der reageres. Meget forudsigelig aktivitet, såsom gentagen identisk spam fra nyoprettede konti, kan berettige øjeblikkelig handling. Mere tvetydig aktivitet kan sendes til gennemgang sammen med de signaler, der udløste alarmen.

Denne tilgang er almindelig i andre store tekniske systemer. Overvågningsinfrastrukturer behandler store mængder aktivitet, opdager afvigelser, grupperer relaterede signaler og eskalerer usædvanlige forhold. Ingeniører undersøger de sager, der kræver en dybere analyse.

Moderation af fællesskaber kan drage fordel af den samme arkitektur. Automatiserede systemer håndterer store datamængder og mønstergenkendelse, mens moderatorerne får en mere fokuseret samling af situationer at vurdere.

Jeg foretrækker at automatisere så meget som muligt, når adfærden er meget forudsigelig, men være langt mere tilbageholdende, når konteksten begynder at spille en rolle. Hvis et system skal afgøre, om noget er spam, kan en gentaget, identisk besked være nem at håndtere. Hvis det derimod skal afgøre, om noget er chikane, en joke eller en uenighed mellem mennesker, der kender hinanden, er det langt mere sandsynligt, at der er brug for menneskelig dømmekraft. Automatisering bør mindske mængden af støj, som moderatorer skal håndtere, ikke lade som om enhver vurdering kan reduceres til en regel.

Effektive moderationssystemer lærer af deres beslutninger

Adfærden i fællesskaber ændrer sig også hele tiden. Der opstår nyt slang. Brugere finder måder at omgå filtre på. Spammetoder udvikler sig. Sociale normer ændrer sig. En moderationsregel, der fungerer godt i dag, kan blive mindre effektiv, efterhånden som adfærden ændrer sig.

Moderationsinfrastrukturen har brug for stærke feedbacksløjfer. Hver automatiseret handling skaber nyttige oplysninger. Hyppige omgørelser fra moderatorernes side kan tyde på, at en tærskel er for følsom. En tilbagevendende form for misbrug, der gentagne gange undgår at blive opdaget, kan afsløre, at et signal mangler. Et usædvanligt stort antal falske positiver kan være tegn på, at en bestemt regel fungerer dårligt i visse miljøer.

Teams bør kunne følge med i, hvilke regler der udløses hyppigst, hvor hurtigt hændelser opdages, hvor ofte automatiserede handlinger omgøres, og hvilke former for adfærd der typisk går forud for større forstyrrelser.

NIST’s ramme for risikostyring af AI fremhæver også løbende måling, overvågning og styring, når organisationer anvender automatiserede systemer.

Observerbarhed gør det muligt for moderationssystemer at tilpasse sig, efterhånden som fællesskaber ændrer sig. Et gamingfællesskab, en faglig diskussionsgruppe og et supportforum kan udvikle meget forskellige adfærdsmønstre. Deres moderationsgrænser bør kunne udvikle sig i takt med disse forskelle, samtidig med at tydelige sikkerhedsforanstaltninger opretholdes.

Gennemsigtighed er også vigtig. Brugerne har gavn af regler, der er lette at forstå, og håndhævelse, der er nogenlunde forudsigelig. Moderatorer har brug for indsigt i de systemer, der understøtter deres beslutninger, mens ingeniører skal have tilstrækkelige oplysninger til at afgøre, om systemerne fungerer efter hensigten.

Den næste generation af onlinefællesskaber vil i høj grad afhænge af et samspil mellem intelligent automatisering, menneskelig dømmekraft og løbende måling.

Moderation i stor skala kræver en infrastruktur, der kan behandle enorme mængder rutineaktivitet, genkende mønstre, som enkeltpersoner ville have svært ved at få øje på, og give moderatorer et bedre grundlag, når de skal træffe vanskelige beslutninger.

Udviklingen af denne infrastruktur kræver omhyggelig opmærksomhed på adfærdssignaler, konfidensgrænser, eskaleringsveje, overvågning og feedback. Fællesskaber, der opbygger disse kapaciteter, vil være bedre rustet til at vokse og samtidig bevare den sikkerhed, tillid og kvalitet, der får folk til at blive ved med at deltage.