Missä tekoälypohjainen sisällön moderointi tarvitsee yhä ihmisen harkintaa

Yhteisössä, jolla on miljoonia käyttäjiä, haitallinen toiminta voi levitä nopeammin kuin moderaattorit ehtivät tunnistaa siihen puuttumista vaativat tilanteet. Pieni yhteisö voi nojata vahvasti suoraan havainnointiin. Moderaattorit tuntevat aktiiviset jäsenet, ymmärtävät yhteisön kulttuurin ja pystyvät yleensä tunnistamaan häiritsevän toiminnan nopeasti. Kun yhteisö kasvaa satoihin tuhansiin tai miljooniin käyttäjiin, toimintaa on paljon vaikeampi arvioida manuaalisesti. Alaryhmiä muodostuu, kielenkäyttö muuttuu ja haitallinen toiminta voi levitä monille tileille tai keskusteluihin ennen kuin kukaan huomaa siinä toistuvan kaavan.

Moderaattorien lisääminen kasvattaa valmiuksia, mutta jokaisen moderointitiimin aika ja huomio ovat rajallisia. Suuret yhteisöt tarvitsevat infrastruktuurin, joka pystyy käsittelemään rutiininomaista toimintaa jatkuvasti, tunnistamaan poikkeavan toiminnan varhain ja tarjoamaan moderaattoreille riittävästi taustatietoa, jotta nämä voivat keskittyä tilanteisiin, jotka vaativat harkintaa.

Tämän myötä moderointi kuuluu yhä selvemmin järjestelmäsuunnittelun piiriin. Tunnistaminen, eskalointi, kynnysarvot, havainnoitavuus ja palaute voivat kaikki vaikuttaa siihen, säilyykö yhteisö terveenä sen kasvaessa.

Skaalan kasvaessa eniten muuttuu se, etteivät poikkeustapaukset enää ole harvinaisia. Vaikka jokin tietty toimintatapa koskisi vain hyvin pientä osaa käyttäjistä, miljoonien ihmisten joukossa moderaattorit voivat kohdata sitä jatkuvasti. Samalla menetetään mahdollisuus ymmärtää jokaista vuorovaikutustilannetta erikseen, joten hyvä moderointi perustuu yhä enemmän toistuvien kaavojen tunnistamiseen ilman, että niiden taustalla oleva asiayhteys unohtuu.

Moderointi suuressa mittakaavassa edellyttää kaavojen tunnistamista

Monet moderointityökalut perustuivat aluksi suhteellisen yksinkertaisiin laukaisimiin. Kielletty sana esiintyi, käyttäjä teki ilmoituksen tai moderaattori huomasi sääntörikkomuksen ja puuttui siihen.

Suurissa yhteisöissä syntyy monimutkaisempia signaaleja. Roskapostia voi tulla kymmeniltä tileiltä samanaikaisesti. Häirintä voi kehittyä vähitellen useissa keskusteluissa. Koordinoituun väärinkäyttöön voi kuulua yksittäisiä tekoja, jotka vaikuttavat harmittomilta, kun niitä tarkastellaan erillään. Uudet tilit voivat toimia jonkin aikaa normaalisti ja alkaa sitten yhtäkkiä julkaista samoja linkkejä tai viestejä.

Tällaiset tilanteet on helpompi tunnistaa, kun järjestelmät arvioivat toimintaa ajan kuluessa.  Uhkaan viittaavia signaaleja voivat olla viestien lähetystiheys, toistuva sisältö, tilin ikä, samojen linkkien toistuva käyttö, viestien määrän äkillinen kasvu, poikkeavat liittymiskuviot, aiemmat moderointitoimet ja tilien väliset yhteydet. Yksittäinen signaali voi kertoa hyvin vähän. Useiden signaalien esiintyminen samanaikaisesti voi kuitenkin viitata siihen, että tilanne vaatii tarkempaa huomiota.

Esimerkiksi Ison-Britannian viestintäalan sääntelyviranomainen Ofcom on tarkastellut automaattisia sisällön luokittelujärjestelmiä osana laajempaa prosessia, johon kuuluvat tiedonkeruu, mallien kehittäminen, käyttöönotto, seuranta ja arviointi.

Asiayhteys vaikeuttaa ongelman ratkaisemista. Viestien tulva voi kertoa roskapostista ammatillisella keskustelufoorumilla, mutta olla tavallista toimintaa suoran tapahtuman aikana. Kielen merkitys voi myös vaihdella suuresti ihmissuhteiden, yhteisten viittausten ja yhteisön normien mukaan.

Tehokas moderointi-infrastruktuuri tarvitsee mukautettavia sääntöjä, yhteisökohtaisia kynnysarvoja ja historiallisia tietoja käyttäjien toiminnasta. Viestien lähetystiheys on tästä hyvä esimerkki. Hyvin nopeasti viestejä julkaiseva käyttäjä saattaa lähettää roskapostia, mutta hän voi myös vain olla aktiivinen suoran tapahtuman tai nopeasti etenevän keskustelun aikana. Jos sama tili on lisäksi hyvin uusi, julkaisee toistuvasti samaa sisältöä ja lähettää samaa linkkiä useilla kanavilla, näiden signaalien yhdistelmä on jo paljon merkityksellisempi.

Automaatio tarjoaa moderaattoreille parempaa tietoa

Moderointitiimit käyttävät huomattavan paljon aikaa toistuviin tehtäviin. Roskapostin poistaminen, linkkien rajoittaminen, toistuvien viestien tunnistaminen, viestintätiheyden rajoittaminen ja tilien seulonta voidaan usein automatisoida, jos järjestelmän signaalit ovat riittävän vahvoja varman päätöksen tekemiseen.

Ihmisen harkinta on arvokasta silloin, kun merkitys riippuu aiemmasta tapahtumahistoriasta, tarkoitusperistä, huumorista, sarkasmista, ihmissuhteista tai kulttuurisesta asiayhteydestä. Näissä tilanteissa jonkun on usein ymmärrettävä keskustelu kokonaisuutena. Hyvin suunniteltu automaatio voi helpottaa päätöksentekoa kokoamalla tapahtumaan liittyvät tiedot.

Epäilyttävää toimintaa tarkastelevan moderaattorin pitäisi pystyä näkemään, miksi se nousi esiin. Olennaisiin tietoihin voivat kuulua viimeaikaiset muutokset viestintätavoissa, aiemmat tapaukset, niihin liittyvät ilmoitukset, toistuva sisältö, tilin historia tai vastaava toiminta muualla yhteisössä.

Myös varmuustasot voivat vaikuttaa siihen, miten tilanteeseen reagoidaan. Hyvin ennakoitava toiminta, kuten uusilta tileiltä toistuvasti lähetetty identtinen roskaposti, voi perustella välittömän puuttumisen. Epäselvempi toiminta voidaan nostaa tarkasteltavaksi yhdessä hälytyksen aiheuttaneiden signaalien kanssa.

Samanlainen toimintamalli on yleinen muissakin suurissa teknisissä järjestelmissä. Valvontainfrastruktuuri käsittelee suuria määriä toimintaa, tunnistaa poikkeamia, ryhmittelee toisiinsa liittyviä signaaleja ja eskaloi poikkeavat tilanteet. Insinöörit tutkivat tapaukset, jotka vaativat syvällisempää analyysia.

Yhteisöjen moderointi voi hyötyä samasta arkkitehtuurista. Automatisoidut järjestelmät käsittelevät suuria määriä toimintaa ja tunnistavat kaavoja, jolloin moderaattoreille jää arvioitavaksi rajatumpi joukko tilanteita.

Suosin automaation laajaa käyttöä silloin, kun käyttäytyminen on hyvin ennakoitavaa, mutta huomattavasti varovaisempaa lähestymistapaa, kun asiayhteydellä alkaa olla merkitystä. Jos järjestelmän pitää ratkaista, onko jokin roskapostia, saman viestin toistuminen voi olla helppo tunnistaa. Jos taas sen pitää ratkaista, onko kyse häirinnästä, vitsistä tai toisensa tuntevien ihmisten välisestä erimielisyydestä, tarvitaan paljon todennäköisemmin ihmisen harkintaa. Automaation pitäisi vähentää moderaattorien käsiteltäväksi tulevaa kohinaa, ei antaa ymmärtää, että jokainen harkintaa vaativa tilanne voidaan ratkaista sääntöjen avulla.

Tehokas moderointi oppii päätöksistään

Yhteisöjen käyttäytyminen muuttuu jatkuvasti. Uutta slangia syntyy. Käyttäjät keksivät tapoja kiertää suodattimia. Roskapostin levityskeinot kehittyvät. Sosiaaliset normit muuttuvat. Tänään hyvin toimiva moderointisääntö saattaa menettää tehoaan käyttäytymisen muuttuessa.

Moderointijärjestelmien infrastruktuuri tarvitsee tehokkaat palautesilmukat. Jokainen automaattinen toimenpide tuottaa hyödyllistä tietoa. Se, että moderaattorit kumoavat toimenpiteitä usein, voi kertoa liian tiukasta kynnysarvosta. Toistuva väärinkäytön muoto, joka jää kerta toisensa jälkeen havaitsematta, voi paljastaa puuttuvan signaalin. Epätavallisen suuri väärien positiivisten määrä voi osoittaa, että jokin tietty sääntö toimii huonosti tietyissä ympäristöissä.

Tiimien pitäisi pystyä seuraamaan, mitkä säännöt laukeavat useimmin, kuinka nopeasti häiriöt havaitaan, kuinka usein automaattisia toimenpiteitä kumotaan ja millaiset käyttäytymismallit edeltävät yleensä laajempia häiriöitä.

Myös NISTin tekoälyn riskienhallinnan viitekehys korostaa jatkuvan mittaamisen, seurannan ja hallinnan merkitystä, kun organisaatiot ottavat käyttöön automatisoituja järjestelmiä.

Havainnoitavuuden ansiosta moderointijärjestelmät voivat mukautua yhteisöjen muuttuessa. Peliyhteisölle, ammatilliselle keskusteluryhmälle ja tukifoorumille voi kehittyä hyvin erilaiset käyttäytymismallit. Niiden moderoinnin kynnysarvoja pitäisi voida mukauttaa näiden erojen mukaan selkeät suojatoimet säilyttäen.

Myös läpinäkyvyys on tärkeää. Käyttäjät hyötyvät ymmärrettävistä säännöistä ja kohtuullisen ennakoitavasta sääntöjen noudattamisen valvonnasta. Moderaattorien on voitava nähdä, miten heidän päätöksiään tukevat järjestelmät toimivat, ja insinööreillä on oltava riittävästi tietoa sen arvioimiseen, toimivatko järjestelmät tarkoitetulla tavalla.

Verkkoyhteisöjen seuraava sukupolvi tulee olemaan vahvasti riippuvainen älykkään automaation, ihmisen harkinnan ja jatkuvan mittaamisen yhteistyöstä.

Laajamittainen moderointi edellyttää infrastruktuuria, joka pystyy käsittelemään valtavia määriä rutiininomaista toimintaa, tunnistamaan yksittäisiltä ihmisiltä helposti huomaamatta jääviä malleja ja tarjoamaan moderaattoreille parempaa tietoa vaikeiden päätösten tueksi.

Tällaisen infrastruktuurin rakentaminen edellyttää käyttäytymissignaalien, luottamusrajojen, eskalointipolkujen, seurannan ja palautteen huolellista huomioimista. Näitä valmiuksia kehittävät yhteisöt pystyvät kasvamaan paremmin säilyttäen samalla turvallisuuden, luottamuksen ja laadun, jotka saavat ihmiset osallistumaan.