Uusi tutkimus pyrkii parantamaan vihapuheen havaitsemisalgoritmeja

Sosiaalisen median yritykset, erityisesti Twitter, ovat kauan saaneet kritiikkiä siitä, miten he merkitsevät puheita ja päättävät, mitkä tilit sulkevat. Perusongelma liittyy lähes aina algoritmeihin, joita he käyttävät verkkopostien valvomiseen. Tekoälyjärjestelmät eivät ole täydellisiä tässä tehtävässä, mutta niiden parantamiseksi tehdään jatkuvasti työtä.

Tähän työhön kuuluu myös uusi tutkimus Etelä-Carolinan yliopistosta, joka pyrkii vähentämään tiettyjä virheitä, jotka voivat johtaa rotuhenkilökohtaisiin syrjintään.

Virhe kontekstin tunnistamisessa

Yksi ongelmista, jota ei juuri huomioida, liittyy algoritmeihin, jotka tarkoituksena on estää vihapuheen leviäminen, mutta jotka itse asiassa lisäävät rotuhenkilökohtaista syrjintää. Tämä tapahtuu, kun algoritmit eivät tunnista kontekstia ja lopulta merkitsevät tai estävät vähemmistöryhmien twiittejä.

Algoritmien suurin ongelma kontekstin suhteen on, että ne ovat liian herkkästi tiettyjä ryhmän määrittäviä termejä, kuten “musta”, “homoseksuaalinen” ja “transsukupuolinen”. Algoritmit pitävät näitä vihapuheen luokitteluina, mutta niitä käytetään usein näiden ryhmien jäsenien toimesta ja asetelma on tärkeä.

Tätä kontekstin sokeuden ongelmaa ratkaisemaan tutkijat loivat kontekstisempaan vihapuheen luokittelijaan. Uusi algoritmi on vähemmän altis väärään merkitsemiseen vihapuheeksi.

Algoritmi

Tutkijat kehittivät uudet algoritmit kahden uuden tekijän huomioon ottaen: konteksti ryhmän määrittäjien suhteen ja onko muita vihapuheen piirteitä, kuten dehumanisoiva kieli, läsnä viestissä.

Brendan Kennedy on tietojenkäsittelytieteen tohtorikoulutettava ja tutkimuksen yhteisjohtaja, joka julkaistiin 6. heinäkuuta ACL 2020:ssa.

“Haluumme viedä vihapuheen havaitsemisen lähemmäs valmiutta todellisen maailman soveltamiseen”, sanoi Kennedy.

“Vihapuheen havaitsemismallit usein ‘menevät rikki’ tai tuottavat huonoja ennusteita, kun ne esitetään todellisen maailman tietoihin, kuten sosiaalisen median tai muiden verkkotekstien tietoihin, koska ne ovat harhaisia tietojen koulutuksessa, jossa sosiaalisten tunnisteiden ilmestyminen liitetään vihapuheeseen.”

Syy siihen, miksi algoritmit usein ovat epätarkkoja, on se, että ne on koulutettu epätasapainoisiin tietoihin, joissa on erittäin korkeat vihapuheen määrät. Tämän vuoksi algoritmit eivät opi, miten käsitellä sitä, miltä sosiaalinen media todella näyttää todellisessa maailmassa.

Professori Xiang on asiantuntija luonnollisen kielen prosessoinnissa.

“On avainasiaa, että mallit eivät jätä huomiotta tunnisteita, vaan vastaavat niitä oikeaan kontekstiin”, sanoi Ren.

“Jos opetat mallin epätasapainoisesta tietojoukosta, malli alkaa havaita outoja kuvioita ja estää käyttäjiä sopimattomasti.”

Algoritmin testaamiseksi tutkijat käyttivät satunnaista otosta tekstiä kahdesta sosiaalisen median sivustosta, joilla on korkea vihapuheen määrä. Tekstiä oli ensin käsin merkitty ihmisinä ennenkohtuisiksi tai dehumanisoiviksi. Nykyinen malli mitattiin tutkijoiden omiin malleihin verrattuna sopimattoman vihapuheen merkitsemiseksi 12 500 New York Times -artikkelin avulla, joissa ei ollut vihapuhetta. Vaikka nykyiset mallit saavuttivat 77 prosentin tarkkuuden vihapuheen ja ei-vihapuheen tunnistamisessa, tutkijoiden malli oli 90 prosenttisesti tarkempi.

“Tämä työ itsessään ei tee vihapuheen havaitsemisesta täydellistä, se on valtava projekti, jota moni työskentelee, mutta se tekee askelikoita eteenpäin”, sanoi Kennedy.

“Lisäksi estääksemme sosiaalisen median viestien vähemmistöryhmien jäsenten sopimattoman sensuurin, toivomme, että työmme auttaa varmistamaan, että vihapuheen havaitseminen ei tee tarpeetonta vahinkoa vahvistamalla väärästi yhdistämällä ennakkoluuloa ja dehumanisoivaa kieltä sosiaalisiin ryhmiin.”