Uusi tutkimus pyrkii parantamaan vihapuheen havaitsemisalgoritmeja

Sosiaalisen median yritykset, erityisesti Twitter, ovat kohdanneet kritiikkiä siitä, miten he merkitsevät puheita ja päättävät, mitkä tilit suljetaan. Perusongelma liittyy lähes aina algoritmeihin, joita ne käyttävät verkkopostien valvontaan. Tekoälyjärjestelmät eivät ole täydellisiä tässä tehtävässä, mutta niiden parantamiseksi tehdään jatkuvasti työtä.

Tähän työhön kuuluu myös uusi tutkimus Etelä-Carolinan yliopistosta, joka pyrkii vähentämään tiettyjä virheitä, jotka voivat johtaa rotuun perustuvaan syrjintään.

Epäonnistuminen kontekstin tunnistamisessa

Yksi ongelmista, jota ei juuri huomioida, liittyy algoritmeihin, jotka on tarkoitettu vihapuheen leviämisen estämiseen, mutta jotka itse asiassa lisäävät rotuun perustuvaa syrjintää. Tämä tapahtuu, kun algoritmit eivät tunnista kontekstia ja lopulta merkitsevät tai estävät vähemmistöryhmien twiittejä.

Algoritmien suurin ongelma kontekstin suhteen on, että ne ovat liian herkkäsiä tiettyjä ryhmän määrittäviä termejä, kuten “musta”, “homoseksuaalinen” ja “transsukupuolinen”. Algoritmit pitävät näitä vihapuheen luokitteluina, mutta niitä usein käytetään näiden ryhmien jäsenet ja asetelma on tärkeä.

Tätä kontekstinsokeutta ratkaisemaan tutkijat loivat kontekstia herkemmin havaitsevan vihapuheen luokittelijan. Uusi algoritmi on vähemmän altis väärään merkintään vihapuheeksi.

Algoritmi

Tutkijat kehittivät uudet algoritmit kahden uuden tekijän huomioon ottaen: ryhmän määrittäjien konteksti ja onko mukana muita vihapuheen piirteitä, kuten dehumanisoiva kieli.

Brendan Kennedy on tietojenkäsittelytieteen tohtorikoulutettava ja yksi tutkimuksen pääkirjoittajista, joka julkaistiin 6. heinäkuuta ACL 2020 -tapaamisessa.

“Halumme viedä vihapuheen havaitsemisen lähemmäs valmiutta todellisen maailman soveltamiseen”, sanoi Kennedy.

“Vihapuheen havaitsemismallit usein ‘menevät rikki’ tai tuottavat huonot ennusteet, kun ne esitetään todellisen maailman aineistoille, kuten sosiaalisessa mediassa tai muissa verkkoteksteissä, koska ne ovat harhaisia aineistosta, jolle ne on koulutettu liittämään sosiaalisten tunnisteiden ilmestyminen vihapuheeseen.”

Syy siihen, miksi algoritmit usein ovat epätarkkoja, on, että ne on koulutettu epätasapainoisten aineistojen kanssa, joissa on erittäin korkeat vihapuheen määrät. Tämän vuoksi algoritmit eivät opi, miten hallita sosiaalisen median todellista ulkonäköä.

Professori Xiang on asiantuntija luonnollisen kielen prosessoinnissa.

“On tärkeää, että mallit eivät jätä huomiotta tunnisteita, vaan vastaavat niitä oikeaan kontekstiin”, sanoi Ren.

“Jos opetat mallin epätasapainoisesta aineistosta, malli alkaa havaita outoja kuvioita ja estää käyttäjiä sopimattomasti.”

Algoritmin testaamiseksi tutkijat käyttivät satunnaista otosta tekstiä kahdelta sosiaalisen median sivustolta, joilla on korkea vihapuheen määrä. Tekstiä oli ensin käsin merkitty ihmisinä ennenjulistajina tai dehumanisoiviksi. Nykyinen malli mitattiin tutkijoiden omia malleja vastaan sopimattomasti merkitsemällä ei-vihapuhetta 12 500 New York Times -artikkelin avulla, joissa ei ollut vihapuhetta. Kun nykyiset mallit saavuttivat 77 %:n tarkin, tutkijoiden malli oli korkeampi 90 %:ssa.

“Tämä työ itsessään ei tee vihapuheen havaitsemisesta täydellistä, se on valtava projekti, jota moni tekee, mutta se edistää askel askeleelta”, sanoi Kennedy.

“Lisäksi estääksemme sosiaalisen median viestien sensuroinnin suojeltujen ryhmien jäsenille, toivomme, että työmme auttaa varmistamaan, että vihapuheen havaitseminen ei tee tarpeetonta vahinkoa vahvistamalla syrjivien ja dehumanisoivien yhteyksiä sosiaalisiin ryhmiin.”