Andersonin kulma
Tekoälypohjainen uutisartikkeleiden puolueellisuuden tarkistin Pythonille

Keskeiset kohdatDbias on ensimmäinen konfiguroitava vinouman havaitsemispaketti uutisartikkeleille.
Näytä lisää
- Dbias on ensimmäinen konfiguroitava vinouman havaitsemispaketti uutisartikkeleille.
- Putki muuntaa automaattisesti ladatun kielen neutraaliksi tekstiksi sen sijaan, että kouluttaisi käyttäjiä.
- Dbias suoriutui paremmin kuin kaikki kilpailevat viitekehykset, mukaan lukien BERT ja RoBERTa, vinouman havaitsemisessa.
Tutkijat Kanadassa, Intiassa, Kiinassa ja Australiassa ovat yhteistyössä tuottaneet ilmaisen Python-paketin, jota voidaan käyttää tehokkaasti “epäoikeudenmukaisen kielen” havaitsemiseen ja korvaamiseen uutisteksteissä.
Järjestelmä, joka on nimeltään Dbias, käyttää erilaisia koneoppimisen teknologioita ja tietokantoja kehittääkseen kolmivaiheisen toistuvan työnkulun, joka voi muokata puolueellista tekstiä kunnes tuloksena on puolueeton tai ainakin neutraalimpi versio.

Puolueelliseksi tunnistetun uutiskatkelman latautunut kieli muutetaan Dbiasilla vähemmän kärjekkääksi. Lähde: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf
Järjestelmä edustaa uudelleenkäytettävää ja itsenäistä käsittelyketjua, joka voidaan asentaa Pipin kautta Hugging Facen kautta ja integroida olemassa oleviin projekteihin täydentävänä vaiheena, lisäosana tai laajennuksena.
Huhtikuussa vastaavaa toiminnallisuutta, joka on toteutettu Google Docsissa arvosteltiin, erityisesti siksi, ettei sitä voinut muokata. Dbiasia voidaan sen sijaan kouluttaa valikoivammin millä tahansa käyttäjän valitsemalla uutisaineistolla, jolloin käyttäjä voi laatia omat oikeudenmukaisuutta koskevat ohjeensa.
Olennainen ero on, että Dbias-putki on tarkoitettu automaattiseen “latautuneen kielen” (sanojen, jotka lisäävät arvottavan sävyn tosiasioiden välittämiseen) muuttamiseen neutraaliksi tai arkiseksi kieleksi, sen sijaan, että se opettaisi käyttäjää jatkuvasti. Käyttäjä määrittelee eettiset suodattimet ja kouluttaa järjestelmän sen mukaan; Google Docs -lähestymistavassa järjestelmä kouluttaa – ainakin voidaan väittää – käyttäjää yksipuolisesti.

Käsitteellinen arkkitehtuuri Dbias-työnkululle.
Tutkijoiden mukaan Dbias on ensimmäinen aidosti mukautettava puolueellisuuden tunnistuspaketti. Se eroaa valmiiden osien yhdistelmistä, jotka ovat tähän asti olleet tyypillisiä tälle luonnollisen kielen käsittelyn (NLP) osa-alueelle.
Uusi artikkeli on nimeltään Lähestymistapa Uutisartikkeleiden Reiluuden Varmentamiseksi. Sen kirjoittajat edustavat Toronton yliopistoa, Toronto Metropolitan Universitya, Bangaloressa toimivaa Environmental Resources Managementia, Kiinan DeepBlue Academy of Sciencesia ja Sydneyn yliopistoa.
Menetelmä
Dbias-järjestelmän ensimmäinen moduuli on Puolueellisuuden havaitseminen, joka hyödyntää DistilBERT -pakettia – pitkälle optimoitua versiota Googlen melko paljon laskentatehoa vaativasta mallista BERT. Tätä hanketta varten DistilBERT hienosäädettiin Media Bias Annotation (MBIC) -aineistolla.

MBIC koostuu uutisartikkeleista monista eri medioista, mukaan lukien Huffington Post, USA Today ja MSNBC. Tutkijat käyttivät aineiston laajennettua versiota.
Vaikka alkuperäinen data annotoitiin joukkoistettujen työntekijöiden avulla (menetelmä, joka tuli kritiikin kohteeksi loppuvuodesta 2021), tutkijat pystyivät tunnistamaan lisää merkitsemättömiä puolueellisuuden tapauksia aineistossa ja liittivät ne manuaalisesti. Havaitut puolueellisuuden tapaukset liittyivät rotuun, koulutukseen, etnisyyteen, kieleen, uskontoon ja sukupuoleen.
Seuraava moduuli, Puolueellisten ilmausten tunnistaminen, käyttää Named Entity Recognition (NER) -teknologiaa erottamaan puolueelliset sanat syötetystä tekstistä. Artikkeli toteaa:
‘Esimerkiksi uutinen “Älä usko tornadoihin ja ilmastonmuutokseen liittyvää näennäistieteellistä hehkutusta” on luokiteltu puolueelliseksi edellisessä havaitsemismoduulissa, ja ilmausten tunnistamismoduuli voi nyt tunnistaa termin “näennäistieteellinen hehkutus” puolueelliseksi ilmaukseksi.’
NER ei ole suunniteltu tätä tehtävää varten, mutta sitä on käytetty aikaisemmin harhan tunnistamiseen, erityisesti vuoden 2021 projektissa Durhamin yliopistosta Iso-Britanniassa.
Tässä vaiheessa tutkijat käyttivät RoBERTaa yhdessä SpaCy English Transformer NER -putken kanssa.

Seuraava vaihe, puolueellisten ilmausten peittäminen, käyttää uutta usean maskin menetelmää tunnistettujen puolueellisten sanojen peittämiseen. Jos tällaisia sanoja on useita, niitä käsitellään peräkkäin.

Latautunut kieli korvataan asiallisella kielellä Dbias-järjestelmän kolmannessa vaiheessa. Huomaa, että ‘mouthing’ ja ‘using’ vastaavat samaa toimintaa, vaikka edellistä pidetään pilkallisena.
Jos tarpeen, tämän vaiheen palautetta lähetetään takaisin putken alkuun arvioitavaksi uudelleen, kunnes sopivia vaihtoehtoisia fraaseja tai sanoja on luotu. Tämä vaihe käyttää Masked Language Modeling (MLM) -menetelmää, jota on kehitetty Facebookin tutkimusryhmän johtamassa yhteistyössä vuonna 2021.
Normaalisti MLM-tehtävä peittää satunnaisesti 15 % sanoista, mutta Dbias-työnkulku ohjaa prosessia ottamaan syötteeksi tunnistetut puolueelliset sanat.
Arkkitehtuuri toteutettiin ja koulutettiin Google Colab Pro -ympäristössä NVIDIA (NVDA ) P100-laitteella, jossa on 24 Gt VRAM-muistia. Eräkoko oli 16, ja käytössä oli vain kaksi luokkaa (puolueellinen ja puolueeton).
Testit
Tutkijat testasivat Dbias-järjestelmää viittä vastaavaa lähestymistapaa vastaan: LG-TFIDF:ää Logistisella Regressiolla ja TfidfVectorizer (TFIDF) -sanaupotuksilla; LG-ELMO; MLP-ELMO (eteenpäin kytketty keinotekoinen neuroverkko, joka sisältää ELMO-upotuksia); BERT; ja RoBERTa.
Testeissä käytettiin seuraavia mittareita: tarkkuus (ACC), täsmällisyys (PREC), saanti (Rec) ja F1-lukema. Koska tutkijat eivät olleet tietoisia mistään olemassa olevasta järjestelmästä, joka voisi suorittaa kaikki kolme tehtävää yhdessä putkessa, he tekivät poikkeuksen vertailujärjestelmille ja arvioivat ainoastaan Dbias-järjestelmän päätehtäviä – puolueellisuuden havaitsemista ja puolueellisten ilmausten tunnistamista.

Dbias-kokeiden tulokset.
Dbias saavutti kaikkia vertailujärjestelmiä paremmat tulokset, myös enemmän laskentatehoa vaativiin järjestelmiin verrattuna.
Artikkeli toteaa:
‘Tulokset osoittavat myös, että syvät neuroverkkoupotukset voivat yleensä päihittää perinteiset upotusmenetelmät (esimerkiksi TFIDF:n) puolueellisuuden luokittelussa. Tämä näkyy siinä, että syvät neuroverkkoupotukset (eli ELMO) suoriutuvat TFIDF-vektorointia paremmin, kun niitä käytetään yhdessä LG:n kanssa.’
‘Tämä johtuu todennäköisesti siitä, että syvät neuroverkkoupotukset pystyvät tavoittamaan sanojen asiayhteyden paremmin eri tilanteissa. Myös syvät neuroverkkoupotukset ja syvät neuroverkkomenetelmät (MLP, BERT, RoBERTa) suoriutuvat perinteistä koneoppimismenetelmää (LG) paremmin.’
Tutkijat huomauttavat myös, että Transformer-pohjaiset menetelmät suoriutuvat vertailumenetelmiä paremmin puolueellisuuden havaitsemisessa.
Lisäksi tehtiin vertailukoe Dbias-järjestelmän ja eri SpaCy Core Web -versioiden (core-sm, core-md, core-lg) välillä. Dbias saavutti parhaat tulokset myös näissä kokeissa:

Tutkijat toteavat, että puolueellisten ilmausten tunnistaminen on yleensä tarkempaa suuremmilla ja kalliimmilla malleilla. He arvelevat tämän johtuvan suuremmasta parametrien ja datapisteiden määrästä. He huomauttavat myös, että tulevan työn tuloksellisuus tällä alalla riippuu siitä, kuinka paljon panostetaan laadukkaiden aineistojen annotointiin.
Metsä ja Puut
Toivottavasti tämänkaltaiset hienojakoista puolueellisuutta tunnistavat hankkeet sisällytetään aikanaan järjestelmiin, jotka tarkastelevat puolueellisuutta laajemmin. Niiden tulisi ottaa huomioon, että jo tietyn aiheen valitseminen uutiseksi on puolueellinen valinta, jota voivat ohjata muutkin tekijät kuin raportoidut katselutilastot.
Julkaistu ensimmäisen kerran 14. heinäkuuta 2022.












