Tekoälypohjainen Harhan Tarkastus Työkalu Uutisartikkeleille, Saatavilla Pythonissa

Kanadassa, Intiassa, Kiinassa ja Australiassa tutkijat ovat yhteistyössä tuottaneet ilmaisen Python-paketin, jota voidaan käyttää tehokkaasti “epärehellisen kielen” havaitsemiseen ja korvaamiseen uutiskopioissa.

Järjestelmä, joka on nimeltään Dbias, käyttää erilaisia koneoppimisen teknologioita ja tietokantoja kehittääkseen kolmevaiheisen pyörivän työnkulun, joka voidaan jalostaa harhaisia tekstejä niin, että se palauttaa ei-harhaisen tai ainakin neutraalimman version.

Ladattu kieli uutisnipissä tunnistetaan ‘harhaiseksi’ ja muutetaan vähemmän räjähdysherkäksi Dbiasissa. Lähde: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Järjestelmä edustaa uudelleenkäytettävää ja itsenään sisältävää putkea, jota voidaan asentaa Pipin kautta Hugging Facen kautta ja integroida olemassa oleviin projekteihin täydentävänä vaiheena, lisäosana tai laajennuksena.

Huhtikuussa vastaava toiminnallisuus, joka toteutettiin Google Docsissa kävi kritiikin kohteeksi, ei vähiten sen muokkaamattomuuden vuoksi. Dbias, toisaalta, voidaan kouluttaa valikoivasti minkä tahansa uutiskokoelman kanssa, jota loppukäyttäjä haluaa, säilyttäen mahdollisuuden kehittää mukautettuja reiluutta ohjeita.

Kriittinen ero on, että Dbias-putki on tarkoitettu automaattiseen “ladatun kielen” (sanojen, jotka lisäävät kriittisen kerroksen faktapohjaiseen viestintään) muuttamiseen neutraaliksi tai suoraviivaiseksi kieleksi, sen sijaan, että se opettaisi käyttäjää jatkuvasti. Itse asiassa loppukäyttäjä määrittelee eettiset suodattimet ja kouluttaa järjestelmän sen mukaan; Google Docs -lähestymistavassa järjestelmä on – väittäen – kouluttamassa käyttäjää yksipuolisesti.

Käsitteellinen arkkitehtuuri Dbias-työnkulkuun.

Tutkijoiden mukaan Dbias on ensimmäinen todella mukautettava harhan havaitsemispaketti, toisin kuin valmiiden kokoonpanohankkeiden, jotka ovat luonnehtineet tätä Natural Language Processing (NLP) -alaa tähän asti.

Uusi artikkeli on nimeltään Lähestymistapa Uutisartikkeleiden Reiluuden Varmistamiseksi, ja se tulee Toronton yliopiston, Toronton metropolian yliopiston, Bangaloreen ympäristönhallintaa, Kiinan DeepBlue Academy of Sciencesista ja Sydneyn yliopiston osallistujilta.

Menetelmä

Dbiasin ensimmäinen moduuli on Harhan Havaitseminen, joka hyödyntää DistilBERT -pakettia – erittäin optimoitu versio Googleen melko koneintensiivisestä BERT:istä. Projektiin DistilBERT oli hienosäädetty Media Bias Annotation (MBIC) -datasetin kanssa.

MBIC koostuu uutisartikkeleista erilaisista mediakannoista, mukaan lukien Huffington Post, USA Today ja MSNBC. Tutkijat käyttivät laajennettua versiota datasetistä.

Vaikka alkuperäinen data oli annotoitu joukkorahoituksen avulla (menetelmä, joka kävi kritiikin kohteeksi loppuvuonna 2021), tutkijat uudessa artikkelissa pystyivät tunnistamaan lisää merkittyjä harhan tapauksia datasetissä ja liittivät ne manuaalisesti. Tunnetut harhan tapaukset liittyivät rotuun, koulutukseen, etnisyyteen, kieleen, uskontoon ja sukupuoleen.

Seuraava moduuli, Harhan Tunteminen, käyttää Named Entity Recognition (NER) erottamaan harhaiset sanat syöte-tekstistä. Artikkeli toteaa:

‘Esimerkiksi uutinen “Älä osta pseudo-tieteellistä hypeä tornadoista ja ilmastonmuutoksesta” on luokiteltu harhaiseksi edeltävällä harhan havaitsemismoduulilla, ja harhan tuntemismoduuli voi nyt tunnistaa termin “pseudo-tieteellinen hype” harhaiseksi sanaksi.’

NER ei ole suunniteltu tähän tehtävään, mutta sitä on käytetty aikaisemmin harhan tunnistamiseen, erityisesti 2021-projektissa Durhamin yliopistosta Iso-Britanniassa.

Tässä vaiheessa tutkijat käyttivät RoBERTa:a yhdistettynä SpaCy English Transformer NER -putken kanssa.

Seuraava vaihe, Harhan Peittäminen, sisältää uuden monimutkaisen useiden harhan sanojen peittämisen, joka toimii peräkkäin useiden tunnistettujen harhan sanojen tapauksissa.

Ladattu kieli korvataan pragmaattisella kielellä Dbiasin kolmannessa vaiheessa. Huomaa, että ‘mouthing’ ja ‘using’ vastaavat samaa toimintaa, vaikka edellinen on derisoivaa.

Tarpeen mukaan tämän vaiheen palaute lähetetään takaisin putken alkuun jatkuvaa arviointia varten, kunnes sopiva vaihtoehtoinen fraasi tai sana on luotu. Tässä vaiheessa käytetään Masked Language Modeling (MLM) 2021-yhteistyön mukaisesti, jota johti Facebook Research.

Yleensä MLM-tehtävä maskaa 15% sanoista satunnaisesti, mutta Dbias-työnkulku kertoo prosessille ottamaan tunnistetut harhaiset sanat syötteenä.

Arkkitehtuuri toteutettiin ja koulutettiin Google Colab Pro -ympäristössä NVIDIA P100:lla, jossa on 24 GB VRAM ja 16 kappaleen eräkoko, käyttäen vain kaksi merkintää (harhainen ja ei-harhainen).

Testit

Tutkijat testasivat Dbiasia viiden verrattavan lähestymistavan kanssa: LG-TFIDF Logistiikan Regressio ja TfidfVectorizer (TFIDF) -sanojen upotukset; LG-ELMO; MLP-ELMO (syötteen eteenpäin kulkeva tekoälyverkko, joka sisältää ELMO-upotukset); BERT; ja RoBERTa.

Testeissä käytetyt mittarit olivat tarkkuus (ACC), täsmällisyys (PREC), palautus (Rec) ja F1-piste. Koska tutkijat eivät olleet tietoisia olemassa olevasta järjestelmästä, joka voisi suorittaa kaikki kolme tehtävää yksittäisessä putkessa, poikkeus tehtiin kilpaileville kehyksille, arvioiden vain Dbiasin päätehtäviä – harhan havaitseminen ja tunteminen.

Tulokset Dbias-kokeista.

Dbias onnistui ylittämään tulokset kaikista kilpailevista kehyksistä, mukaan lukien ne, joilla on raskaampi prosessointijälki