Propagandan luominen ja tunnistaminen koneoppimisella

Yhdysvalloista ja Qatarista saapunut uusi tutkimus tarjoaa uudenlaisen menetelmän valeuutisten tunnistamiseksi, jotka on kirjoitettu tavalla, jossa ihmiset oikeasti kirjoittavat valeuutisia – upottamalla epätarkan tiedon pääosin totuudenmukaiseen kontekstiin ja käyttämällä suosittuja propaganda-tekniikoita, kuten valtuutetun viittauksia ja latautunutta kieltä.

Hankkeen tuloksena on luotu uusi valeuutisten havaitsemiseen tarkoitettu koulutusaineisto, joka sisältää nämä tekniikat. Tutkimuksen tekijät ovat havainneet, että aineistoon perustuvat ilmaisimet ovat 7,3-12 % tarkemmin havaitsevia ihmisten kirjoittamia harhaanjohtavia tietoja verrattuna aikaisempiin parhaisiin lähestymistapoihin.

Uudesta tutkimuksesta, esimerkkejä ‘valtuutetun viittauksesta’ ja ‘latautuneesta kielestä’. Lähde: https://arxiv.org/pdf/2203.05386.pdf

Tutkijat väittävät, että heidän tietoonsa tulleiden tietojen perusteella, tämä on ensimmäinen hanke, joka sisällyttää propaganda-tekniikoita (ei pelkästään faktuaalisen epätarkan) koneella luotuihin tekstiesimerkkeihin, joita tarkoitetaan valeuutisten ilmaisimien polttoaineeksi.

Viimeaikaiset työt tässä alalla ovat tutkineet enemmän harhaa tai uudelleenmuotoiltua ‘propaganda’-dataa harhan kontekstissa (mahdollisesti, koska harha tuli hyvin rahoitettuun koneoppimiseen post-Analytica-ajan jälkeen).

Tutkijat toteavat:

‘Toisin kuin meidän työmme, joka luo valeuutisia sisällyttämällä propaganda-tekniikoita ja säilyttämällä suurimman osan oikeista tietoja. Siksi lähestymistapamme on sovellettavampi puolustamaan ihmisten kirjoittamia valeuutisia vastaan.’

He korostavat myös kasvavaa kiireellisyyttä kehittää edistyneempiä propaganda-havaitsemistekniikoita*:

‘[Ihmisten kirjoittama] harhaanjohtaminen, jota usein käytetään manipuloimaan tiettyjä väestöryhmiä, on aiheuttanut katastrofaalisen vaikutuksen useisiin tapahtumiin, kuten 2016 Yhdysvaltain presidentinvaaliin, Brexit, COVID-19-pandemiaan ja viimeaikaiseen Venäjän hyökkäykseen Ukrainaan. Siksi meillä on kiireellinen tarve puolustusmekanismia ihmisten kirjoittamaa harhaanjohtamista vastaan.’

Artikkeli on otsikoitu Valeuutisten luominen oikeiden valeuutisten havaitsemiseksi: Propaganda-latautuneen koulutusaineiston luominen, ja se on peräisin viideltä tutkijalta Illinoisin yliopistosta Urbana-Champaignissa, Columbian yliopistosta, Hamad Bin Khalifa -yliopistosta Qatarissa, Washingtonin yliopistosta ja Allen Institute for AI:sta.

Epätodenmukaisuuden määrittely

Propagandan määrityksen haaste on pääosin logistinen: on hyvin kallista palkata ihmisiä tunnistamaan ja annotoimaan todellista materiaalia, joka sisältää propaganda-ominaisuuksia koulutusaineistoon, ja potentiaalisesti paljon halvempaa poimia ja hyödyntää korkean tason ominaisuuksia, jotka todennäköisesti toimivat ‘näkemättömissä’ tulevaisuuden tiedoissa.

Toteuttamaan skaalautuvampaa ratkaisua varten tutkijat keräsivät aluksi ihmisten luomia harhaanjohtavia artikkeleita uutislähteistä, joilla on matala faktuaalisen tarkkuuden arvio, Media Bias Fact Check -sivuston kautta.

He havaitsivat, että 33 % tutkituista artikkeleista käytti epärehellisiä propaganda-tekniikoita, mukaan lukien tunteita herättäviä termejä, loogisia virheitä ja valtuutetun viittauksia. Lisäksi 55 % artikkeleista sisälsi epätarkan tiedon sekoitettuna tarkkaan tietoon.

Valtuutetun viittauksen luominen

Valtuutetun viittauksen lähestymistapa on kahtalainen: viittaus epätarkoihin lauseisiin ja viittaus täysin kuvitteellisiin lauseisiin. Tutkimus keskittyy jälkimmäiseen.

Uudesta hankkeesta, Natural Language Inference -kehyksen RoBERTa tunnistaa kaksi lisää esimerkkiä valtuutetun viittauksesta ja latautuneesta kielestä.

Tavoitteena luoda koneella luotua propaganda-aineistoa uudelle aineistolle, tutkijat käyttivät esikoulutettua seq2seq-arkkitehtuuria BART tunnistamaan merkittäviä lauseita, jotka voitiin myöhemmin muuttaa propagandaksi. Koska ei ollut julkisesti saatavilla aineistoa tähän tehtävään, tekijät käyttivät 2019 julkaistua eksplisiittistä tiivistelmämallia arvioimaan lauseen merkitystä.

Jokaiselle uutislähteiden artikkeleista tutkijat korvasivat nämä ‘merkitetyt’ lauseet väärillä argumenteilla ‘viranomaisten’ puolesta, jotka perustuivat sekä Wikidata Query Serviceen että viranomaisiin, jotka mainittiin artikkeleissa (eli henkilöihin ja/tai organisaatioihin).

Latautuneen kielen luominen

Latautunut kieli sisältää sanoja, usein sensaatiomaisia adverbejä ja adjektiiveja (kuten yllä olevassa esimerkissä), jotka sisältävät sisäisiä arvostelua, jotka ovat kiinni tiedon toimittamisen kontekstissa.

Johtamaan tietoa latautuneesta kielestä varten, tekijät käyttivät aineistoa 2019 tutkimuksesta, joka sisälsi 2 547 latautuneen kielen esimerkkiä. Koska ei kaikki 2019 esimerkeistä sisälsivät tunteita herättäviä adverbejä tai adjektiiveja, tutkijat käyttivät SpaCy suorittamaan riippuvuusanalyysiä ja osan puhetunnustusta, säilyttäen vain soveltuvat esimerkit kehyksen sisällyttämiseksi.

Suodatusprosessi johti 1 017:n validin latautuneen kielen näytteen tulokseen. BART:n toinen ilmentymä käytettiin maskiimaan ja korvaamaan merkittäviä lauseita lähdeasiakirjoissa latautuneella kielellä.

PropaNews-aineisto

Välittäisen mallin koulutuksen jälkeen, joka suoritettiin 2015 CNN/DM-aineistolla Google Deep Mindilta ja Oxfordin yliopistosta, tutkijat loivat PropaNews-aineiston, muuttaen epätriviaalisia artikkeleita ‘luotettavista’ lähteistä, kuten The New York Times ja The Guardian, ‘muokattuihin’ versioihin, jotka sisälsivät koneellisesti luotua propaganda-aineistoa.

Koe suunniteltiin 2013 tutkimuksen mukaan Hanoverista, joka loi automaattisesti aikajanan yhteenvetoja uutisista 17 uutistapahtumassa ja yhteensä 4 535 tarinassa.

Luodut harhaanjohtavat tiedot toimitettiin 400:lle yksilölliselle työntekijälle Amazon Mechanical Turk (AMT):ssa, kattavasti 2000 Human Intelligence -tehtävää (HIT). Vain propaganda-latautuneet artikkelit, jotka työntekijät pitivät ‘tarkkoina’, sisällytettiin lopulliseen PropaNews-aineistoon. Eriarvojen sovittelua arvioitiin Worker Agreement With Aggregate (WAWA) -menetelmällä.

PropaNews-aineiston lopullinen versio sisältää 2 256 artikkelia, tasapainotettuna väärän ja oikean tuloksen välillä, 30 % niistä hyödyntää valtuutetun viittausta, ja 30 % käyttää latautunutta kieltä. Loput sisältävät vain epätarkan tiedon, jota on pääosin asuttanut aiemmat aineistot tässä tutkimuksessa.

Aineisto jaettiin 1 256:500:500 koulutus-, testaus- ja validointijakoihin.

HumanNews-aineisto

Arvioidakseen koulutettujen propaganda-havaintojen tehokkuutta, tutkijat kokosivat 200 ihmisten kirjoittamaa uutisartikkelia, mukaan lukien artikkeleita, jotka on kumonnut Politifact ja julkaistu vuosina 2015-2020.

Tämä aineisto täydennettiin lisääksi kumottujen artikkeleiden kanssa epäluotettavista uutislähteistä, ja lopullinen aineisto tarkistettiin tietojenkäsittelytieteen pääaineopiskelijalla.

Lopullinen aineisto, joka on nimeltään HumanNews, sisältää myös 100 artikkelia Los Angeles Times:sta.

Tutkimukset

Havaintoprosessi asetettiin kilpailevien kehysten rinnalle kahtena muotona: PN-Hopea, joka jättää AMT-annotaattorin validoinnin huomiotta, ja PN-Kulta, joka sisältää validoinnin kriteerinä.

Kilpailevat kehykset sisälsivät 2019 tarjooman Grover-GEN, 2020 Fact-GEN ja FakeEvent, jossa PN-Silverin artikkeleita korvataan asiakirjoilla, jotka on luotu näillä vanhemmilla menetelmillä.

Groverin ja RoBERTan variantit osoittautuivat tehokkaimmiksi, kun ne oli koulutettu uudella PropaNews-aineistolla, ja tutkijat totesivat, että ‘ilmaisimet, jotka on koulutettu PropaNews-aineistolla, suorittavat paremmin ihmisten kirjoittamien harhaanjohtavien tietojen tunnistamisessa verrattuna koulutukseen muihin aineistoihin’.

Tutkijat huomauttavat myös, että jopa puolittainen PN-Silver-aineisto suoriutuu paremmin vanhemmista menetelmistä muissa aineistoissa.

Vanheneminen?

Tekijät toistavat puutteen tutkimuksessa automaattisesta propaganda-valeuutisten luomisesta ja tunnistamisesta, ja varoittavat, että mallien, jotka on koulutettu ennen kriittisiä tapahtumia (kuten COVID tai itä-Euroopan nykytilanne), ei voida odottaa suoriutuvan optimaalisesti:

‘Noin 48 % ihmisten kirjoittamista harhaanjohtavista tiedoista, jotka on väärin luokiteltu, johtuu kyvyttömyydestä hankkia dynaamista tietoa uusista uutislähteistä. Esimerkiksi COVID-aiheiset artikkelit julkaistaan yleensä vuoden 2020 jälkeen, kun taas ROBERTA on esikoulutettu uutisartikkeleilla, jotka on julkaistu ennen vuotta 2019. On erittäin haastavaa ROBERTAlle havaita harhaanjohtavaa tietoa, joka liittyy tällaisiin aiheisiin, ellei ilmaisin ole varustettu kyvylle hankkia dynaamista tietoa uutisartikkeleista.’

Tekijät toteavat myös, että RoBERTa saavuttaa 69,0 %:n tarkkuuden valeuutisten tunnistamisessa, kun materiaali on julkaistu ennen vuotta 2019, mutta tarkkuus laskee 51,9 %:iin, kun sitä sovelletaan uutisartikkeleihin, jotka on julkaistu tämän jälkeen.

Paltering ja konteksti

Vaikka tutkimus ei suoraan käsittele tätä, on mahdollista, että tällainen syväanalyysi semanttisesta vaikutuksesta voisi lopulta käsitellä hienostuneempaa kielen asekkaita, kuten paltering – itsekkään ja valikoivan käytön totuudenmukaisia lauseita saadakseen halutun tuloksen, joka voi olla vastakkainen kuin tukevan todistusaineiston henki ja tarkoitus.

Läheinen ja hieman kehittyneempi tutkimussuuntaus NLP:ssä, tietokoneen näkössä ja monimodaalisessa tutkimuksessa on kontekstin tutkiminen merkityksen liitteenä, jossa valikoiva ja itsekkään uudelleenjärjestäminen tai uudelleenkontekstualisointi totuudenmukaisia faktoja vastaa pyrkimystä herättää toinenlaisia reaktioita kuin mitä ne voisivat aiheuttaa, jos ne esitettäisiin selkeämmässä ja lineaarisemmassa muodossa.

* Minun muutos tekijöiden sisäisten viittauksien suoraan hyperlinkkeihin.

Julkaistu ensimmäisen kerran 11. maaliskuuta 2022.