Tutkimus osoittaa, että ChatGPT:llä on korkea uskottavuus uutisten tarjoajana

Uusi tutkimus osoittaa, että ChatGPT:n tosiasialliset merkinnät voittavat tykkäykset, jaetut ja jopa luotettavat uutisbrändit, kun on kyse siitä, mitä ihmiset uskovat ja haluavat jakaa verkossa.

Uuden tutkimuksen, jossa osallistui 1 000 henkilöä, mukaan ChatGPT antaa uskottavuuspisteytys poliittisille uutisille, mikä usein muuttaa sitä, mitä ihmiset uskovat ja haluavat jakaa – riippumatta heidän alkuperäisistä poliittisista näkemyksistään. Perinteiset vaikuttavuuden tekijät, kuten tykkäykset tai jaetut, eivät vaikuttaneet paljonkaan, mutta AI-järjestelmän arvio vaikutti vahvasti siihen, miten luotettavaksi uutiset nähtiin:

Uudesta tutkimuksesta, havainnollistus siitä, miten ihmiset arvioivat uutisotsikkoa, kolmen vuorovaikuttavan vihjeen perusteella: onko tarina linjassa heidän poliittisen identiteettinsä kanssa; kuinka paljon sitä jaetaan sosiaalisessa mediassa; ja mitä uskottavuusmerkintöjä laitokset tai AI-järjestelmät antavat. Nämä vaikuttavat sekä havaittuun tarkkuuteen että sisällön jakamisen todennäköisyyteen. Lähde

Tutkimuksen mukaan AI-yhteenvetojen otteen uskottavuudesta uutisten lähteenä on ehkä yksi tärkeimmistä aiheista mediassa useiden vuosien ajan, ei ainakaan siksi, että Google:n AI-yhteenvetojen on sanottu viedän liikenteen useimmilta suurilta verkkouutissivuilta vuonna 2025, ilman varmuutta siitä, mihin tämä valtansa siirto voi johtaa pitkällä tai jopa keskipitkällä aikavälillä.

Tutkimuksen tekijät toteavat:

‘Nämä tulokset korostavat sekä algoritmisen palautteen potentiaalia että riskiä julkisen ymmärryksen muokkaamisessa. AI-luotettavuusmerkit voivat auttaa vähentämään harhaa ja parantamaan uskottavuuden arviointia, mutta niiden vaikutus vaihtelee poliittisen identiteetin mukaan ja kantaa eettisiä riskejä, jotka liittyvät liialliseen riippuvuuteen […]

‘…ChatGPT:n vaikutus korostaa kriittistä kompromissia: vaikka vakuuttava, AI-palaute voi korvata kriittisen ajattelun, jos sitä ei huomattavasti muotoilla.’

Tutkijat ehdottavat, että tulevaisuuden tutkimuksissa tulisi keskittyä parannettuihin AI-luotettavuusinterventioihin, jotka ovat riippumattomampia ja tukevat tunnettuja tosiasioita, ja he huomauttavat, että tämä on erityisen tärkeää polarisoivissa aiheissa.

Lisäksi siitä, että ChatGPT näyttäisi nousevan “viranomaiseksi” ja siitä, että jaettujen merkkien vaikutus oli odottamattoman vähäinen kokeissa (jota tutkijat pitävät mahdollisesti johtuvan hieman steriilistä koeolosuhteista), tutkijoiden kokeiden tuloksesta voidaan mainita seuraavaa:

‘Naiset ja rodullisesti vähemmistöryhmien edustajat (erityisesti mustat ja latinalaiset käyttäjät) reagoivat myönteisemmin AI-pohjaisiin palautteisiin kuin laitosten antamiin merkintöihin.’

Uusi tutkimus on nimeltään AI-luotettavuusmerkit ohittavat laitokset ja osallistumisen uutisten havaitsemisessa sosiaalisessa mediassa, ja se on tehty kolmen tutkijan toimesta Notre Damen yliopistossa.

Tutustumme nyt tutkimuksen menetelmiin ja johtopäätöksiin.

Menetelmä

Neljä hypoteesia testattiin: että ihmiset antaisivat uutisotsikolle korkeamman tarkkuuspisteytyksen, jos se heijasti heidän poliittisia näkemyksiään; että AI-luotettavuusmerkit olisivat vaikuttavampia kuin perinteisten laitosten antamat merkit; että uutisotsikot, joilla on korkea osallistuminen (esim. mitattuna tykkäyksillä, jaetuilla tai kommentteilla), nähtäisiin luotettavampina; ja että käyttäjät hyväksyisivät AI:n tuomion uutisotsikon tarkkuudesta, jopa silloin, kun se ristiriitaisi heidän omien uskomustensa kanssa.

Tutkimuksen osallistujat haettiin Prolific-alustalta, ja heidän piti olla sujuva englannin kielen taitoisia sekä säännöllisiä uutisten kuluttajia; ja satunnaistamisprosessi varmisti, että osallistujat edustivat moninaista rotu- ja sukupuolijakaumaa.

Kokeessa osallistujat jaettiin neljään ryhmään, ja kullekin ryhmälle näytettiin erilaista palautetta uutisotsikoiden rinnalla.

Ensimmäisessä ryhmässä (kontrolliryhmässä) ei annettu lisätietoa uutisotsikon luotettavuudesta; toisessa ryhmässä uutisotsikot merkittiin GroundNews-palvelun puoluekannan mukaan (vasemmisto-, keskusta- tai oikeistolainen).

Kolmannessa ryhmässä näytettiin samat GroundNews-merkit, mutta tarkoituksella käännetyt, jotta voitiin testata, havaitsevatko käyttäjät vääristymän.

Viimeisessä ryhmässä näytettiin ChatGPT:n antamat luotettavuusarviot, jotka sisälsivät lyhyen selityksen ja pisteytyksen, kuten ‘todennäköisesti epätarkka’:

Kokeen konseptuaalinen schema: jokaiselle osallistujalle näytettiin poliittisia uutisotsikkoja, joissa oli erilaisia luotettavuusmerkintöjä ja sosiaalisen median osallistumisen merkkejä. Vastauksia kerättiin siitä, miten tarkoja uutisotsikot vaikuttivat ja miten todennäköisesti niitä jaettaisiin, ja koko järjestelmä toistettiin 21 kohdan ajan.

Tulokset ja testit

Jokaiselle osallistujalle näytettiin 21 poliittista uutisotsikkoa. Jokaisen uutisotsikon sosiaalisen median osallistumisen taso vaihdeltiin; toisinaan se näytti tykkäyksiä tai jaettuja, toisinaan paljon. Nämä osallistumisen merkit olivat satunnaistettuja, jotta vältetään kiinteät mallit.

Uutisotsikot olivat sekoitus eri poliittisia näkökulmia ja ne oli merkitty vasemmistolaisiksi, oikeistolaisiksi tai keskustalaisiksi.

Jokaisen uutisotsikon jälkeen osallistujilta kysyttiin, kuinka tarkoja he pitivät sitä, ja halusivatko he jakaa sen. Koska jokainen osallistuja oli jo ilmoittanut oman poliittisen sitoutumisensa, oli mahdollista analysoida, pitivätkö osallistujat uutisotsikkoja, jotka edustivat heidän omaa poliittista näkökulmaansa, myönteisemmin.

Osallistujat antoivat pisteytyksen kullekin uutisotsikolle kahdesti: kerran siitä, kuinka tarkoja he pitivät sitä, ja kerran siitä, kuinka todennäköisesti he halusivat jakaa sen, ja heidän vastauksensa mitattiin 0-10 asteikolla.

Tutkijat yhdistivät nämä vastaukset muihin tietoihin: osallistujien demografiatietoihin ja mediaan käytön tietoihin; poliittisiin merkintöihin kullekin uutisotsikolle; luotettavuusmerkintöihin, jotka näytettiin; ja sosiaalisen median osallistumisen tasoon.

Poliittisen identiteetin vaikutus

Ensimmäisessä testissä, jossa tutkittiin, pitävätkö ihmiset uutisotsikkoja tarkempiina, jos ne heijastelevat heidän poliittista näkökulmaansa, tulokset osoittivat, että osallistujat olivat todennäköisemmin uskonnollisia uutisotsikkoja, jotka vastasivat heidän poliittista näkökulmaansa – mutta tämä riippui ryhmästä.

Maltilliset osallistujat osoittivat vahvinta puolueellisuutta omalla puolellaan, kun taas liberaalit ja konservatiivit luottivat enemmän keskustalaisiin uutisotsikoihin; ja yleisesti ottaen, neutraalit uutisotsikot arvioitiin tarkemmiksi kuin vasemmistolaiset tai oikeistolaiset.

Kuva siitä, miten tarkkuus- ja jakamisarviot muuttuivat uutisotsikon poliittisen kannan ja osallistujan poliittisen sitoutumisen mukaan. Maltilliset osallistujat olivat todennäköisemmin pitämään ‘omaryhmänsä’ uutisotsikkoja tarkoina, kun taas liberaalit ja konservatiivit suosivat keskustalaisia uutisotsikkoja. Jakamiskäyttäytyminen seurasi samanlaista mallia, mutta maltillisten ulkopuolella ei ollut merkittävää puolueellisuutta.

Tuloksissa havaittiin maltillisten keskuudessa kohtuullinen puolueellisuus jakamisessa; mutta liberaalit ja konservatiivit eivät osoittaneet tällaista taipumusta.

Varianssianalyysi (ANOVA), menetelmä, jota käytetään ryhmien välisen erojen havaitsemiseen, osoitti, että linjaus vaikutti jakamiseen vain, kun se vuorovaikutti poliittisen identiteetin kanssa. Luotettavuus ja jakaminen liittyivät toisiinsa, mutta vain maltilliset osallistujat osoittivat selkeän mallin molemmissa.

Laitoksen ja AI:n luotettavuus

Seuraava testi kysyi, luottavatko ihmiset enemmän AI-arvioihin kuin perinteisiin lähteisiin, kuten uutisarviointisivustoihin – erityisesti, kun arviot voivat olla ristiriidassa heidän poliittisen näkemyksensä kanssa:

Luotettavuus- ja jakamisarviot palautteen lähteittäin: kaikki kolme signaalia lisäsivät tarkkuutta verrattuna kontrolliryhmään, ja GroundNews antoi korkeimmat arviot. ChatGPT kuitenkin tuotti suurimmat voitot jakamisessa, mikä viittaa laajempaan vakuuttavuuteen. Virhepalkit osoittavat 95 prosentin luottamusvälejä, ja tähdet merkitsevät merkittäviä parittaisia eroja.

Kaikki palautteet lisäsivät havaittua tarkkuutta; mutta GroundNews oli tehokkain, kun se oli linjassa käyttäjän poliittisen näkemyksen kanssa.

ChatGPT paransi tarkkuusarvioita yleisesti, osoittaen, että sitä pidettiin neutraalimpana. Konservatiivit eivät olleet yhtä herkkästi vaikuttuvaisia GroundNewsille, mutta reagoivat ChatGPT:hen samalla tavalla kuin muut ryhmät:

Tässä näkyy ChatGPT-palautteen vaikutus havaittuun tarkkuuteen. Tulokset vahvistavat, että luottamus laitosten signaaleihin riippuu linjauksesta, kun taas luottamus algoritmisiin signaaleihin ei. ChatGPT paransi sekä luotettavuutta että jakamista kaikissa ryhmissä – erityisesti konservatiiveissa.

Sosiaalisen median merkit eivät vaikuta

Kolmas analyysi testasi, voisivatko näkyvät sosiaalisen median osallistumisen signaalit, kuten tykkäykset, jaetut ja kommentit, lisätä luotettavuutta tai jakamista toimimalla sosiaalisen todistusvoiman kaltaisina; mutta tällaista vaikutusta ei havaittu.

Testit osoittivat, että osallistumisen tasot, kuten tykkäykset tai jaetut, eivät vaikuttaneet merkittävästi siihen, miten tarkoja uutisotsikot vaikuttivat, ja niillä oli vain heikko ja epävakaa vaikutus siihen, miten jaettavia ne tuntuivat; toisin kuin algoritmiset tai laitosten antamat signaalit, nämä sosiaalisen median signaalit eivät näyttäneet vaikuttavan tuomioihin tässä ympäristössä, johtuen aiemmin mainituista syistä.

AI-palaute vaikuttaa siihen, mitä ihmiset luottavat

Neljäs ja viimeinen koe testasi, muuttaisivatko käyttäjät luotettavuus- ja jakamisarvioitaan AI-luotettavuusmerkkien mukaan: tarkka; osuva; vahvistamaton; tai epätarkka, kaikki annettuina ChatGPT:ltä.

Osallistujat reagoivat voimakkaasti AI-luotettavuusmerkkeihin. Tarkkuusarviot nousivat tai laskivat ChatGPT:n palautteen mukaan, ja suurimmat vaikutukset havaittiin, kun uutisotsikot merkittiin tosiasiallisiksi tai epätosiasiallisiksi:

ChatGPT-palautteen vaikutus sekä tarkkuus- että jakamisarvioihin. Ylempänä: Tarkkuusarviot nousivat myönteisempien merkintöjen myötä, erityisesti kun uutisotsikot oli merkitty ‘tosiasiallisiksi’, ja laskivat, kun ne oli merkitty ‘epätosiasiallisiksi’. Alhaalla: Jakamisarvio seurasi samanlaista mallia, mutta näytti suurempaa ryhmien välistä vaihtelua: liberaalit reagoivat voimakkaammin negatiivisiin vihjeisiin, kun taas konservatiivit osoittivat hillitympiä muutoksia.

Poliittinen identiteetti vaikutti näihin vaikutuksiin, ja käyttäjät luottivat ChatGPT:hen enemmän, kun sen palautteet olivat linjassa heidän omien näkemyksiensä kanssa.

Jakamiskäyttäytyminen seurasi samanlaista mallia: ‘omaryhmän’ uutisotsikot, jotka oli merkitty tosiasiallisiksi, jaettiin useimmin, erityisesti epävarmojen merkintöjen alla, kuten osuva.

Nämä tulokset, tutkimuksen mukaan, osoittavat, että AI-palaute voi muuttaa käyttäjien käyttäytymistä; ja se myös vaarantaa vahvistamalla puolueellisia jakautumia tai estämällä kriittistä ajattelua.

Kuka luottaa AI:hin eniten?

Jatkotutkimus tarkasteli, miten käyttäjien demografiat vaikuttavat luotettavuusmerkkien reagointiin. ChatGPT:n palautteet paransivat tarkkuusarvioita yleisesti, mutta vaikutus oli heikompi korkeasti koulutetuilla käyttäjillä ja sosiaalisen median runsaasti käyttävillä, jotka osoittivat enemmän epäilyä.

Nämä samat ryhmät reagoivat kielteisesti GroundNews- ja käännetyille vihjeille, mikä viittaa siihen, että ilmeiset puolueellisuuden merkit voivat ärsyttää enemmän medialukutaitoisia käyttäjiä.

Toisaalta naiset ja rodullisesti vähemmistöryhmien edustajat, erityisesti mustat ja latinalaiset käyttäjät, reagoivat myönteisemmin ChatGPT:hen kuin laitosten antamiin merkintöihin:

Demografiaryhmien vastaukset eri palautetyypeille, jokainen paneeli näyttää, miten tietty ryhmä reagoi eri luotettavuusmerkkeihin. ChatGPT:n arviot olivat vahvimpia ja johdonmukaisimpia tarkkuuden osalta, kun taas jakamisvaikutukset olivat epäyhtenäisempiä, vaihdellessa rodun, sukupuolen ja median käytön mukaan.

Jakamiskäyttäytyminen heijasti tätä jakoa: GroundNews vähensi jakamista voimakkaammin sosiaalisen median käyttäjillä ja uutisista kiinnostuneilla, kun taas ChatGPT:n vaikutukset olivat sekä vähäisempiä ja epävakaisempia, joissakin ryhmissä jopa lisäten jakamista, erityisesti korkeakoulutetuilla, jotka reagoivat kaikkiin palautetyyppeihin.

Tutkijat johtavat:

‘Nämä tulokset ovat suoraan sovellettavissa socioteknisten järjestelmien luotettavuusinterventioiden suunnitteluun. Käyttäjät ovat yhä enemmän vaikuttuvaisia algoritmisen palautteen vaikutuksille, joka voi ohittaa laitosten signaalit ja lieventää puolueellisuuden harhaa – mutta se myös kantaa riskejä liialliseen riippuvuuteen.

‘Laitosten signaalit ovat edelleen tehokkaita joillekin käyttäjille, mutta niiden vaikutus vähenee polarisoituneissa tai vähäisen luottamuksen ympäristöissä. Sosiaalisen median osallistumisen mittarit, kuten tykkäykset ja jaetut, olivat pääosin ohittamatta, osoittaen vähäistä vakuuttavuusarvoa, kun ne esitettiin ilman sosiaalista kontekstia.

‘Tuen uutisten arviointiin, AI-ohjattujen interventioiden on oltava avoimia, selittäviä ja suunniteltu siten, että ne parantavat käyttäjien toimintaa.

‘Tulevaisuuden tutkimuksissa tulisi tutkia näitä mekanismeja ekologisesti validimmassa ympäristössä, arvioida vaihtoehtoisia AI-luotettavuuden kehystyksiä ja kehittää sopeutuvia järjestelmiä, jotka edistävät kriittistä osallistumista poliittisesti monimuotoisissa yleisöissä.’

Johtopäätös

Koska kaikki nykyiset generatiiviset AI-järjestelmät ovat taipuvaisia harhaan ja vääristelevät totuutta, on ehkä aiheellista huolestua siitä, että ChatGPT:n nopea omaksuminen (vaikka se hidastuu hieman) edustaa valtavaa loikkaa uskoon, että tällaisten järjestelmien arkkitehtuuri ei voi perustella eikä tue.

Yksi ongelma AI:n uutisten esittämisessä on, että ei ole tehokkaita järjestelmiä, jotka voivat kontekstualisoida uutislähteitä ‘poliittisesti sitoutuneiksi’ tai kallistuviksi jommallekummalle puolelle poliittista spektriä.

Even parhaimmista, arvostetuimmista neljännen valtakunnan lähteistä, valinta siitä, mitä ja mitä ei käsitellä, on itsessään poliittinen kannanotto. ChatGPT tai sen kaltaiset järjestelmät eivät ole tällä hetkellä kykeneviä navigoimaan näiden tulkinnanvaraisuuden kerroksia, ja aihe itse kutsuu keskusteluun eikä vahvoihin johtopäätöksiin.

Toinen ongelma on, että tällaiset järjestelmät ovat saapuneet kohtaan, jossa yhteiskunta on polarisoituneinta ja jakautuneinta 80 vuoteen, ja aikaan, jolloin yhteiskunta on valmis kuuntelemaan ‘vaihtoehtoisia ääniä’ – kuten täysin uuden teknologian genre, jota markkinoidaan maailman totuuden olennaisena suodattimena, sen sijaan, mitä se todella on: tilastollisten todennäköisyyksien ennustaja, jota ruokitaan suurilla määrillä puolueellista tietoa.

* Yksityiskohtia, joita tutkijat ovat tehneet saataville verkossa (katso lähde, sivun P2 alaosa, URL-osoitteita varten). Kuitenkin tämä data vaatii rekisteröitymisen nähdäkseen, ja koska en jatkanut asiaa tuolloin, en voi vahvistaa, voidaanko sitä katsella kokonaan ilman maksua ja/tai tiettyjä tunnisteita.

Julkaistu ensimmäisen kerran keskiviikkona, 5. marraskuuta 2025