Forskning viser at ChatGPT har høy troverdighet som nyhetsleverandør

Ny forskning viser at ChatGPTs faktasjekklisensmerker slår likes, delinger og selv pålitelige nyhetskilder når det kommer til å forme hva folk tror og ønsker å dele på nettet.

En ny studie av 1 000 personer har funnet ut at når ChatGPT gir en troverdighetsvurdering til politiske nyheter, endrer det ofte hva folk tror, og om de ønsker å dele det – uavhengig av deres opprinnelige politiske syn.

Fra den nye artikkelen, en illustrasjon av hvordan mennesker vurderer en nyhetsoverskrift, basert på tre samspillende signaler: om historien stemmer overens med deres politiske identitet; hvor mye engasjement den ser ut til å ha på sosiale medier; og troverdighetssignalene gitt av institusjoner eller AI-systemer. Disse påvirkningene kombinerer for å forme både oppfattet nøyaktighet og sannsynligheten for å dele innholdet. Kilde

I hvilken grad AI-sammendrag blir tatt som troverdige nyhetskilder, er kanskje ett av de viktigste temaene i media i mange år, ikke minst fordi Googles AI-sammendrag har dræret trafikken fra de fleste store nettbaserte mediehus i 2025, med ingen sikkerhet på hvor denne overføringen av makt kan gå i lang eller mellomlang tid.

Forfatterne av den nye studien skriver:

‘Disse funnene understreker både potensialet og risikoen med algoritmbasert tilbakemelding i å forme offentlig forståelse. AI-genererte signaler kan hjelpe til å mildne bias og forbedre troverdighetsvurdering, men deres påvirkning varierer med politisk identitet og bærer etiske risikoer relatert til overavhengighet […]

‘…Den overdimensjonerte påvirkningen av ChatGPT understreker en kritisk avveining: mens overbevisende, kan AI-tilbakemelding forskyve kritisk tenkning hvis den ikke er nøye rammet.’

Forfatterne foreslår at fremtidig forskning bør fokusere på forbedrede AI-troverdighetsintervensjoner som er mer uavhengige og støtter kjente fakta, og de observerer at dette er spesielt viktig i emner som er polariserende.

Foruten den åpenbare oppstigningen av ChatGPT som en “autoritet”, og den uventede lavere påvirkningen av delingssignalene i testene (som forfatterne mener kan være tilskrevet de noe sterile testbetingelsene), er et annet interessant resultat fra forskernes tester relatert til demografi og kjønn:

‘Kvinner og minoritetsdeltagere (spesielt svarte og latinske brukere) responderte mer positivt på AI-basert tilbakemelding enn institusjonelle merker.’

Den nye studien har tittelen AI-troverdighetssignaler rangerer over institusjoner og engasjement i å forme nyhetsoppfatning på sosiale medier, og kommer fra tre forskere ved University of Notre Dame.

La oss ta en nærmere titt på papirets metoder og konklusjoner.

Metode

Fire hypoteser ble testet: at mennesker ville rangere overskrifter som mer nøyaktige når overskriftene reflekterte deres politiske syn; at AI-genererte troverdighetsskår ville være mer innflytelsesrike enn signaler fra etablerte institusjoner; at overskrifter med høyt engasjement (dvs. målt gjennom likes, delinger eller kommentarer) ville bli sett på som mer troverdige; og at brukerne ville tendere til å akseptere AI-systemets vurdering av en overskrifts nøyaktighet, selv når det kom i konflikt med deres egne overbevisninger.

Deltagere i studien ble rekruttert fra Prolific-plattformen, og måtte være flytende i engelsk, samt regelmessige forbrukere av nyheter; og en prosess med tilfeldig utvalg sikret at deltagerne representerte en mangfoldighet av rase- og kjønnspersepsjoner.

I eksperimentet* ble deltagerne delt inn i fire grupper, hver vist en annen type tilbakemelding sammen med nyhetsoverskriftene.

I den første gruppen (kontrolltilstanden) ble ingen ekstra informasjon gitt om hvor troverdig overskriften kunne være; i den andre gruppen ble overskriftene merket med en biasvurdering fra GroundNews, en tjeneste som klassifiserer nyhetskilder som venstre-, sentrum- eller høyreorienterte.

En tredje gruppe så de samme GroundNews-merkene, men med vilje snudd, og skapte en misforståelse som var ment å teste om brukerne ville oppdage forvrengningen.

Den siste gruppen ble vist troverdighetsvurderinger skrevet av ChatGPT, som tilbød en kort forklaring og en vurdering som ‘sannsynligvis uriktig’:

Konseptuell skisse for eksperimentet: hver deltager ble vist politiske overskrifter med varierende kombinasjoner av troverdighetsmerker og sosiale engasjementssignaler. Responser ble samlet inn på hvor nøyaktig hver overskrift syntes å være, og hvor sannsynlig det var å dele den, med hele sekvensen gjentatt over 21 punkter.

Data og tester

Hver deltager ble vist en sekvens av 21 politiske nyhetsoverskrifter. For hver overskrift ble nivået av sosialt engasjement variert; noen ganger viste det ingen likes eller delinger, noen ganger mange. Disse engasjementssignalene ble tilfeldig valgt for å unngå faste mønster.

Overskriftene selv kom fra en blanding av politiske perspektiver, og ble merket som venstreorientert, høyreorientert eller sentrum.

Etter hver overskrift ble deltagerne spurt hvordan nøyaktig de trodde den var, og om de ville vurdere å dele den. Fordi hver deltager allerede hadde uttalt sin egen politiske tilhørighet, var det mulig å analysere om overskrifter fra samme side av det politiske spekteret ble rangert mer positivt.

Deltagerne scoret hver overskrift to ganger: en gang for hvor nøyaktig den syntes å være, og en gang for hvor sannsynlig det var å dele den, med deres responser målt på en 0-10-skala.

Forskerne kombinerte så disse svarene med ytterligere data: demografisk og mediebrukinformasjon fra hver deltager; politiske merker for hver overskrift; typen troverdighetssignal som ble vist; og nivået av sosialt engasjement som ble tildelt.

Politisk identitets påvirkning

I den første testen, som undersøkte om mennesker rangerte overskrifter som mer nøyaktige når overskriftens politiske holdning stemte overens med deres eget syn, viste resultatene at deltagerne var mer sannsynlig til å tro på overskrifter som stemte overens med deres politiske syn – men at dette avhengig av gruppen.

Moderater viste den sterkeste bias mot deres egen side, mens liberale og konservative tenderte til å stole på sentrum-orienterte overskrifter mest; og generelt ble nøytrale overskrifter rangert som mer nøyaktige enn venstre- eller høyreorienterte.

En illustrasjon av hvordan nøyaktighets- og delbarhetsvurderinger endret seg avhengig av både overskriftens politiske holdning og deltagerens politiske tilhørighet. Moderater var mest sannsynlig til å rangere ‘ingroup’-overskrifter som nøyaktige, mens liberale og konservative favoriserte sentrum-orienterte overskrifter. Delingssammenhengen fulgte en lignende mønster, med begrenset ingruppbias utenfor moderate gruppen.

I resultater fra denne første eksperimentet ble en moderat ingruppeffekt på delbarhet funnet; men bare for moderater, som var mer tilbøyelige til å dele politisk orienterte (dvs. nøytrale) overskrifter. Liberale og konservative viste ingen slik tendens.

Analyse av varians (ANOVA), en metode brukt til å spore forskjeller mellom grupper, viste at tilhørighet påvirkte deling bare når den samspilte med politisk identitet. Troverdighet og deling var koblet, men bare moderater viste en tydelig mønster på begge.

Institusjonell vs. AI-troverdighet

Den neste testen spurte om mennesker stoler mer på AI-vurderinger enn tradisjonelle kilder som nyhetsvurderingssider – spesielt når vurderingene kunne være i konflikt med deres politiske syn:

Troverdighet- og delbarhetsvurderinger over tilbakemeldingstyper: alle tre signalene økte nøyaktighet sammenlignet med kontroll, med GroundNews som gav de høyeste vurderingene. Imidlertid produserte ChatGPT de største gevinster i delbarhet, noe som tyder på at det hadde en bredere overbevisende effekt. Feilbårer viser 95% konfidensintervall, og stjerner markerer signifikante parvise forskjeller.

Alle tilbakemeldinger økte oppfattet nøyaktighet; men GroundNews var mest effektiv når det stemte overens med brukerens politiske syn.

ChatGPT økte nøyaktighetsvurderinger over hele linjen, noe som indikerer at det ble sett på som mer nøytralt. Konservative var mindre påvirket av GroundNews, men responderte likevel på ChatGPT på samme måte som andre grupper:

Her kan vi se effekten av ChatGPT-tilbakemelding på oppfattet nøyaktighet. Resultatene indikerer at tillit til institusjonelle signaler avhenger av tilhørighet, mens tillit til algoritmbaserte signaler ikke gjør det. ChatGPT økte både troverdighet og delbarhet over gruppene – spesielt for konservative.

Sosiale målinger har liten påvirkning

Den tredje analysen testet om synlige sosiale engasjementssignaler som likes, delinger og kommentarer ville øke troverdighet eller delbarhet ved å fungere som sosial bevis; men ingen slik effekt ble observert.

Testene viste at engasjementnivåer, som likes eller delinger, hadde ingen reell effekt på hvor nøyaktig overskriftene syntes å være, og bare en svak, ustabilt effekt på hvor delbar de føltes; i motsetning til algoritmbaserte eller institusjonelle signaler, syntes disse sosiale signalene ikke å påvirke vurderinger i denne sammenhengen, av grunner som tidligere er nevnt i artikkelen.

AI-tilbakemelding påvirker hva folk stoler på

Den fjerde og siste eksperimentet testet om brukerne ville justere sine troverdighets- og delingsvurderinger i respons til AI-genererte merker: nøyaktig; delvis nøyaktig; uvurdert; eller uriktig, alle tildelt av ChatGPT.

Deltagerne responderte sterkt på AI-genererte troverdighetssignaler. Nøyaktighetsvurderinger økte eller sank i takt med ChatGPTs tilbakemelding, med de største effektene når overskrifter ble merket som nøyaktig eller uriktig:

ChatGPT-tilbakemelding påvirkte både nøyaktighets- og delbarhetsvurderinger. Øverst: Nøyaktighetsvurderinger økte med mer positive merker, spesielt når overskrifter ble merket som ‘Nøyaktig’, og sank når merket som ‘Uriktig’. Nederst: Delbarhet fulgte et lignende mønster, men viste større variasjon mellom gruppene: liberale responderte sterkest på negative signaler, mens konservative viste mer moderate endringer.

Politisk identitet påvirkte disse effektene, med brukere som stolte mer på ChatGPT når dens tilbakemelding stemte overens med deres eget syn.

Delingsatferd fulgte et lignende mønster: ingruppe-overskrifter merket som nøyaktige ble delt oftest, spesielt under tvetydige merker som delvis nøyaktig.

Disse resultater, foreslår artikkelen, tyder på at AI-tilbakemelding kan endre brukeratferd; og at det også risikerer å forsterke partipolare skillelinjer eller å motvirke kritisk tenkning.

Hvem stoler mest på AI?

Følgeanalyse undersøkte hvordan brukerdemografi påvirkte reaksjoner på troverdighetssignaler. ChatGPTs tilbakemelding økte nøyaktighetsvurderinger generelt, men effekten var svakere blant høyt utdannede brukere og hyppige sosiale mediebrukere, som viste mer skepsis.

Disse samme gruppene responderte negativt på GroundNews- og Reversed-signalene, noe som, ifølge artikkelen, kan tyde på at åpen biasmarkører kan alienere mer mediekyndige brukere.

I motsetning responderte kvinner og minoritetsdeltagere, spesielt svarte og latinske brukere, mer positivt på ChatGPT enn på institusjonelle signaler:

Demografiske responser på tilbakemeldingstyper, med hver panel som viser hvordan en bestemt gruppe responderte på ulike troverdighetssignaler. ChatGPTs vurderinger hadde den sterkeste og mest konsekvente påvirkning på nøyaktighet, mens effekter på deling var mindre enhetlige, med variasjon etter rase, kjønn og mediebruk.

Delingsatferd speilet denne splittelsen: GroundNews reduserte delbarhet skarpest blant sosiale mediebrukere og nyhetsjunkier, mens ChatGPTs effekter var mer blandede, og til og med økte delbarhet i noen grupper, med høyeregrads-utdannede som var spesielt responsive til alle tilbakemeldingstyper.

Forfatterne konkluderer:

‘Disse funnene har direkte implikasjoner for design av troverdighetsintervensjoner i sosiotekniske systemer. Brukere blir stadig mer påvirket av algoritmbasert tilbakemelding, som kan overstyre institusjonelle signaler og moderere partipolare bias – men også risikerer å fremme overavhengighet.

‘Institusjonelle signaler forblir effektive for noen brukere, men deres påvirkning avtar i politisk polariserte eller [lavt-tillits] miljøer. I mellomtiden var engasjementssignaler som likes og delinger stort sett ignorert, noe som tyder på redusert overbevisende verdi når de presenteres uten sosial kontekst.

‘For å støtte likeverdig og informert nyhetsvurdering, må AI-drevne intervensjoner være gjennomsiktige, forklarende og designet for å forbedre brukerens handlingsrom.

‘Fremtidig arbeid bør undersøke disse mekanismene i mer økologisk gyldige sammenhenger, evaluere alternative AI-troverdighetsrammeverk og utvikle adaptive systemer som fremmer kritisk engasjement over politisk diverse publikum.’

Konklusjon

Gitt tendensen til alle nåværende generative AI-systemer til å hallusinere og forvrengle sannheten, er det kanskje av en viss bekymring at den ville adopsjonen (selv om det avtar litt) av ChatGPT også representerer et enormt sprang i tro som arkitekturene til slike systemer ikke kan rettferdiggjøre eller støtte.

Et problem med å stole på AI-representasjon av nyheter er mangelen på effektive systemer som kan kontekstualisere nyhetskilder som ‘politisk tilknyttede’, eller som har en bestemt politisk orientering.

Even blant de mest pålitelige fjerde-estat-kildene er valget av hva som dekkes og hva som ikke dekkes i seg selv en politisk uttalelse. Verken ChatGPT eller dens like er for tiden i stand til å navigere disse lagene av tolkende bias, og temaet selv inviterer til diskusjon fremfor solide konklusjoner.

Et annet problem er at systemer av denne typen har ankommet scenen i en av de mest polariserte og splittende periodene i menneskehetens historie på 80 år, og på et tidspunkt da samfunnet er mest villig til å lytte til ‘alternative stemmer’ – som en helt ny sjanger teknologi som blir fremmet som en essensiell filter for verdens sannhet, fremfor hva det faktisk er: en prediktor for statistiske sannsynligheter, matet med store mengder partipolitisk informasjon.

* Detaljer om hvilke forfatterne har gjort tilgjengelig online (se kildeartikkel, bunnen av P2, for URL-er). Imidlertid krever denne datoen registrering for å se, og siden jeg ikke tok saken videre på det tidspunktet, kan jeg ikke bekrefte at den kan sees fullstendig uten betaling og/eller bestemte typer legitimasjon.

Først publisert onsdag, 5. november 2025