Forskning viser, at ChatGPT har høj troværdighed som nyhedsleverandør

Nyt forskning viser, at ChatGPT’s faktatjekmærker slår likes, shares og selv troværdige nyhedsbrands, når det kommer til at forme, hvad folk tror på og vil dele online.

En ny undersøgelse af 1.000 personer har fundet, at når ChatGPT giver en troværdighedsscore til politiske nyheder, ændrer det ofte, hvad folk tror på, og om de vil dele det – uanset deres oprindelige politiske synspunkter. Mere traditionelle influencerfaktorer som likes eller shares havde ikke megen effekt, men AI’s domæne formede stærkt, hvor troværdigt nyheden syntes:

Fra den nye artikel, en illustration af, hvordan mennesker vurderer en nyhedsoverskrift, baseret på tre interagerende signaler: om historien er i overensstemmelse med deres politiske identitet; hvor meget engagement den ser ud til at have på sociale medier; og troværdighedssignalerne leveret af institutioner eller AI-systemer. Disse påvirkninger kombinerer for at forme både opfattet nøjagtighed og sandsynligheden for at dele indholdet. Kilde

Omfanget, hvori AI-summeringer anses for at være troværdige nyhedsleverandører, er måske et af de vigtigste emner i medierne i mange år, ikke mindst fordi Google’s AI-summeringer har drænet trafik væk fra de fleste store online medieudbydere i 2025, med ingen sikkerhed på, hvor denne magtoverførsel kan gå hen i længere eller endda mediumfrist.

Artikelens forfattere skriver:

‘Disse resultater fremhæver både potentialet og risikoen for algoritme-baseret feedback i formning af offentlig forståelse. AI-genererede signaler kan hjælpe med at mindske bias og forbedre troværdighedsdiskriminering, men deres indflydelse varierer med politisk identitet og medfører etiske risici i forbindelse med overafhængighed […]

‘…Den overdimensionerede indflydelse af ChatGPT fremhæver en kritisk kompromis: mens overbevisende, kan AI-feedback måske erstatter kritisk tænkning, hvis det ikke er omhyggeligt formuleret.’

Forfatterne foreslår, at fremtidig forskning skal fokusere på forbedrede AI-troværdighedsinterventioner, der er mere uafhængige og understøtter kendte fakta, og de bemærker, at dette er særligt vigtigt i emner, der er polariserende.

Ud over den åbenlyse opstigning af ChatGPT som en ‘autoritet’ og den uventet lave indflydelse af delings-signaler i testene (som forfatterne mener kan være tilskrevet de lidt sterile testbetingelser), er der endnu en interessant udfald fra forskernes tests i forhold til demografi og køn:

‘Kvinder og racemæssigt minoritetsdeltagere (især sorte og latinske brugere) reagerede mere positivt på AI-baseret feedback end institutionelle mærker.’

Den nye artikel har titlen AI-Troværdighedssignaler overgår institutioner og engagement i formning af nyhedsopfattelse på sociale medier og kommer fra tre forskere ved University of Notre Dame.

Lad os tage en nærmere kig på artiklens metoder og konklusioner.

Metode

Fire hypoteser blev testet: at mennesker ville bedømme overskrifter som mere nøjagtige, når overskrifterne reflekterede deres politiske synspunkter; at AI-genererede troværdighedsscores ville være mere indflydelsesrige end signaler fra etablerede institutioner; at overskrifter med højt engagement (dvs. målt gennem likes, shares eller kommentarer) ville blive set som mere troværdige; og at brugere ville have tilbøjelighed til at acceptere AI’s dom om en overskrifts nøjagtighed, selv når det modsagde deres egne overbevisninger.

Deltagerne i studiet blev rekrutteret fra Prolific-platformen og skulle være flydende i engelsk, samt regelmæssige forbrugere af nyheder; og en randomiseringsproces sikrede, at deltagerne repræsenterede en diversitet af racemæssige og kønsorienterede synspunkter.

I eksperimentet* blev deltagerne inddelt i fire grupper, hver vist en anden type feedback sammen med nyhedsoverskrifterne.

I den første gruppe (kontroltilstanden) blev der ikke givet nogen ekstra information om, hvor troværdig overskriften måske var; i den anden gruppe blev overskrifterne mærket med en bias-vurdering fra GroundNews, en tjeneste, der klassificerer nyhedssteder som venstre-, center- eller højreorienterede.

En tredje gruppe så de samme GroundNews-mærker, men med vilje vendt, og skabte en mislighed, der skulle testes, om brugerne ville opdage forvrængningen.

Den sidste gruppe blev vist troværdighedsbedømmelser skrevet af ChatGPT, der tilbød en kort forklaring og en vurdering som ‘sandsynligvis unøjagtig’:

Konceptuel skema for eksperimentet: hver deltager blev vist politiske overskrifter med varierende kombinationer af troværdighedsmærker og sociale engagementssignaler. Respons var indsamlet på, hvor nøjagtig hver overskrift syntes, og hvor sandsynligt det var, at den ville blive delt, med den fulde sekvens gentaget over 21 punkter.

Data og tests

Hver deltager blev vist en sekvens af 21 politiske nyhedsoverskrifter. For hver overskrift blev niveauet af socialt engagement varieret; nogle gange viste det ingen likes eller shares, nogle gange mange. Disse engagementssignaler blev randomiseret for at undgå faste mønstre.

Overskrifterne selv kom fra en blanding af politiske perspektiver og var mærket som venstreorienterede, højreorienterede eller centristiske.

Efter hver overskrift blev deltagerne bedt om, hvor nøjagtige de troede, den var, og om de ville overveje at dele den. Fordi hver deltager allerede havde erklæret deres egen politiske tilhørsforhold, var det muligt at analysere, om overskrifter fra samme side af det politiske spektrum blev vurderet mere positivt.

Deltagerne vurderede hver overskrift to gange: en gang for, hvor nøjagtig den syntes, og en gang for, hvor sandsynligt det var, at den ville blive delt, med deres svar målt på en 0-10-skala.

Forskerne kombinerede derefter disse svar med yderligere data: demografisk og mediebrugsinformation fra hver deltager; politiske mærker for hver overskrift; typen af troværdighedssignal, der blev vist; og niveauet af socialt engagement, der blev tildelt.

Politisk identitets indflydelse

I den første test, der undersøgte, om mennesker vurderer overskrifter som mere nøjagtige, når overskriftens politiske synspunkt er i overensstemmelse med deres eget, viste resultaterne, at deltagerne var mere tilbøjelige til at tro på overskrifter, der var i overensstemmelse med deres eget synspunkt – men at dette afhængigt af gruppen.

Moderater viste den stærkeste bias mod deres egen side, mens liberale og konservative havde tilbøjelighed til at stole på center-orienterede overskrifter mest; og generelt blev neutrale overskrifter vurderet som mere nøjagtige end venstre- eller højreorienterede.

En illustration af, hvordan nøjagtigheds- og delingsvurderinger ændrede sig afhængigt af både overskriftens politiske synspunkt og deltagerens politiske tilhørsforhold. Moderater var mest tilbøjelige til at vurderer ‘ingroup’-overskrifter som nøjagtige, mens liberale og konservative foretrak center-orienterede overskrifter. Delingsadfærd fulgte en lignende mønster, med begrænset ‘ingroup’-bias uden for den moderate gruppe.

I resultaterne af denne første eksperiment fandt man en moderat ‘ingroup’-effekt på delingsvurderinger; men kun for moderater, der var mere tilbøjelige til at dele politisk alignerede (dvs. neutrale) overskrifter. Liberale og konservative viste ingen sådan tendens.

Analyse af varians (ANOVA), en metode, der bruges til at spotte forskelle mellem grupper, viste, at alignment påvirkede deling kun, når det interagerede med politisk identitet. Troværdighed og deling var sammenhængende, men kun moderater viste en klar mønster på begge punkter.

Institutionel vs. AI-troværdighed

Den næste test spurgte, om mennesker stoler mere på AI-vurderinger end traditionelle kilder som nyheds-vurderingssites – især, når vurderingerne måske modsagde deres politik:

Troværdigheds- og delingsvurderinger over feedback-kilder: alle tre signaler øgede nøjagtighed i forhold til kontrol, med GroundNews, der gav den højeste vurdering. Men ChatGPT producerede de største gevinster i deling, hvilket tyder på, at det havde en bredere overbevisende virkning. Fejlbarer viser 95% konfidensintervaller, og asterisker markerer signifikante parvise forskelle.

Alle feedback øgede opfattet nøjagtighed; men GroundNews var mest effektiv, når det var i overensstemmelse med brugerens politik.

ChatGPT øgede nøjagtigheds-vurderinger over hele linjen, hvilket tydede på, at det blev set som mere neutralt. Konservative var mindre påvirkede af GroundNews, men svarede på ChatGPT på samme måde som andre grupper:

Her kan vi se effekten af ChatGPT-feedback på opfattet nøjagtighed. Resultaterne viser, at tillid til institutionelle signaler afhænger af alignment, mens tillid til algoritme-baserede signaler ikke gør. ChatGPT øgede både troværdighed og deling over alle grupper – især for konservative.

Sociale metrikker har lidt indflydelse

Den tredje analyse testede, om synlige sociale engagementssignaler som likes, shares og kommentarer ville øge troværdighed eller deling ved at fungere som social bevis; men ingen sådan effekt blev observeret.

Testene fandt, at engagement-niveauer, såsom likes eller shares, havde ingen reel effekt på, hvor nøjagtige overskrifter syntes, og kun en svag, utroværdig effekt på, hvor delbare de syntes; i modsætning til algoritme-baserede eller institutionelle signaler, syntes disse sociale signaler ikke at have nogen indflydelse på vurderinger i denne kontekst, af de årsager, der er nævnt tidligere i artiklen.

AI-feedback påvirker, hvad folk stoler på

Den fjerde og sidste eksperiment testede, om brugere ville justere deres troværdigheds- og delingsvurderinger i respons til AI-genererede mærker: nøjagtig; delvis nøjagtig; uværket; eller unøjagtig, alle tildelt af ChatGPT.

Deltagerne reagerede stærkt på AI-genererede troværdighedsmærker. Nøjagtigheds-vurderinger steg eller faldt i overensstemmelse med ChatGPT’s feedback, med de største effekter, da overskrifterne var mærket nøjagtig eller unøjagtig:

ChatGPT-feedback påvirkede både nøjagtigheds- og delingsvurderinger. Top: Nøjagtigheds-vurderinger steg med mere positive mærker, især når overskrifterne var mærket ‘nøjagtig’, og faldt, når de var mærket ‘unøjagtig’. Nederst: Deling fulgte en lignende mønster, men viste større variation mellem grupper: liberale reagerede stærkest på negative signaler, mens konservative viste mere dæmpede skift.

Politisk identitet formede disse effekter, med brugere, der stolede mere på ChatGPT, når dets feedback var i overensstemmelse med deres eget synspunkt.

Delingsadfærd fulgte en lignende mønster: ‘ingroup’-overskrifter, der var mærket som nøjagtige, blev delt hyppigst, især under tvetydige mærker som delvis nøjagtig.

Disse resultater, som artiklen påstår, tyder på, at AI-feedback kan ændre brugeradfærd; og at det også risikerer at forstærke partiske skel eller diskouragerer kritisk tænkning.

Hvem stoler mest på AI?

Følgeanalyse undersøgte, hvordan bruger-demografi formede reaktioner på troværdighedsmærker. ChatGPT’s feedback øgede nøjagtigheds-vurderinger over hele linjen, men effekten var svagere blandt højtuddannede brugere og hyppige sociale medieforbrugere, der viste mere skepsis.

Disse samme grupper reagerede negativt på GroundNews og Reversed-signaler, hvilket, ifølge artiklen, kunne tyde på, at åbenlyse bias-mærker kan alienere mere medie-litterate brugere.

Til gengæld reagerede kvinder og racemæssigt minoritetsdeltagere, især sorte og latinske brugere, mere positivt på ChatGPT end på institutionelle signaler:

Demografiske svar på feedback-typer, med hver panel, der viser, hvordan en bestemt gruppe reagerede på forskellige troværdighedssignaler. ChatGPT’s vurderinger havde den stærkeste og mest konsekvente indflydelse på nøjagtighed, mens effekterne på deling var mindre ensartede, med variation mellem race, køn og mediebrug.

Delingsadfærd gentog denne split: GroundNews reducerede deling skarpest blandt sociale mediebrugere og nyhedsjunkies, mens ChatGPT’s effekter var mere blandede, selv om det øgede deling i visse grupper, med kandidater med en akademisk grad som særligt responsiv til alle feedback-typer.

Forfatterne konkluderer:

‘Disse resultater har direkte implikationer for designet af troværdighedsinterventioner i sociotekniske systemer. Brugere er stadig mere påvirkede af algoritme-baseret feedback, som kan overtage institutionelle signaler og moderere partisk bias – men også risikerer at fremme overafhængighed.

‘Institutionelle signaler forbliver effektive for nogle brugere, men deres indflydelse mindskes i politisk polariserede eller [lav-tillids]-miljøer. Imens var engagement-metrikker som likes og shares stort set ignoreret, hvilket tyder på reduceret overbevisende værdi, når de præsenteres uden social kontekst.

‘For at støtte lige og informeret nyheds-vurdering skal AI-drevne interventioner være transparente, forklarende og designet til at forbedre brugerens handlefrihed.

‘Fremtidig arbejde skal undersøge disse mekanismer i mere økologisk gyldige indstillinger, evaluere alternative AI-troværdigheds-rammer og udvikle adaptive systemer, der fremmer kritisk engagement over politisk diverse publikum.’

Konklusion

Givet tendensen hos alle nuværende generative AI-systemer til at hallucinere og forvrænge sandheden, er det måske af en vis bekymring, at den vilde udvikling (selv om det er langsommere) af ChatGPT også repræsenterer et enormt spring af tro, at arkitekturen i sådanne systemer hverken kan retfærdiggøre eller understøtte.

Et problem med at stole på AI’s repræsentation af nyheder er manglen på effektive systemer, der kan kontekstualisere nyheds-kilder som ‘politisk tilknyttede’ eller med en bestemt politisk orientering.

Even blandt de mest troværdige fjerde-estat-kilder er valget af, hvad der dækkes og hvad der ikke dækkes, i sig selv en politisk erklæring. ChatGPT eller dens stab er ikke i stand til at navigere disse lag af fortolkningsbias, og emnet selv inviterer til diskussion snarere end faste konklusioner.

Et andet problem er, at systemer af denne type er ankommet til scenen i en af de mest polariserede og splittede perioder i menneskehedens historie i 80 år, og på et tidspunkt, hvor samfundet er mest villigt til at lytte til ‘alternative stemmer’ – såsom en helt ny genre af teknologi, der markedsføres som en essentiel filter for verdens sandhed, snarere end hvad det faktisk er: en forudsigelse af statistiske sandsynligheder, fødet med store mængder af partisk information.

* Detaljer, som forfatterne har gjort tilgængelige online (se kilde-artiklen, bunden af P2, for URLs). Men denne data kræver tilmelding for at se, og da jeg ikke tog sagen videre på det tidspunkt, kan jeg ikke bekræfte, at den kan ses fuldstændigt uden betaling og/eller bestemte typer af legitimationspapirer.

Først udgivet onsdag, den 5. november 2025