Forskning visar att ChatGPT har hög trovärdighet som nyhetskälla

Ny forskning visar att ChatGPT:s faktakontroll-etiketter slår likes, delningar och till och med trovärdiga nyhetskällor när det gäller att forma vad människor tror och vill dela online.

En ny studie av 1 000 personer har funnit att när ChatGPT ger en trovärdighetspoäng till politiska nyheter, förändras ofta vad människor tror, och om de vill dela det – oavsett deras ursprungliga politiska åsikter. Mer traditionella inflytandefaktorer som likes eller delningar hade inte mycket effekt, men AI:s omdöme påverkade starkt hur trovärdiga nyheterna tycktes vara:

Från den nya artikeln, en illustration av hur människor utvärderar en nyhetsrubrik, baserad på tre samverkande signaler: om historien stämmer överens med deras politiska identitet; hur mycket engagemang det verkar ha på sociala medier; och trovärdighetssignalerna som tillhandahålls av institutioner eller AI-system. Dessa influenser kombinerar för att forma både upplevd noggrannhet och sannolikheten för att dela innehållet. Källa

Om fattningen i vilken AI-sammanfattningar tas som trovärdiga nyhetskällor är kanske ett av de viktigaste ämnena i media under många år, inte minst för att Googles AI-sammanfattningar har dränerat trafik från de flesta stora online-mediekanaler under 2025, med ingen säkerhet om vart denna överföring av makt kan leda i lång eller ens medium sikt.

Författarna till den nya artikeln skriver:

‘Dessa fynd lyfter fram både potentialen och risken med algoritmisk återkoppling i formandet av allmän förståelse. AI-genererade signaler kan hjälpa till att mildra bias och förbättra trovärdighetsbedömning, men deras inflytande varierar beroende på politisk identitet och bär etiska risker relaterade till överdriven tillit […]

‘…Den överdrivna inflytandet av ChatGPT lyfter fram en kritisk avvägning: medan övertygande, kan AI-återkoppling fördriva kritiskt tänkande om den inte är noggrant formulerad.’

Författarna föreslår att framtida forskning bör fokusera på förbättrade AI-trovärdighetsingrepp som är mer oberoende och stöder kända fakta, och de observerar att detta är särskilt viktigt i ämnen som är polariserande.

Förutom den uppenbara uppgången av ChatGPT som en “auktoritet” och den oväntat låga inflytandet av delningssignaler i testerna (som författarna tror kan vara attribuerbart till de något sterila testförhållandena), är ett annat intressant resultat från forskarnas tester relaterat till demografi och kön:

‘Kvinnor och rasminoritetsdeltagare (särskilt svarta och latinska användare) svarade mer positivt på AI-baserad återkoppling än institutionella etiketter.’

Den nya artikeln heter AI-trovärdighetssignaler rangordnar institutioner och engagemang i formandet av nyhetsuppfattning på sociala medier, och kommer från tre forskare vid University of Notre Dame.

Låt oss ta en närmare titt på artiklens metoder och slutsatser.

Metod

Fyra hypoteser testades: att människor skulle betygsätta rubriker som mer precisa när rubrikerna speglade deras politiska åsikter; att AI-genererade trovärdighetspoäng skulle vara mer inflytelserika än signaler från etablerade institutioner; att rubriker med högt engagemang (dvs. mätt genom likes, delningar eller kommentarer) skulle ses som mer trovärdiga; och att användare skulle tendera att acceptera AI:s omdöme om en rubriks noggrannhet, även när det motsatte sig deras egna åsikter.

Deltagare i studien rekryterades från Prolific-plattformen, och krävdes för att vara flytande i engelska, samt regelbundna konsumenter av nyheter; och en process för randomisering säkerställde att deltagarna representerade en mångfald av ras- och könsperspektiv.

I experimentet* delades deltagarna in i fyra grupper, var och en visades en annan typ av återkoppling bredvid nyhetsrubrikerna.

I den första gruppen (kontrollförhållandet) gavs ingen extra information om hur trovärdig rubriken kunde vara; i den andra gruppen märktes rubrikerna med en bias-betyg från GroundNews, en tjänst som klassificerar nyhetskällor som vänster-, center- eller högerlutande.

En tredje grupp såg samma GroundNews-etiketter, men medvetet vända, skapande en diskrepans avsedd att testa om användare skulle upptäcka förvrängningen.

Den sista gruppen visades trovärdighetsbedömningar skrivna av ChatGPT, som erbjöd en kort förklaring och en betygssättning som ‘sannolikt felaktig’:

Konceptuell schema för experimentet: varje deltagare visades politiska rubriker med varierande kombinationer av trovärdighets-etiketter och sociala engagemangssignaler. Svar samlades in om hur precisa varje rubrik tycktes vara och hur troligt det var att dela den, med den fullständiga sekvensen upprepad över 21 punkter.

Data och tester

Varje deltagare visades en sekvens av 21 politiska nyhetsrubriker. För varje rubrik varierades nivån av socialt engagemang; ibland visades det inga likes eller delningar, ibland många. Dessa engagemangssignaler randomiserades för att undvika fasta mönster.

Rubrikerna själva kom från en blandning av politiska perspektiv och märktes som vänsterlutande, högerlutande eller centristiska.

Efter varje rubrik frågades deltagarna hur precisa de trodde den var, och om de skulle överväga att dela den. Eftersom varje deltagare redan hade angett sin egen politiska tillhörighet, var det möjligt att analysera om rubriker från samma sida av det politiska spektrumet betygsattes mer fördelaktigt.

Deltagarna betygsatte varje rubrik två gånger: en gång för hur precisa den tycktes vara och en gång för hur troligt det var att dela den, med deras svar mätta på en skala från 0 till 10.

Forskarna kombinerade sedan dessa svar med ytterligare data: demografisk och mediainformation från varje deltagare; politiska etiketter för varje rubrik; typen av trovärdighetssignal som visades; och nivån av socialt engagemang som tilldelades.

Politisk identitets inflytande

I det första testet, som undersökte om människor betygsätter rubriker som mer precisa när rubrikens politiska ståndpunkt stämmer överens med deras egna åsikter, visade resultaten att deltagarna var mer benägna att tro på rubriker som stämde överens med deras politiska åsikter – men att detta berodde på gruppen.

Moderater visade den starkaste partiskheten mot sin egen sida, medan liberaler och konservativa tenderade att lita på center-lutande rubriker mest; och överlag betygsattes neutrala rubriker som mer precisa än vänster- eller högerlutande.

En illustration av hur precision och delbarhetsbetyg förändrades beroende på både rubrikens politiska ståndpunkt och deltagarens politiska tillhörighet. Moderater var mest benägna att betygsätta ‘in-group’ rubriker som precisa, medan liberaler och konservativa föredrog center-justerade rubriker. Delningsbeteende följde ett liknande mönster, med begränsad in-group-partiskhet utanför den moderata gruppen.

I resultaten av detta första experiment hittades en måttlig in-group-effekt på delbarhet; men bara för moderater, som var mer benägna att dela politiskt anpassade (dvs. neutrala) rubriker. Liberaler och konservativa visade ingen sådan tendens.

Analys av varians (ANOVA), en metod som används för att upptäcka skillnader mellan grupper, visade att anpassning påverkade delbarhet bara när den interagerade med politisk identitet. Trovärdighet och delbarhet var länkade, men bara moderater visade en tydlig mönster över båda.

Institutionell vs. AI-trovärdighet

Nästa test frågade om människor litar mer på AI-betyg än traditionella källor som nyhetsbetygssidor – särskilt när betygen kan motsäga deras politiska åsikter:

Trovärdighets- och delbarhetsbetyg över återkopplingskällor: alla tre signalerna ökade precision jämfört med kontroll, med GroundNews som gav de högsta betygen. Men ChatGPT producerade de största vinsterna i delbarhet, vilket tyder på att den hade en bredare övertygande effekt. Felstaplar visar 95% konfidensintervall, och asterisker markerar signifikanta parvisa skillnader.

Alla återkopplingar ökade upplevd precision; men GroundNews var mest effektiv när den stämde överens med användarens politiska åsikter.

ChatGPT ökade precisionbetyg över hela linjen, vilket tyder på att den sågs som mer neutral. Konservativa var mindre påverkade av GroundNews, men svarade på ChatGPT på samma sätt som andra grupper:

Här kan vi se effekterna av ChatGPT-återkoppling på upplevd precision. Resultaten visar att tillit till institutionella signaler beror på anpassning, medan tillit till algoritmiska signaler inte gör det. ChatGPT ökade både trovärdighet och delbarhet över grupper – särskilt för konservativa.

Sociala metriker har liten påverkan

Tredje analysen testade om synliga sociala engagemangssignaler som likes, delningar och kommentarer skulle öka trovärdighet eller delbarhet genom att fungera som social bevis; men ingen sådan effekt observerades.

Testerna visade att engagemangsnivåer, som likes eller delningar, hade ingen verklig effekt på hur precisa rubriker tycktes vara, och bara en svag, otillförlitlig effekt på hur delbara de tycktes; till skillnad från algoritmiska eller institutionella signaler, tycktes dessa sociala signaler inte påverka bedömningar i denna miljö, av de skäl som nämns tidigare i artikeln.

AI-återkoppling påverkar vad människor litar på

Det fjärde och sista experimentet testade om användare skulle anpassa sina trovärdighets- och delningsbedömningar som svar på AI-genererade etiketter: precis; delvis precis; overifierad; eller felaktig, alla tilldelade av ChatGPT.

Deltagarna svarade starkt på AI-genererade trovärdighets-etiketter. Precisionbetyg steg eller sjönk i takt med ChatGPT:s återkoppling, med de största effekterna när rubriker var märkta precis eller felaktig:

ChatGPT-återkoppling påverkade både precision och delbarhetsbetyg. Överst: Precisionbetyg steg med mer positiva etiketter, särskilt när rubriker var märkta ‘Precis’, och sjönk när de var märkta ‘Felaktig’. Nedan: Delbarhet följde ett liknande mönster men visade större variation mellan grupper: liberaler svarade starkast på negativa signaler, medan konservativa visade mer dämpade förändringar.

Politisk identitet formade dessa effekter, med användare som litade mer på ChatGPT när dess återkoppling stämde överens med deras egna åsikter.

Delningsbeteende följde ett liknande mönster: in-group-rubriker som märktes som precisa delades oftast, särskilt under tvetydiga etiketter som delvis precis.

Dessa resultat, som artikeln påstår, tyder på att AI-återkoppling kan förändra användarbetende; och att den också riskerar att förstärka partiskhet eller uppmuntra kritiskt tänkande.

Vem litar mest på AI?

Följande analys undersökte hur användardemografi formade reaktioner på trovärdighets-etiketter. ChatGPT:s återkoppling ökade precisionbetyg överlag, men effekten var svagare bland högutbildade användare och frekventa sociala medieanvändare, som visade mer skepsis.

Dessa grupper reagerade negativt på GroundNews och Reversed-signal, vilket, enligt artikeln, tyder på att uppenbara bias-markörer kan avskräcka mer medie-litterata användare.

I kontrast svarade kvinnor och rasminoritetsdeltagare, särskilt svarta och latinska användare, mer positivt på ChatGPT än på institutionella signaler:

Demografiska svar på återkopplingstyper, med varje panel som visar hur en viss grupp svarade på olika trovärdighetssignaler. ChatGPT:s betyg hade den starkaste och mest konsekventa påverkan på precision, medan effekterna på delbarhet var mindre enhetliga, med variation mellan ras, kön och medieanvändning.

Delningsbeteende ekade denna split: GroundNews minskade delbarhet skarpt bland sociala medieanvändare och nyhetsjunkies, medan ChatGPT:s effekter var mer blandade, till och med ökade delbarhet i vissa grupper, med examensstuderande som särskilt responsiva på alla återkopplingstyper.

Författarna slutsats:

‘Dessa fynd har direkt implikationer för designen av trovärdighetsingrepp i sociotekniska system. Användare påverkas alltmer av algoritmisk återkoppling, som kan åsidosätta institutionella signaler och mildra partiskhet – men också riskerar att främja överdriven tillit.

‘Institutionella signaler förblir effektiva för vissa användare, men deras påverkan minskar i politiskt polariserade eller [lågt förtroendemiljöer]. Samtidigt ignorerades engagemangsmetriker som likes och delningar i stor utsträckning, vilket tyder på minskad övertygelsevärde när de presenteras utan social kontext.

‘För att stödja rättvis och informerad nyhetsutvärdering måste AI-drivna ingrepp vara transparenta, förklarande och utformade för att förbättra användaragenten.

‘Framtida arbete bör undersöka dessa mekanismer i mer ekologiskt giltiga miljöer, utvärdera alternativa AI-trovärdighetsramar och utveckla adaptiva system som främjar kritiskt engagemang över politiskt diversa publik.

Slutsats

Med tanke på tendensen hos alla nuvarande generativa AI-system att hallucinera och förvränga sanningen, är det kanske av viss betydelse att den snabba adoptionen (även om den avtar en aning) av ChatGPT också representerar ett enormt språng av tro att arkitekturerna i sådana system varken kan motivera eller stödja.

Ett problem med att lita på AI:s representation av nyheter är bristen på effektiva system som kan kontextualisera nyhetskällor som “politiskt anknutna” eller lutande mot ena eller andra änden av det politiska spektrumet.

Även bland de mest trovärdiga fjärde-estatiska källorna är valet av vad som och vad inte täcks en politisk uttalande i sig. Vare sig ChatGPT eller dess stabila medarbetare är för närvarande i någon position att navigera dessa lager av tolkningsbias, och ämnet i sig inbjuder till diskussion snarare än solida slutsatser.

Ett annat problem är att system av detta slag har anlänt på scenen under en av de mest polariserade och splittrade perioderna i mänsklighetens historia under 80 år, och vid en tidpunkt då samhället är mest villigt att lyssna på “alternativa röster” – såsom en helt ny genre av teknologi som marknadsförs som en avgörande filter för världens sanning, snarare än vad den faktiskt är: en prediktor av statistiska sannolikheter, matad med högvolymiga mängder partisk information.

* Detaljer om vilka författarna har gjort tillgängliga online (se källartikel, botten av P2, för URL:er). Men eftersom jag inte tog ärendet vidare på den punkten, kan jag inte bekräfta att den kan ses i sin helhet utan betalning och/eller specifika typer av legitimation.

Publicerad första gången onsdag, 5 november 2025