채팅형 인공지능, 뉴스 제공자로서 높은 신뢰도 보유

신규 연구에 따르면, 채팅형 인공지능(ChatGPT)의 사실 확인 레이블은 뉴스 브랜드나 좋아요, 공유 수 등에 비해 사람들이 믿고 공유하고 싶은 뉴스를 결정하는 데 더 큰 영향을 미친다.

1,000명의 사람들을 대상으로 한 새로운 연구에 따르면, 채팅형 인텔리전스가 정치 뉴스에 신뢰도 점수를 매길 때, 사람들의 믿음과 공유 의사가 변경되는 경우가 많다. 전통적인 영향 요인인 좋아요나 공유 수는 큰 영향을 미치지 않았지만, 인공지능의 판단은 뉴스가 신뢰할 수 있는지 여부를 결정하는 데 강한 영향을 미쳤다.

새로운 논문에서, 뉴스 헤드라인을 평가하는 방법에 대한 일러스트레이션: 정치적 정체성, 소셜 미디어에서의 참여, 기관 또는 인공지능 시스템의 신뢰도 신호 등 3가지 상호 작용하는 큐를 기반으로 한다. 이러한 영향은 정확도와 콘텐츠를 공유할 가능성을 결정한다. 출처

인공지능 요약이 신뢰할 수 있는 뉴스 소스로 받아들여지는 정도는 수년 동안 미디어에서 가장 중요한 주제 중 하나일 수 있다. 구글의 인공지능 요약이 2025년에 대부분의 주요 온라인 미디어 아웃렛에서 트래픽을 유도해 왔기 때문이다.

이 연구의 저자들은 다음과 같이 말한다:

‘이 연구 결과는 알고리즘 피드백이 공공의 이해를 형성하는 데 잠재적 위험과 기회를 강조한다. 인공지능 생성 큐는 편향을 완화하고 신뢰도 판단을 향상시키는 데 도움이 될 수 있지만, 그 영향은 정치적 정체성에 따라 다르며, 과도한 의존과 관련된 윤리적 위험을 안고 있다.’

‘…채팅형 인텔리전스의 영향력은 비판적 사고를 대체할 수 있는 위험을 강조한다. 인공지능 피드백은 설득력이 있지만, 신중하게 프레임되지 않으면 비판적 사고를 약화시킬 수 있다.’

저자들은 향후 연구가 더 독립적이고 사실에 기반한 인공지능 신뢰도 개입에 중점을 두어야 한다고 제안하며, 특히 극단적인 주제에서 이것이 특히 중요하다고 관찰한다.

채팅형 인텔리전스의 명백한 승격과 함께, 테스트에서 좋아요나 공유 수 등 소셜 미디어 신호의 영향력이 낮은 또 다른 흥미로운 결과는 인구 통계와 성별에 관련이 있다:

‘여성과 소수 민족 참가자(특히 흑인과 라티노 사용자)는 기관 레이블보다 인공지능 기반 피드백에 더 긍정적으로 반응했다.’

새로운 연구는 인공지능 신뢰도 신호가 기관과 참여를 초월하여 뉴스 인식에 영향을 미친다는 제목의 논문으로, 노트르담 대학교의 3명의 연구자에 의해 수행되었다.

이 논문의 방법과 결론을 자세히 살펴보자.

방법

4가지 가설이 테스트되었다: 사람들이 자신의 정치적 견해와 일치하는 헤드라인을 더 정확하게 평가할 것이라는 가설, 인공지능 생성 신뢰도 점수가 기존 기관의 신호보다 더 영향력이 있을 것이라는 가설, 높은 참여(즉, 좋아요, 공유, 댓글 등)를 가진 헤드라인이 더 신뢰할 수 있을 것이라는 가설, 그리고 사용자가 헤드라인의 정확성에 대한 인공지능의 판단을 받아들이는 경향이 있을 것이라는 가설.

이 연구의 참가자는 플로리피카 플랫폼에서 모집되었으며, 영어를 유창하게 구사하고 뉴스를 정기적으로 소비하는 사람들로 구성되었다. 또한 참가자의 정치적 성향과 인종, 성별을 다양하게 대표할 수 있도록 무작위화 과정을 거쳤다.

실험에서 참가자들은 네 가지 그룹으로 나누어졌으며, 각 그룹은 헤드라인과 함께 다른 유형의 피드백을 받았다.

첫 번째 그룹(대조군)은 헤드라인의 신뢰도에 대한 추가 정보를 받지 않았다. 두 번째 그룹은 헤드라인에 편향 레이블을 붙인 그라운드 뉴스(GroundNews) 서비스를 사용했다. 세 번째 그룹은 그라운드 뉴스 레이블을 사용했지만, 의도적으로 뒤집어서 사용자들이 왜곡을 감지할 수 있도록 했다.

마지막 그룹은 채팅형 인텔리전스의 신뢰도 평가를 받았다. 채팅형 인텔리전스는 짧은 설명과 레이블(예: ‘가능성 낮음’)을 제공했다.

실험의 개념적 스키마: 참가자들은 다양한 신뢰도 레이블과 소셜 미디어 신호를 가진 정치 헤드라인을 받았다. 참가자들은 각 헤드라인의 정확도와 공유 가능성을 평가했다. 이 순서는 21개 항목에 걸쳐 반복되었다.

데이터와 테스트

각 참가자는 21개의 정치 뉴스 헤드라인을 받았다. 각 헤드라인의 소셜 미디어 참여 수준은 변했다. 때로는 좋아요나 공유 수가 없고, 때로는 많았다. 이러한 참여 신호는 고정된 패턴을 피하기 위해 무작위화되었다.

헤드라인 자체는 다양한 정치적 관점에서 나왔으며, 좌파, 우파, 또는 중립적인 것으로 분류되었다.

각 헤드라인 후에, 참가자들은 헤드라인의 정확도와 공유 가능성을 평가했다. 참가자들은 이미 자신의 정치적 성향을 밝혔기 때문에, 헤드라인의 정치적 성향과 참가자의 정치적 성향이 일치하는 경우에 헤드라인을 더 긍정적으로 평가하는지 분석할 수 있었다.

참가자들은 각 헤드라인을 두 번 평가했다: 한 번은 정확도, 한 번은 공유 가능성에 대해 평가했다. 평가는 0-10의 척도에서 측정되었다.

연구자들은 이러한 답변을 추가 데이터와 결합했다: 참가자의 인구 통계 및 미디어 사용 정보, 헤드라인의 정치적 태그, 표시된 신뢰도 신호의 유형, 할당된 소셜 미디어 참여 수준.

정치적 정체성의 영향

첫 번째 테스트에서는 사람들이 헤드라인의 정치적 성향과 자신의 정치적 성향이 일치하는 경우에 헤드라인을 더 정확하게 평가하는지 조사했다. 결과는 참가자들이 자신의 정치적 성향과 일치하는 헤드라인을 더 믿는 경향이 있지만, 이는 참가자 그룹에 따라 다름을 보여주었다.

중도파는 자신의 정치적 성향과 일치하는 헤드라인을 더 신뢰하는 경향이 강했다. 자유주의자와 보수주의자는 중립적인 헤드라인을 더 신뢰하는 경향이 있었다. 또한, 중립적인 헤드라인은 좌파 또는 우파 헤드라인보다 더 정확하게 평가되었다.

헤드라인의 정치적 성향과 참가자의 정치적 성향에 따른 정확도와 공유 가능성 평가의 변화. 중도파는 자신의 정치적 성향과 일치하는 헤드라인을 더 정확하게 평가하는 경향이 있었다. 자유주의자와 보수주의자는 중립적인 헤드라인을 더 신뢰하는 경향이 있었다. 공유 가능성도 유사한 패턴을 보였다.

첫 번째 실험의 결과에서, 중도파에게서만 공유 가능성에 대한 약한 인그룹 편향이 발견되었다. 자유주의자와 보수주의자는 이러한 경향을 보이지 않았다.

분산 분석(ANOVA)을 사용하여 그룹 간의 차이를 식별한 결과, 정렬이 공유 가능성에 영향을 미치는 경우는 정치적 정체성과 상호 작용할 때뿐이었다. 신뢰도와 공유 가능성은 관련되어 있었지만, 중도파에게서만 명확한 패턴이 나타났다.

기관 대 인공지능 신뢰도

다음 테스트에서는 사람들이 인공지능 레이팅보다 전통적인 뉴스 레이팅 웹사이트를 더 신뢰하는지 조사했다. 특히 인공지능 레이팅이 정치적 성향과 일치하지 않는 경우에도如此했다.

피드백 소스에 따른 신뢰도와 공유 가능성 평가: 모든 세 가지 신호가 대조군보다 정확도를 높였다. 그라운드 뉴스가最高의 평가를 받았지만, 채팅형 인텔리전스는 공유 가능성에서 더 큰 영향을 미쳤다. 오차 막대는 95% 신뢰 구간을 나타내며, 별표는 유의한 쌍별 차이를 표시한다.

모든 피드백이 정확도를 높였다. 그러나 그라운드 뉴스는 사용자의 정치적 성향과 일치할 때 가장 효과적이었다.

채팅형 인텔리전스는 모든 참가자에게 정확도 평가를 높였다. 이는 채팅형 인텔리전스가 더 중립적인 것으로 간주됨을 의미한다. 보수주의자들은 그라운드 뉴스에 덜 영향을 받았지만, 채팅형 인텔리전스에 대해서는 다른 그룹과 유사한 반응을 보였다.

채팅형 인텔리전스 피드백의 영향: 결과는 기관 신호의 신뢰도가 정렬에 따라 달라지는 반면, 알고리즘 신호의 신뢰도는 달라지지 않는다는 것을 확인한다. 채팅형 인텔리전스는 모든 그룹에서 신뢰도와 공유 가능성을 높였다. 특히 보수주의자에게서 더 큰 영향을 미쳤다.

소셜 미디어 메트릭스의 영향

세 번째 분석에서는 좋아요, 공유 수, 댓글 등 소셜 미디어 참여 큐가 신뢰도나 공유 가능성을 높이는지 조사했다. 그러나 이러한 큐가 정확도나 공유 가능성에 미치는 영향은 거의 없었다.

테스트 결과, 좋아요나 공유 수 등 참여 수준은 정확도에 거의 영향을 미치지 않았으며, 공유 가능성에 대해서도 약한 영향을 미쳤다. 이러한 소셜 미디어 큐는 기관 또는 인공지능 신호와 달리, 참가자의 판단에 영향을 미치지 않았다.

인공지능 피드백의 영향

네 번째이자 마지막 실험에서는 참가자들이 인공지능 생성 레이블에 반응하는지 조사했다: 정확한, 부분적으로 정확한, 검증되지 않은, 또는 부정확한 레이블.

참가자들은 인공지능 생성 신뢰도 레이블에 강하게 반응했다. 정확도 평가가 채팅형 인텔리전스의 피드백에 따라 상승하거나 하락했다. 특히 헤드라인이 정확하거나 부정확하다고 레이블링된 경우에 가장 큰 영향을 받았다.

채팅형 인텔리전스 피드백의 영향: 정확도와 공유 가능성 평가. 위: 정확도 점수가 더 긍정적인 레이블일수록 상승했다. 특히 ‘정확한’ 레이블일 때 정확도 점수가 상승했고, ‘부정확한’ 레이블일 때 하락했다. 아래: 공유 가능성도 유사한 패턴을 보였지만, 그룹별로 더 큰 변동을 보였다. 자유주의자들은 부정적인 큐에 더 강하게 반응했으며, 보수주의자들은 더 약한 변화를 보였다.

정치적 정체성은 이러한 영향을 형성했다. 사용자들은 채팅형 인텔리전스의 피드백이 자신의 정치적 성향과 일치할 때 더 신뢰하는 경향이 있었다.

공유 가능성도 유사한 패턴을 보였다: 자신의 정치적 성향과 일치하는 헤드라인이 정확하다고 레이블링된 경우에 가장 많이 공유되었다. 특히 ‘부분적으로 정확한’ 레이블일 때, 참가자들은 헤드라인을 더 많이 공유했다.

이러한 결과는 인공지능 피드백이 사용자 행동을 변경할 수 있으며, 또한 파티잔적 분열을 강화하거나 비판적 사고를 약화시킬 수 있음을 시사한다.

누가 인공지능을 가장 신뢰하는가?

추가 분석에서는 사용자 인구 통계가 신뢰도 레이블에 어떻게 반응하는지 조사했다. 채팅형 인텔리전스의 피드백은 전체적으로 정확도 평가를 높였다. 그러나 이러한 영향은 고등 교육을 받은 사용자나 빈번한 소셜 미디어 사용자에게서 약했다. 이러한 그룹은 기관 레이블이나 반전된 레이블에 대해서도 더 비판적으로 반응했다.

반면에, 여성과 소수 민족 참가자(특히 흑인과 라티노 사용자)는 기관 레이블보다 채팅형 인텔리전스에 더 긍정적으로 반응했다.

피드백 유형에 따른 인구 통계 반응: 각 패널은 특정 그룹이 다른 신뢰도 신호에 어떻게 반응하는지 보여준다. 채팅형 인텔리전스의 레이팅은 정확도에 가장 강하고 일관된 영향을 미쳤다. 그러나 공유 가능성의 영향은 더 다양했다.

공유 가능성도 이러한 분리를 반영했다: 그라운드 뉴스는 소셜 미디어 사용자와 뉴스 정독자에게서 공유 가능성을 가장 크게 감소시켰지만, 채팅형 인텔리전스의 영향은 더 복잡했다. 특히 대학 졸업자들은 모든 피드백 유형에 더 민감했다.

저자들은 다음과 같이 결론을 내린다:

‘이 연구 결과는 사회 기술 시스템에서 신뢰도 개입의 설계에 직접적인 영향을 미친다. 사용자들은 알고리즘 피드백에 점점 더 영향을 받고 있으며, 이는 기관 신호를凌駕하고 파티잔적 편향을 완화할 수 있다. 그러나過度 의존의 위험도 있다.’

‘기관 신호는 일부 사용자에게는 여전히 효과적이다. 그러나 그 영향은 정치적으로 분극화된 환경이나 신뢰도가 낮은 환경에서 약화된다. 한편, 좋아요나 공유 수와 같은 참여 메트릭스는 거의 무시되었다. 이는 사회적 맥락 없이 제시될 때 설득력이 낮기 때문이다.’

‘공정하고 정보에 기반한 뉴스 평가를 지원하기 위해, 인공지능 기반 개입은 투명하고 설명적이어야 하며, 사용자의 주체성을 강화해야 한다. 향후 연구는 이러한 메커니즘을 더 생태학적으로 유효한 환경에서 조사해야 하며, 대체 인공지능 신뢰도 프레임을 평가하고, 정치적으로 다양한 청중을 위한 비판적 참여를 촉진하는 적응형 시스템을 개발해야 한다.’

결론

모든 현재의 생성형 인공지능 시스템이 거짓말을 하고 진실을歪曲하는 경향이 있기 때문에, 채팅형 인텔리전스가 뉴스 소스로 받아들여지는 정도가 걱정의 대상일 수 있다. 특히 구글의 인공지능 요약이 2025년에 대부분의 주요 온라인 미디어 아웃렛에서 트래픽을 유도해 왔기 때문이다.

인공지능의 뉴스 표현을 신뢰하는 문제 중 하나는 뉴스 소스를 정치적 성향에 따라 분류할 수 있는 효과적인 시스템이 부족하다는 것이다.

가장 신뢰할 수 있는 4차 미디어 소스 중에서도, 어떤 뉴스를 다루고 어떤 뉴스를 다루지 않는지의 선택은 자체적으로 정치적 성향을 나타낸다. 채팅형 인텔리전스나 그와 유사한 시스템은 이러한 해석적 편향의 계층을 탐색할 수 있는 위치에 있지 않다. 이 주제는 토론을 초래하며, 확고한 결론을 내리기 어렵다.

또 다른 문제는 이러한 시스템이 인간 역사에서 80년 만에 가장 극단적이고 분열된 시기에 등장했다는 것이다. 또한, 사회는 ‘대안 목소리’를 듣는 데 더 готов해졌으며, 기술이 세계의 진리를 필터링하는 필수적인 도구로 등장했다.

* 자세한 내용은 저자들이 온라인으로 공개했다(소스 논문, P2 하단의 URL 참조). 그러나 이 데이터를 보려면 등록이 필요하며, 당시에는 더 이상 진행하지 않았기 때문에 완전히 무료로 볼 수 있는지 또는 특정 자격증명이 필요한지 확인할 수 없다.

최초로 게시된 날: 2025년 11월 5일 수요일