AI가 뉴스 속 숨겨진 의도에 대해 우리에게 무엇을 알려줄 수 있는가

ChatGPT 스타일의 모델은 뉴스 기사에 대한 실제는 뉴스 기사가 어떤 사안에 관해 실제로 어떤 견해를 갖는지 탐지하도록 학습하고 있습니다. 그 견해가 인용과 프레이밍, 때로는 진정성 없는 ‘중립성’ 아래 숨겨져 있어도 찾아냅니다. 새 시스템은 기사를 제목과 도입부, 인용문, 결론 같은 부분으로 나눠 장문의 전문 저널리즘에서도 편향을 감지합니다.

작가 또는 연사의 실제 관점을 이해하는 능력, 즉 학술 문헌에서 STANCE DETECTION으로 알려진 능력은 언어에서 가장 어려운 해석 문제 중 하나입니다. 즉, 의도를 숨기거나 숨기기 위해 설계된 콘텐츠에서 의도를 추출하는 것입니다.

Jonathan Swift의 A Modest Proposal에서 최근 정치인들이 자신의 이데올로기적 반대자들의 논리를 차용하는 공연에 이르기까지, 발언의 표면은 더 이상 의도된 의견의 신뢰할 수 있는 지표가 아닙니다. 아이러니, 트롤링, 허위 정보 및 전략적 모호성의 확산으로 글이 실제로 어느 편에 서 있는지, 심지어 분명한 입장이 있는지조차 판단하기가 어느 때보다 어려워졌습니다.

종종 말하지 않는 것이 말한 것만큼이나 중대한 의미를 가지며, 주제를 다루기로 선택하는 것만으로도 저자의 입장을 나타낼 수 있습니다.

이로 인해 자동 스탠스 감지의 작업은 예상보다 더 어려워집니다. 효과적인 감지 시스템은 단순히 분리된 문장을 ‘지지’ 또는 ‘반대’로 태그하는 것 이상의 작업을 수행해야 합니다. 대신에, 전체 기사의 모양과 흐름을 고려하여 의미의 여러 층을 반복해야 합니다. 이는 긴 기사에서 더 어려울 수 있습니다. 여기서 тон은 변경될 수 있으며 의견은 드물게 명시적으로 표현될 수 있습니다.

변화의 에이전트

이러한 문제를 해결하기 위해 한국의 연구자들은 긴 기사에 대한 스탠스를 감지하는 새로운 시스템인 JOA-ICL(저널리즘 지향 에이전트 인 콘텍스트 러닝)을 개발했습니다.

JOA-ICL의 핵심 아이디어는 기사 수준의 스탠스가 별도의 언어 모델 에이전트에 의해 생성된 세그먼트 수준의 예측을 집계하여 추론된다는 것입니다. 출처: https://arxiv.org/pdf/2507.11049

JOA-ICL은 기사를 전체로 판단하는 대신, 구조적인 부분(기사 제목, 리드, 인용문 및 결론)으로 나누고, 각 부분에 작은 모델을 할당하여 해당 세그먼트를 ‘지지’, ‘반대’ 또는 ‘중립’으로 레이블합니다. 이러한 지역 예측은 기사의 전체 스탠스를 결정하는 더 큰 모델에 전달됩니다.

이 방법은 2022년 6월부터 2024년 6월까지 한국 뉴스 보도에 대한 2,000개의 기사로 구성된 새로운 데이터 세트에서 테스트되었습니다. 각 기사는 저널리즘 전문가의 입력을 반영하여 전문적인 뉴스 작성의 구조에 걸쳐 있는 스탠스를 레이블링했습니다.

논문에 따르면, JOA-ICL은 기존의 프롬프트 기반 및 미세 조정된 기준선보다 성능이 뛰어났으며, 특히 지지적인 스탠스를 감지하는 데 강점을 보였습니다. 이 방법은 또한 일치하는 조건에서 독일 데이터 세트에 적용되었을 때도 효과적이었으며, 그 원리가 언어 형태에 대해 потен적으로 강력하다는 것을 보여주었습니다.

저자는 다음과 같이 말합니다:

‘실험 결과, JOA-ICL이 기존의 스탠스 감지 방법보다 우수한 성능을 보였으며, 세그먼트 수준의 에이전트가 긴 기사의 전체 위치를 포착하는 데의 이점을 강조합니다.’

새로운 논문은 저널리즘 지향 에이전트 인 콘텍스트 러닝을 위한 뉴스 스탠스 감지라는 제목으로, 서울의 숭실대학교 및 KAIST의 미래 전략 대학원에서 나왔습니다.

방법

AI를 이용한 스탠스 감지의 도전은 물론 로지스틱이며, 현재 상태에서 기계 학습 시스템이 얼마나 많은 신호를 유지하고 결합할 수 있는지와 관련이 있습니다.

뉴스 기사는 일반적으로 의견을 직접적으로 표현하지 않으며, 대신에 어떤 출처를 인용할지, 어떻게 이야기를 구성할지, 어떤 세부 사항을 생략할지에 대한 선택을 통해 암시적 또는 가정된 스탠스를 나타냅니다.

기사가 명확한 입장을 취할 때도, 신호는 종종 텍스트 전체에 산재해 있으며, 서로 다른 세그먼트는 서로 다른 방향을 가리킬 수 있습니다. 언어 모델(LM)은 여전히 한정된 컨텍스트 창을 갖기 때문에 모델이 입장을 판단하기가 더 어렵습니다. 텍스트와 대상의 관계가 더 명확한 트윗 등 짧은 형식의 소셜미디어 콘텐츠와는 다릅니다.

따라서 표준 접근 방식은 일반적으로 긴 기사에 적용될 때 부족합니다. 이는 모호성이 특징이 아닌 결점인 경우입니다.

논문은 다음과 같이 말합니다:

‘이러한 도전을 해결하기 위해, 우리는 먼저 더 작은 담화 단위(예: 문단 또는 섹션)의 수준에서 스탠스를 추론하고, 이후 이러한 지역 예측을 통합하여 기사의 전체 스탠스를 결정하는 계층적 모델링 접근 방식을 제안합니다.’

‘이 프레임워크는 지역 컨텍스트를 유지하고 긴 기사에서 분산된 스탠스 신호를 평가하는 데 설계되었습니다.’

이 목적으로 저자는 2022년 6월부터 2024년 6월까지 한국 뉴스 보도에 대한 2,000개의 기사로 구성된 새로운 데이터 세트인 K-NEWS-STANCE를 컴파일했습니다. 기사들은 먼저 BigKinds를 통해 식별되었으며, Naver News 집계 API를 사용하여 전체 텍스트가 검색되었습니다. 최종 데이터 세트에는 31개의 아웃렛에서 47개의 국가적으로 관련된 문제에 대한 2,000개의 기사가 포함되었습니다.

각 기사는 두 차례 주석 처리됐습니다. 한 번은 사안에 대한 기사 전체의 입장을, 또 한 번은 개별 부분의 입장을 표시했으며 구체적으로 기사 제목, 리드, 결론 및 직접 인용문에 주석을 달았습니다.

주석 작업은 논문의 제3저자이기도 한 저널리즘 전문가 Jiyoung Han이 이끌었습니다. 출처 선택과 어휘 프레이밍, 인용 패턴 등 미디어 연구에서 확립된 신호를 활용해 총 19,650개의 세그먼트 수준 입장 레이블을 만들었습니다.

기사에 의미 있는 관점 신호가 담기도록 먼저 장르를 분류한 뒤, 주관적인 프레이밍이 나타날 가능성이 큰 분석 또는 의견 기사만 입장 주석에 사용했습니다.

훈련받은 주석자 두 명이 모든 기사에 레이블을 붙였습니다. 입장이 불분명하면 관련 기사를 참고하도록 했고, 의견이 일치하지 않는 사례는 토론과 추가 검토로 해결했습니다.

K-NEWS-STANCE 데이터 세트의 샘플 항목. 기사 제목, 리드 및 인용문만 표시되며, 전체 본문은 생략되었습니다. 강조 표시는 인용문의 스탠스 레이블을 나타내며, 파란색은 지지적이고 빨간색은 반대적입니다. 더 명확한 렌더링을 위해 출처된 PDF를 참조하십시오.

JoA-ICL

저자의 제안된 시스템은 기사를 하나의 텍스트 블록으로 처리하는 대신, 핵심 구조적인 부분(기사 제목, 리드, 인용문 및 결론)으로 나누고, 각 부분에 언어 모델 에이전트를 할당하여 해당 세그먼트를 ‘지지’, ‘반대’ 또는 ‘중립’으로 레이블링합니다.

이 지역 예측은 기사의 전체 스탠스를 결정하는 두 번째 에이전트에 전달되며, 두 에이전트는 프롬프트를 준비하고 결과를 수집하는 컨트롤러에 의해 조정됩니다.

따라서 JoA-ICL은 컨텍스트 학습(모델이 프롬프트의 예제에서 학습함)을 전문 뉴스 스토리가 작성되는 방식에 맞추어 조정합니다. 즉, 단일의 제네릭 입력 대신 세그먼트 인식 프롬프트를 사용합니다.

(원본 논문의 대부분의 예와 일러스트레이션이 길고 온라인 기사에서 복제하기 어렵다는 점에 주의하십시오. 따라서 독자에게 원본 PDF를 검토할 것을 권고합니다)

데이터 및 테스트

테스트에서 연구자들은 매크로 F1 및 정확도를 사용하여 성능을 평가했으며, 42에서 51까지의 무작위 시드를 사용하여 10번의 실행을 평균화하고 표준 오차를 보고했습니다. 훈련 데이터는 기준선 모델 및 세그먼트 수준 에이전트를 미세 조정하는 데 사용되었습니다. few-shot 샘플은 KLUE-RoBERTa-large를 사용하여 유사성 검색을 통해 선택되었습니다.

테스트는 Python 3.9.19, PyTorch 2.5.1, Transformers 4.52.0 및 vLLM 0.8.5를 사용하여 3개의 RTX A6000 GPU(각각 48GB의 VRAM)에서 실행되었습니다.

GPT-4o-mini, Claude 3 Haiku 및 Gemini 2 Flash는 API를 통해 1.0의 온도와 1000개의 토큰으로 설정된 체인-오브-사고 프롬프트를 사용하여 사용되었습니다.

Exaone-3.5-2.4B의 완전한 미세 조정을 위해 AdamW 옵티마이저가 5e-5의 학습률, 0.01의 가중치 감소, 100개의 워밍업 스텝 및 10개의 에포크와 함께 배치 크기 6으로 사용되었습니다.

기준선으로는 RoBERTa를 사용했으며, 기사 수준의 스탠스 감지에 미세 조정되었습니다. Chain-of-Thought (CoT) Embeddings는 지정된 작업을 위해 RoBERTa의 대체 조정이었습니다. LKI-BART는 큰 언어 모델에서 컨텍스트 지식을 추가하여 프롬프팅을 통해 입력 텍스트와 의도된 스탠스 레이블을 모두 프롬프팅하는 인코더-디코더 모델이었습니다. PT-HCL는 일반적인 특징을 대상 문제에 특정한 특징으로부터 분리하기 위해 대조 학습을 사용하는 방법이었습니다.

K-NEWS-STANCE 테스트 세트에서 각 모델의 성능. 매크로 F1 및 정확도가 표시되며, 각 그룹에서 최고의 점수는 볼드체입니다.

JOA-ICL은 전체 성능에서 정확도와 매크로 F1 모두에서 최고의 성능을 보였습니다. 이는 테스트된 세 가지 모델 백본(GPT-4o-mini, Claude 3 Haiku 및 Gemini 2 Flash) 모두에서 명확한 이점이었습니다.

세그먼트 기반 방법은 일관되게 모든 다른 접근 방식을 능가했으며, 특히 지지적인 스탠스를 감지하는 데 강점을 보였습니다. 이는 유사한 모델에서 일반적인 약점입니다.

기준선 모델은 전체적으로 더 나쁜 성능을 보였습니다. RoBERTa와 Chain-of-Thought 변형은 미묘한 경우에서 어려움을 겪었으며, PT-HCL과 LKI-BART는 더 나은 성능을 보였지만 여전히 JOA-ICL을 따라가지 못했습니다. 가장 정확한 단일 결과는 JOA-ICL(Claude)에서 나왔으며, 64.8%의 매크로 F1 및 66.1%의 정확도를 보였습니다.

아래 이미지는 모델이 각 레이블을 올바르게 또는 잘못 분류한 빈도를 보여줍니다.

기본선과 JoA-ICL을 비교하는 혼동 행렬. 두 모델 모두 ‘지지’ 스탠스를 감지하는 데 가장 어려움을 겪는다는 것을 보여줍니다.

JOA-ICL은 모든 범주에서 더 많은 레이블을 올바르게 분류했지만, 지지적인 기사에서 가장 어려움을 겪었습니다. 기준선은 거의 절반을 잘못 분류했으며, 종종 지지적인 것을 중립적인 것으로 잘못 판단했습니다.

JOA-ICL은 실수를 더 적게 했지만 같은 패턴을 보여 ‘지지’ 입장을 탐지하는 일이 모델에 더 어렵다는 점을 다시 확인했습니다.

JOA-ICL이 한국어를 넘어서 작동하는지 테스트하기 위해, 연구자들은 이를 CheeSE라는 독일어 데이터 세트에 적용했습니다. CheeSE에는 세그먼트 수준의 레이블이 없었으므로, 연구자들은 원격 감시를 사용했으며, 각 세그먼트에 전체 기사와 동일한 스탠스 레이블을 할당했습니다.

독일어 CheeSE 데이터 세트에서 스탠스 감지 결과. JOA-ICL은 일관되게 제로샷 프롬프팅을 능가하며, 세 가지 LLM 모두에서 미세 조정된 기준선보다 더 나은 성능을 보입니다. Gemini-2.0-Flash는 가장 강력한 성능을 보여줍니다.

조건이 ‘잡음’인 경우에도, JOA-ICL은 미세 조정된 모델과 제로샷 프롬프팅을 모두 능가했습니다. 테스트된 세 가지 백본 중에서 Gemini-2.0-Flash가 가장 좋은 결과를 보였습니다.

결론

기계 학습에서 스탠스 예측만큼 정치적으로 충격적인 작업은 거의 없습니다. 그러나 이는 종종 차갑고 기계적인 용어로 처리되며, 더 많은 주목은 생성적 AI의 덜 복잡한 문제, 즉 비디오 및 이미지 생성에 주어지며, 이는 더 큰 헤드라인을 유발합니다.

이 새로운 한국 연구에서 특히 고무적인 점은 트윗이나 소셜미디어의 짧은 콘텐츠가 아니라 전체 길이의 장문 콘텐츠 분석에 중대한 기여를 한다는 사실입니다.

새로운 연구와 일반적으로 스탠스 감지 코퍼스에서 주목할 만한 생략은 하이퍼링크에 대한 고려의 부족입니다. 이는 독자가 주제에 대해 더 많이 배우기 위해 선택할 수 있는 선택적 리소스로 자주 대체됩니다. 그러나 이러한 URL의 선택은 주관적이거나 정치적인 것일 수 있습니다.

그러나 더 권위 있는 출판물일수록, 호스트 도메인에서 벗어난 시청자를 외부로 안내하는 링크를 넣을 가능성이 낮습니다. 하이퍼링크가 SEO에 다양하게 활용되거나 악용된다는 점까지 더해지면, 명시적인 인용문이나 제목 또는 의식적이든 아니든 독자의 의견에 영향을 주려는 기사의 다른 부분보다 이를 정량화하기 어렵습니다.

2025년 7월 16일 수요일에 처음 게시되었습니다.