Anderson의 관점

단순한 AI도 이제 사람이 쓴 것처럼 보이는 뉴스를 작성한다

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
AI-generated illustration: a stylized orthographic illustration depicting a woman seated at her home office desk reading a laptop, and a cut-away diagram depicting 'Schrodinger's news source' - a box with a robot writing an article, partitioned from a human writing an article. Each has a stylized journalist appearance. The idea being conveyed is that until you actually know who wrote the piece the woman is reading, it could have been a human or a robot. GPT-1.5
핵심 포인트이제 70억 개의 매개변수를 가진 작은 AI 모델조차 인간 저널리즘과 구분할 수 없는 뉴스를 작성합니다.
더 보기
  • 이제 70억 개의 매개변수를 가진 작은 AI 모델조차 인간 저널리즘과 구분할 수 없는 뉴스를 작성합니다.
  • 인간 독자는 모델 규모와 관계없이 우연 수준 이상으로 AI 생성 뉴스를 감지하지 못합니다.
  • 감지 정확도는 정치적 견해보다는 분야 전문성에 더 의존하지만, 피로가 쌓일수록 감지 능력은 저하됩니다.

새 연구에 따르면 소규모 로컬 AI 모델도 실제 언론 기사와 구분하기 어려운 뉴스를 작성해 최고 시스템에 필적하며, 독자들은 누가 썼는지 알아내지 못합니다.

 

독일과 프랑스의 새 공동 연구에 따르면, 사람들은 뉴스 기사를 AI가 썼는지 사람이 썼는지 구별하지 못합니다. 비교적 평범한 소비자용 데스크톱에서 내려받아 실행하는 오픈소스 모델이 쓴 경우에도 마찬가지입니다.

소형 AI가 부상하고 있음을 보여주는 또 다른 사례로, 전용 학술 연구 포털의 참가자 1,054명에게서 수집한 판단 2,318건을 조사한 결과, 독자들은 기사 출처를 우연보다 높은 수준으로 식별하지 못했습니다. 매개변수가 불과 70억 개인 비교적 작은 모델의 출력도 마찬가지였으며, 여기에는 Mistral 및 Llama의 변형 모델도 포함됩니다.

Mean source and authenticity scores for LLMs tested. GPT-4o's 200 billion parameters do not massively exceed the 7B parameters of smaller models listed. Source - https://arxiv.org/pdf/2604.03755

시험한 LLM의 평균 출처 및 진정성 점수. GPT-4o의 매개변수 2,000억 개는 소형 모델의 매개변수 70억 개를 크게 초과하지 않습니다. 시험한 모델은 Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o, GPT-3.5입니다. 출처

저자들은 2024년에 발표한 축복인가 저주인가? 생성형 AI가 가짜 뉴스에 미치는 영향에 관한 조사에서 처음 다룬 주제로 돌아왔습니다. 이번 결과는 더 큰 프로젝트에서 새로 발표한 것으로, 이 프로젝트는 처음 1월에 공개됐으며 저자들 자체의 JudgeGPT 온라인 참여 프레임워크를 활용합니다.

작은 모델의 힘

사람은 구별할 수 있는가? LLM 생성 뉴스에 대한 인간 인식의 이중 축 연구라는 제목의 새 연구는 프랑크푸르트 응용과학대학교와 낭트 IRISA 연구 부서의 연구자 3명이 수행했습니다. 연구 방법은 가짜 뉴스와 AI 작성 뉴스를 중요하게 구분합니다. 가짜 뉴스는 사람이나 AI가 모두 쓸 수 있으므로 두 개념이 반드시 같은 뜻은 아닙니다.

가장 흥미로운 점은 Mistral 7B와 Gemma 7B 같은 작은 모델이 매개변수 70억 개만으로 매개변수 2,000억 개의 ChatGPT(4o) 같은 모델과 당당히 경쟁할 수 있다는 결론일 것입니다.

“매개변수가 불과 70억 개인 오픈 웨이트 모델도 GPT-4o 출력과 다르지 않게 평가되는 글을 생성합니다. 이는 사람의 글과 구분할 수 없는 텍스트를 만드는 능력이 더 이상 최첨단 모델에만 국한되지 않음을 보여줍니다.”

그러나 AI 생성 뉴스에는 철자 검사부터 모든 노력을 위임해 경력마저 끝날 수 있는 경우까지 여러 인간·AI 협업 방식이 포함될 수 있습니다. 연구는 시험에 정확히 어떤 AI 콘텐츠를 사용했는지 명확히 밝히지 않습니다. 다만 생성 방법은 설명합니다. 아래를 참고하십시오.

방법

JudgeGPT 참가자들은 이중 축 틀에서 각 뉴스 단편을 평가하며, 0~100의 연속 슬라이더로 세 독립적인 점수를 매겼습니다.

The JudgeGPT portal GUI, where raters assess material on source attribution; authenticity; and topic familiarity.

출처 귀속, 진정성, 주제 친숙도를 평가하는 JudgeGPT 포털 화면. 더 높은 해상도는 원 논문을 참고하십시오.

출처 판단은 문장이 기계가 쓴 것처럼 보이는지 사람이 쓴 것처럼 보이는지 측정했습니다. 진정성 판단은 거짓인지 사실인지에 대한 인식을, 주제 친숙도는 독자가 주제를 얼마나 잘 아는지 측정했습니다.

확신의 정도를 더 정확히 포착하고 통계 분석을 지원하기 위해 리커트 척도 대신 연속 척도를 사용했습니다. 분석에는 피어슨 상관과 군집화가 포함됩니다.

기계 생성 단편은 저자들 자체의 RogueGPT 프레임워크로 만들었습니다. 이는 JudgeGPT에 입력을 제공하는 구조입니다. RogueGPT는 대규모 언어 모델(LLM) 6개의 출력을 조율합니다. ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; Mistral 7B입니다.

인물이나 역할 설정에 기반한 프롬프트로 텍스트를 생성했습니다. AI 출력은 실제 뉴스 주제에 기반했고 사람이 사실을 검증했습니다.

인간 작성 단편은 확립된 언론 매체와 구체적으로 밝히지 않은 정보 데이터베이스에서 추출했습니다.

저자들은 설명합니다.

“자극 자료는 의도적으로 기계 출처 단편(∼98%)에 치우쳐 있으며, 인간 출처 항목은 보정의 기준점 역할을 합니다.

“이 설계는 인간과 AI의 비교보다 AI 내부의 모델 간 변동에 집중한 것입니다. 참가자에게 기본 구성 비율을 알리지 않았으며, 인간 출처 하위 집합만 분석해도 우연 수준에 가까운 탐지 결과는 유지됩니다.”

참가자들은 충분한 설명에 따른 동의를 제공하고 나이, 교육, 정치 성향, AI 친숙도에 관한 인구통계 설문에 답한 뒤 뉴스 단편을 평가했습니다.

각자는 5~87개 항목을 검토했고 중앙값은 12개였습니다. 제시 순서는 무작위였고 참가자 간 모델 배정은 균형을 맞춰 편향을 줄였습니다. 플랫폼은 세 슬라이더 점수, 응답 시간, 익명 식별자를 기록해 개별 판단과 배경 요인을 연결했습니다.

저자들은 표본이 교육 수준이 높은 유럽 참가자 쪽으로 치우쳤다고 강조합니다. 68%가 대학 교육을 받았고 74%는 유럽에 거주했습니다. 논문은 이를 폭넓은 일반화의 한계로 인정합니다.

시험

시험은 다섯 종류로 나뉩니다. 기계 생성 글과 인간 작성 글 구분, LLM별 탐지 비교, 분야 전문성과 정치 성향의 정확도 영향 비교, 참가자의 서로 다른 응답 전략 식별, 반복 평가에서 정확도가 피로 때문에 어떻게 변하는지 추적하는 것입니다.

Summary of the five core findings from 2,318 judgments across 1,054 participants, showing that human detection of AI-written text remained at chance levels across all models, that accuracy was linked to domain expertise rather than political orientation, that participants clustered into distinct trust profiles, and that performance declined after roughly 30 evaluations, due to cognitive fatigue.

참가자 1,054명의 판단 2,318건에서 나온 다섯 핵심 결과. AI 글의 인간 탐지는 모든 모델에서 우연 수준에 머물렀고, 정확도는 정치 성향보다 분야 전문성과 관련됐습니다. 참가자는 서로 다른 신뢰 유형으로 묶였고 인지 피로로 약 30회 평가 후 성과가 하락했습니다.

시험에서는 조건 간 출처 점수에 우연 수준을 넘어서는 유의한 차이가 나타나지 않았습니다. 이는 참가자가 AI 글과 인간 출력을 구분하지 못함을 시사하는 것으로 보입니다.

Source and authenticity score distributions for machine- and human-origin fragments show substantial overlap, with no meaningful separation between the two conditions, and statistical testing –indicating that participants could not reliably distinguish AI-generated text from human-written content.

기계와 인간 출처 단편의 출처·진정성 점수 분포는 크게 겹치며 두 조건 사이에 뚜렷한 분리가 없습니다. 통계 검정은 참가자가 AI 글과 인간 작성 콘텐츠를 신뢰성 있게 구분하지 못했음을 보여줍니다.

두 번째 측면에서는 첫 그래프처럼 모델에 따라 탐지 실패가 달라지지 않았습니다. 모든 LLM 출력에 대한 판단은 우연 수준 주변에 모였고 유의한 차이가 없었습니다. Mistral 7B와 Gemma 7B 같은 작은 오픈 웨이트 시스템도 GPT-4o와 다르지 않게 평가됐습니다. 이는 사람의 글과 구분되지 않는 텍스트가 더 이상 최대 모델에만 국한되지 않을 가능성을 시사합니다.

세 번째 측면에서 정확도는 정치 성향보다 분야 전문성과 더 강하게 연관됐습니다. 가짜 뉴스 친숙도는 더 나은 판단과 상관관계가 있었지만 정치적 견해는 유의미한 영향이 없었습니다. 이는 학습된 분석 능력이 이념보다 중요할 수 있음을 시사합니다.

Results pertaining to the third line of investigation: participant-level correlations between background traits and judgment accuracy demonstrated that political orientation had no meaningful effect on either source attribution or authenticity scoring, with only weak, non-significant trends across both measures. At the same time, self-reported familiarity with fake news was consistently associated with higher accuracy on both axes, as reflected in moderate positive correlations and upward regression slopes. The authors assert that this signifies that experience-based analytical skill (rather than ideological position) was the stronger predictor of performance in evaluating AI-generated and human-written news. Please refer to the source paper for better resolution.

세 번째 조사에서 정치 성향은 출처 귀속이나 진정성 점수에 유의미한 영향이 없었고 약하고 유의하지 않은 경향만 나타났습니다. 스스로 보고한 가짜 뉴스 친숙도는 두 축 모두의 높은 정확도와 관련됐습니다. 이는 경험에 기반한 분석 능력이 이념적 입장보다 성과를 더 강하게 예측했음을 시사합니다. 더 높은 해상도는 원 논문을 참고하십시오.

네 번째 결과에서 참가자는 두 응답 유형으로 나뉘었습니다. 회의론자는 출처와 관계없이 콘텐츠 전반에 낮은 신뢰를 부여했고, 신뢰자는 높은 기본 신뢰를 유지했습니다.

마지막으로 다섯 번째 목표에 대한 연속 판단의 이동 분석은 참가자가 초기에 과제를 더 잘 수행하며 형식에 적응하는 첫 15~20회 평가 동안 정확도가 향상됐음을 보여줬습니다.

Rolling averages of source attribution and authenticity scores across the sequence of participant evaluations show a short initial improvement phase, as users appear to adapt to the task during the first 15–20 items, followed by a steady decline in both measures after roughly 30 evaluations. Scores the drop toward default responses – a pattern interpreted in the study as cognitive fatigue. Please refer to the source paper for better resolution.

평가 순서에 따른 출처 귀속·진정성 점수의 이동 평균은 짧은 초기 향상을 보여줍니다. 사용자는 첫 15~20개 항목 동안 적응하는 것으로 보이며 약 30회 평가 후 두 지표가 지속해서 하락합니다. 더 높은 해상도는 원 논문을 참고하십시오.

이 효과는 짧았습니다. 약 30개 항목 후 성과가 하락했고 참가자는 점점 콘텐츠를 기본적으로 가짜로 표시했습니다. 이 변화는 인지 피로로 해석됐으며 탐지에 의존하는 접근이 실제로 효과를 유지하는 시간에는 명확한 한계가 있음을 시사합니다.

이는 가짜와 진짜 뉴스, AI와 인간의 뉴스를 구별하는 데 지쳐 우리가 기본적으로 가정하는 경향이 있을 수 있다는 실증적 근거일 수 있습니다. 안전을 위해 뉴스가 AI 생성이거나 가짜라고 가정하는 것입니다. 둘은 반드시 같은 뜻은 아닙니다. 이를 게으름으로 보고 의심스러운 뉴스를 직접 조사해야 한다고 생각하는 사람은, 2024년 연구가 이런 행동이 문제를 악화시킬 뿐이라고 밝혔다는 점에 관심을 가질 수 있습니다.

저자들은 결과가 보여준 인간 판단의 실패 때문에 Adobe가 주도하는 C2PA 이니셔티브 같은 암호학적 출처 확인 기술에 이런 문제를 맡겨야 할 수도 있다고 제안합니다. 다른 가능한 해결책은 저자들 자체의 OriginLens 프레임워크와 저자들이 참여하는 또 다른 프로젝트인 CRED-1입니다.

저자들은 결론짓습니다.

“사람은 구별할 수 있는가? LLM 6개 계열의 판단 2,318건에 대한 이중 축 연구는 명확한 실증적 답을 줍니다. 구별할 수 없습니다.

“기계 생성 글은 모델 크기나 계열과 관계없이 사람의 글과 구분되지 않습니다. 분야 전문성은 정치 성향보다 탐지 정확도를 더 강하게 예측하고, 참가자는 서로 다른 신뢰 전략을 채택하며 인지 피로가 지속적인 탐지를 제한합니다.

“이 결과는 사용자 수준의 탐지에서 시스템 수준의 대응으로 전환해야 함을 뒷받침합니다. 콘텐츠 출처, 적응형 신뢰 지표, 범위를 한정한 사전 면역 개입이 포함됩니다.”

결론

이 논문의 우려스러운 측면은 저자들 또는 연구에 따라 그중 일부가 시작했거나 참여하는 프로젝트와 논문의 주변 지원망입니다. 결과를 낳은 AI와 인간의 실제 글 표본을 살펴볼 수 있었다면 설명된 생성 방법이 어떤 출력을 만드는지 더 잘 이해할 수 있었을 것입니다.

그럼에도 오픈 웨이트·오픈소스 모델이 ChatGPT 계열처럼 API로 제공되는 거대 모델에 필적한다는 점은 흥미롭습니다. 이 과제가 그다지 어렵지 않으며 매개변수 2,000억 개 모델은 과도한 것일까요? 답하려면 제출된 AI와 인간 작성 표본을 더 알아야 합니다.

한편 canirun.ai 웹사이트에 따르면 시험에서 ChatGPT-4o와 거의 대등했던 Mistral 7B는 매우 잘 실행되며 16GB VRAM을 갖춘 NVIDIA RTX 3080에서 그렇습니다. 또한 무난하게 실행됩니다. 이는 6GB VRAM을 갖춘 3060에서의 평가입니다. 두 제품 모두 최신·최고의 그래픽 카드는 아닙니다*. 따라서 표본 제출을 위한 자신만의 방법을 고안하려는 사람도 이런 실험에 참여할 수 있을 것으로 보입니다.

 

* Gemma 7B는 이 사이트에 등록돼 있지 않습니다.

최초 게시: 2026년 4월 9일 목요일

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai