AI가 생성한 텍스트는 생각보다 이해하기 어렵다

AI 모델은 사람에게 명확하게 설명하는 능력보다 효율적으로 문제를 해결하는 능력을 보상하는 방향으로 학습이 이뤄지면서 이해하기가 점점 더 어려워지고 있을 수 있습니다.

위 문장은 수정하지 않은 원문으로, 과학 논문을 한 문장으로 요약해 초등학생도 이해할 수 있게 설명해 달라는 요청에 ChatGPT가 작성한 것입니다. 또한 이 문장에는 새로운 연구*에서 설명한 언어를 왜곡하는 특징이 적어도 몇 가지 나타납니다. 새 연구는 이 문제가 모든 최첨단 모델과 최첨단에 가까운 모델은 물론, 연구진이 시험한 일부 오픈 웨이트 모델에도 영향을 미친다고 결론 내립니다.

예를 들어, 구절‘학습 과정에서 문제를 효율적으로 해결하는 능력을 점점 더 보상한다’ 의 앞부분은 AI 모델이 때때로 무생물에 인간의 행동을 부여한다는 논문의 주장을 보여 줍니다. 위의 예문에서는 ‘학습 과정’이 무언가에 적극적으로 보상을 주는 것으로 묘사되기 때문입니다.

이런 표현은 문장을 빠르게 파악하기 어렵게 만들 수 있습니다. 문자 그대로 받아들이는 편이 훨씬 간단하지만, 우리는 이를 문자 그대로 해석하는 대신 비유적 표현으로 이해해야 하기 때문입니다.

뒷부분인 ‘문제를 효율적으로 해결하는 능력을 점점 더 보상한다’도 여러 생각을 한데 압축해 놓아, 독자는 무엇이 보상받는지, 무엇이 해결되는지, 무엇이 더 효율적으로 바뀌는지 파악해야 합니다.

논문은^† 다음과 같이 설명합니다.

‘[Readers]유정성을 구문 분석 과정에서 단서로 사용하며, 추가 맥락이 없으면 불일치로 인해 재분석과 관련된 P600 반응^††이 나타날 수 있다.

‘그러나 무생물을 주어로 쓰지 않도록 문장을 바꾸면 문장이 길어질 수 있습니다. 예를 들어 “물다”라는 단어는 “문제를 일으키다”를 대신합니다.

‘학습 과정에서 모델은 다른 방식이라면 더 많은 토큰을 차지했을 의미를 표현하는 효율적이지만 비표준적인 방법으로 이런 구문을 사용하는 데 수렴했을 수 있다고 추측합니다.’

무슨 말이죠?

이것이 논문의 핵심입니다. ChatGPT, Claude, Gemini 같은 최신 AI 모델은 의사소통 자체보다 여러 유형의 문제 해결에 최적화되어 있기 때문에, 어느 정도 해독이 필요한 매우 압축된 정보의 형태로 언어를 출력하는 경향이 있습니다.

저는 ChatGPT와 그와 비슷한 모델들에게 늘 말을 더 간결하게, 다시 말해 더 압축해서 답하라고 설득하려 애쓰기 때문에 이 점이 놀라웠습니다. 문헌에서도 이 문제를 인식하고 다루고 있습니다.

오히려 논문은 장황한 표현을 짧은 문장조차 쉽게 이해하지 못하게 만드는 일종의 압축 폭탄으로 제시합니다. 따라서 기본 응답이 지나치게 길다는 문제와 과도한 압축에 관한 논문의 관찰을 함께 고려하면, 최첨단 AI의 기본 응답 스타일은 상당히 독특한 패턴을 보인다고 생각할 수 있습니다. 논문에서 다루지는 않지만, 이런 간결한 스타일은 AI 생성 텍스트 탐지기가 사용하는 판별 기준의 일부일 수도 있습니다.

저자들은 문제가 되는 ‘경찰대가 개를 물도록 돕다’^†라는 표현을 예로 들어 명사를 여러 개 겹쳐 쓴 복합어도 살펴봅니다.

‘영어에서는 명사가 형용사처럼 다른 명사를 자유롭게 수식합니다. 커피숍이라는 표현에서 커피는 보통 명사로 쓰이지만 수식어 역할을 해 가게를 꾸밉니다. 이러한 특성 덕분에 여러 명사를 이어 붙여 매우 구체적인 의미를 나타내는 복합어를 만들 수 있습니다.

그러나 이런 식으로 명사를 이어 붙이면 ‘경찰대, 개 물림 피해자를 돕다’라는 제목처럼 어디서 끊어 읽어야 하는지 모호해질 수 있고, 읽는 흐름을 방해합니다.’

그렇다면 LLM은 압축을 통해 장황해지는 걸까요? 질문에 답하면서 압축된 텍스트를 두 배로 많이 만들어 내기 때문에 장황해지는 걸까요? 이는 질문에 대한 답변으로 읽어야 할 텍스트가 많을 뿐 아니라, 텍스트 자체에도 해독해야 하는 ‘암묵적’ 의미가 많이 담겨 있을 수 있다는 뜻입니다.

2023년 논문 한 편은 학습 과정에서 AI 평가자가 사용되기 때문에 LLM이 불필요하게 장황해질 수 있다고 주장했습니다. 연구의 실험에서 사람들은 더 짧은 답변을 선호했지만, AI 평가자는 긴 답변에 더 높은 점수를 주는 경우가 많았기 때문입니다.

새 연구의 저자들은 앞서 인용한 내용에서 보듯 최첨단 모델의 압축 성향 중 일부를 토큰을 절약하려는 구조적 경향 탓으로 돌립니다. 요즘 같은 때에는 참으로 너그러운 해석입니다.

이제 연구 저자들이 연구를 위해 사용한 방법과 데이터, 그리고 수행한 실험을 살펴보겠습니다.

데이터와 방법

드물게 나타나는 단어 조합은 읽기 어려움을 높이는 것으로 알려져 있습니다. 연구진은 단어의 연속열인 엔그램을 통해 이런 조합을 측정하고 예측하기 어려운 정도를 조사했습니다.

의존 길이(문법적으로 연결된 단어 사이의 거리)도 측정했다. 거리가 길수록 작업 기억에 더 큰 부담을 주기 때문이다. 특히 주어와 동사 사이에 여러 단어가 끼어 있을 때 부담이 커진다.

목적격 관계절(‘시공업자들이 지은 집’과 같은 표현)을 살펴봤다. 특히 선택적으로 쓰이는 단어를 생략한 경우도 검토했다(예를 들어 ‘시공업자들이 지은 집’에서 ‘that’을 생략하는 경우).

앞서 언급한 명사 연쇄(‘공포 영화 사운드트랙 생성기’처럼 명사 세 개 이상을 이어 붙인 표현)도 조사했다. 구성 단어 사이의 관계가 모호할 수 있기 때문이다.

명사에서 파생된 동사(‘포크로 집어’처럼 명사를 동사로 쓰는 표현. ‘포크 위에 올려’라고 하는 대신 사용하는 경우)을 앞서 논의한 것처럼 생물이 아닌 주어와 보통 생물에 쓰이는 동사를 짝지은 표현과 함께 살펴봤다. 두 표현 모두 더 적은 단어로 의미를 압축할 수 있지만, 독자가 추가로 해석해야 할 수 있다.

비교 대상 모델

연구진은 14개 모델에서 생성된 AI 대화를 수집했다. Kimi K2.5, GLM 5, Claude Sonnet 5, Opus 5, Opus 5.5, Fable 5, GPT-5.6 Luna, Terra, Sol, Olmo Base, Instruct, Think, 그리고 Llama Base 및 Instruct가 대상이었다.

시험에는 일반 대화를 위한 시작 프롬프트 10개와 코딩을 위한 프롬프트 5개가 포함됐다. 각 과제에서 모델은 실제 공개 GitHub 저장소를 복제하고, 버그를 찾아 샌드박스 환경에서 수정해야 했다.

대화는 12회 교환으로 제한했고, 코딩 세션은 11회로 제한한 뒤 정해진 마무리 메시지를 보냈다. 별도의 시험에서는 각 모델에 PERSUADE 2.0 데이터셋의 과제를 바탕으로 에세이 7편을 작성하도록 했다.

비교를 위해 AI가 생성한 세 가지 유형의 결과물과 최대한 유사한 출처에서 사람이 작성한 텍스트를 가져왔다. 일반 대화에는 OpenSubtitles(영화 및 TV 자막 모음으로, 오픈 소스 자막 플랫폼과는 관련이 없다)을 사용했고, 코딩 관련 토론에는 StackExchange(온라인 질문·답변 포럼 네트워크)를 사용했다. 글쓰기 과제에는 앞서 언급한 PERSUADE 2.0 데이터셋의 학생 에세이를 활용했다. 추가 비교 자료로 Wikipedia도 사용했다.

적절한 사람 작성 자료를 구할 수 있는 경우, 사람과 AI가 생성한 텍스트에서 동일한 언어적 특징을 측정했다. 이 참고 자료 모음은 단어 조합의 빈도를 평가하는 데에도 사용했다.

문체상의 선호와 언어적으로 불가피한 요소를 구분하기 위해 NLLB-200 모델을 사용해 영어에서 일본어로 번역한 뒤 다시 영어로 번역하는 왕복 번역을 수행했다. 문장의 구조는 바뀌었지만 의미는 대체로 유지돼, 불필요하게 복잡한 표현을 찾아낼 수 있었다.

결과

실험 1

아래에서 볼 수 있듯이, 원본 AI 생성 텍스트에서는 여러 어려운 표현 구조가 더 자주 나타났으며, 특히 최첨단 모델에서 두드러졌다. 연구진은 이를 불필요하게 복잡한 표현을 선호한다는 증거로 해석했다.

원본 AI 생성 텍스트와 일본어로 번역한 뒤 다시 영어로 번역한 텍스트 비교. 녹색 점은 원본에서 더 자주 사용된 언어 패턴을, 분홍색 점은 번역 후 더 자주 사용된 패턴을 나타낸다. 차이는 대체로 GPT와 Claude 모델에서 더 컸다. 출처

세 가지 환경(대화, 코딩, 에세이 작성)에서 14개 AI 모델의 언어적 특징 6가지를 비교했다. 대화에서는 12개 모델, 코딩에서는 9개 모델을 시험했고, 에세이 작성에서는 14개 모델을 모두 시험했다.

대화, 코딩, 에세이 작성에서 AI 모델의 언어적 특징 6가지를 비교한 결과. 각 마름모는 모델별 통합 결과를 나타내며, 가로 막대는 95% 신뢰구간을 보여준다. 점선 수직선은 사람이 작성한 기준 자료를 나타낸다. 대화는 OpenSubtitles, 코딩은 StackExchange, 에세이 작성은 PERSUADE 2.0 학생 에세이를 기준으로 삼았다. 점선은 Wikipedia와의 비교 결과를 나타낸다. 값이 높을수록 일반적으로 측정 대상 표현 구조가 더 자주 사용되거나 언어적 복잡성이 더 크다는 뜻이다. 더 높은 해상도의 이미지는 원 논문을 참조하기 바란다.

문장 구조의 차이를 측정하기 위해, AI가 생성한 원문과 이를 다시 번역한 문장도 비교했다.

AI가 생성한 원문(속이 채워진 마름모)과 NLLB-200을 사용해 일본어로 번역한 뒤 다시 영어로 옮긴 문장(속이 빈 원) 비교. 분홍색 선은 번역 후 더 자주 사용된 특징을, 초록색 선은 원문에서 더 자주 사용된 특징을 나타낸다. 별표는 통계적 유의성을 나타내며, 별표가 하나, 둘, 셋으로 늘어날수록 통계적 근거가 강하다는 뜻이다. 읽기 어려움과 관련된 구문은 대부분 번역 후 사용이 줄었으며, 특히 최첨단 모델에서 이러한 경향이 두드러졌다. 더 높은 해상도는 원 논문을 참조하세요.

최첨단 및 준최첨단 모델은 이례적인 단어 조합, 명사에서 파생된 동사, 무생물 주어, 선택적인 단어가 생략된 목적격 관계절을 과도하게 사용하는 것으로 나타났다(위 그래프 참조). 이러한 경향은 Llama와 Olmo Base에서는 대체로 약했지만, Olmo Think에서는 더 두드러졌다.

에세이 작성에서는 채팅이나 코딩보다 차이가 작게 나타났다. 이는 에세이가 단일 프롬프트로 작성되는 반면, 여러 차례 대화를 주고받으면 언어를 더 압축하도록 유도될 수 있기 때문인 것으로 풀이됐다.

저자들은 다음과 같이 설명한다.

‘PERSUADE 에세이는 채팅 및 [coding]와 비교했을 때 여러 범주(엔그램 측정치, 의존 길이, 명사 연쇄, 명사 파생 동사)에서 왕복 번역 후 변화가 더 작게 나타났다.

‘이는 채팅과 코딩에서 여러 차례 대화를 주고받는 것과 달리, 에세이는 단일 프롬프트로 작성되기 때문이라고 본다. 또한 정보를 더 압축해야 할 수도 있는 긴 대화에서 특정 패턴이 나타날 수 있다고 추측한다.’

번역 후 변화가 가장 적은 모델은 Llama, Olmo Base, Olmo Instruct였으며, 단어 조합과 동사 사용에서도 학생 에세이에 가장 가까웠다. 반면 Olmo Think는 최첨단 모델과 더 비슷하게 작동하는 것으로 나타났다. Claude Opus 5.5는 21개 비교 중 19개에서 Opus 5보다 어려운 구문을 덜 사용한 것으로 관찰됐으며, 그중 8개에서는 95% 신뢰구간이 겹치지 않았다.

실험 2

두 번째 실험은 더 짧고 정보 밀도가 높은 응답을 생성하려는 내재적 압력이 모델로 하여금 사람이 이해하기 어려운 언어 구문을 선호하게 만들 수 있는지 알아보기 위해 설계됐다.

이 실험에서는 Qwen2.5-1.5B-Instruct를 그룹 상대 정책 최적화(GRPO)를 사용해 미세 조정하고, 구조화된 JSON 형식의 사건 설명을 영어 문장으로 바꾸도록 했다.

훈련에서 조정한 두 가지 측면은 모델이 평소의 단어 선택을 얼마나 바꿀 수 있도록 허용했는지(β)와 더 긴 응답을 생성했을 때 얼마나 강하게 페널티를 부과했는지(λ)였다. 각 사건은 토큰 수가 서로 다르다고 알려진, 문법적으로 올바른 두 가지 방식으로 표현할 수 있었다.

예를 들어, ‘그는 우리에게 사진을 보냈다’는 토큰이 6개 필요했지만, ‘그는 사진을 우리에게 보냈다’는 7개가 필요했다. 문장 길이 때문에 차이가 발생했는지 확인하기 위해, 같은 내용을 두 가지 방식으로 표현하더라도 토큰 수가 같도록 한 별도의 테스트도 진행했다.

이 효과는 학습 중 접한 네 가지 구문을 사용해 이전에 본 적 없는 문장에서 시험했다. 또한 선택적으로 ‘that’을 넣을 수 있는, 학습 중 다루지 않은 두 가지 구문과 소유격, 수량사, 수동태, 목적을 나타내는 절과 관련된 별개의 구문도 시험했다.

이 테스트는 더 짧은 표현을 선호하는 경향이 학습되고, 학습 중 접하지 않은 구문에도 적용되는지 확인하기 위해 설계됐다.

훈련 중 긴 응답에 페널티를 부과했을 때의 효과. A에는 짧은 표현과 긴 표현의 예가 나와 있습니다. 짧은 구문에 대한 선호도는 B에서 측정했으며, 훈련 중 접하지 않은 구문을 대상으로 한 테스트 결과는 C와 D에 나와 있습니다. 주황색은 원래 모델의 변경을 제한하지 않고 훈련한 경우를, 파란색은 그러한 제한을 두고 훈련한 경우를 나타냅니다. 점선은 원래 모델의 선호도를 보여 줍니다. 페널티가 강할수록 대체로 더 짧은 표현을 선호했으며, 훈련에 없던 구문에서도 같은 경향이 나타났습니다. 더 선명한 이미지는 원 논문을 참조해 주세요.

더 긴 응답에 대한 페널티가 커질수록 더 짧은 표현이 더 자주 선택되었다(바로 위 그림 참조). KL 페널티(모델이 기존 단어 예측에서 얼마나 벗어날 수 있는지를 제한하는 장치)이 없으면 이러한 변화는 빠르게 나타났고, 페널티가 있으면 같은 효과가 더 서서히 나타났다. 두 페널티가 모두 없을 때는 훈련을 반복할 때마다 선호가 크게 달라졌지만, 길이에 대한 페널티가 조금만 있어도 더 짧은 대안을 일관되게 선호했다.

선택적으로 쓰이는 단어 ‘that’이 포함된, 이전에 접하지 않은 문장 구조에서도 이러한 선호가 관찰됐습니다. 더 동떨어진 문법 구조로의 전이는 훨씬 약했으며, KL 페널티가 없을 때 소유격 구조에서만 효과가 나타났습니다.

저자들은 다음과 같이 결론 내립니다.

‘이러한 결과는 GRPO를 이용한 강화 학습 중 길이 페널티를 적용하면 문법적 특징에 직접 영향을 줄 수 있다는 개념 증명으로 볼 수 있다.

‘모델에 압축적이거나 밀도 높은 언어를 사용하라고 직접 지시하지 않았으며, 구문적 대안이 존재한다는 정보도 직접 제공하지 않았다는 점에 주목할 필요가 있다.

‘오히려 페널티로 인해 구문적 대안 가운데 더 짧은 표현을 선호하는 경향이 자연스럽게 나타났다.’

결론

저는 오래전부터 AI가 생성한 텍스트의 특징인 비의도적 단서와 의도적 단서 모두에 관심을 가져왔습니다. 따라서 이번에 새롭게 제시된 내용은 LLM의 장황함이 널리 지적되어 온 것과, 단어를 많이 사용하지 않아 ‘읽기 쉬워 보이는’ 방식으로 정보를 압축하는 경향이 이제 그에 못지않게 주목받는 것 사이에 있는 겉보기의 충돌을 어느 정도 조명합니다. 하지만 이는 그 단서를 명백히 잘못 해석한 것입니다.

LLM의 텍스트 출력이 간결하다면, 이는 핵심만 추려냈다는 뜻이 아니라 복잡하다는 신호일 수 있습니다. AI가 단어 뒤에 숨은 개념을 직접 설명하는 대신 우리에게 퍼즐을 건네는 것과도 같습니다. 겉보기에는 이 모든 것이 하나의 모델로 코딩과 글쓰기까지 할 수 있도록 하려는 것 같습니다.

* 뉴욕대학교와 The University of Texas 소속 두 저자가 쓴 논문으로, 제목은 ‘AI가 생성한 언어는 왜 이해하기 어려운가?’입니다.

^† 저자가 본문에 넣은 인용을 하이퍼링크로 바꾼 것은 저입니다.

^†† https://mikeydoes.com/glossary/p600/

최초 게재일: 2026년 10월 26일 월요일