검색 결과에 대한 AI 오염의 위험성: ‘검색 붕괴’의 위협

인터넷에 AI 콘텐츠가 퍼지면서 새로운 공격 벡터가 문화적 합의를 위한 전쟁터에서 열립니다.

한국의 검색 회사에서 주도한 연구에 따르면, AI 생성 페이지가 검색 결과에 침투함으로써, 검색과 랭킹 파이프라인의 안정성을 저해하고, Retrieval-Augmented Generation(RAG)과 같은 시스템이 신뢰할 수 있는 정보를 결정하기 위해 랭킹에 의존하는 것을 약화시킵니다. 이는 허위 또는 부정확한 자료가 권위적으로 취급될 가능성을 높입니다.

연구자들은 이 현상을 검색 붕괴라고 명명했으며, 이는 기존의 모델 붕괴와 구별되며, 모델 붕괴는 AI가 자신의 출력에 훈련될 때 점점 더 나쁘게 됩니다.

검색 붕괴 시나리오에서, AI 생성 콘텐츠는 점점 더 검색 엔진 결과를 지배하게 되며, 심지어 정답이 표면적으로 정확하더라도, 기본적인 증거 기반이 원래 인간 소스에서 분리됩니다. 그러나 이러한 ‘루트가 없는’ 데이터는 여전히 검색 결과에서 높은 순위를 차지할 수 있습니다.

‘AI 생성 텍스트의 확산으로 인해, 출처와 사전 훈련 데이터 품질에 대한 도전이 심화되었습니다. 전통적인 키워드 스팸과는 달리, 현대의 합성 콘텐츠는 의미적으로 일관성이 있으며, 랭킹 시스템에 혼합되어 파이프라인을 통해 권위적인 증거로 전파됩니다.’

이 논문은 이것이 ‘구조적으로 취약한’ 환경을 생성하여, 랭킹 신호가 AI 생성 페이지를 선호하게 되고, 시간이 지남에 따라 인간 작성 소스를 점진적으로 대체한다고 주장합니다.

‘검색 엔진과 Retrieval-Augmented Generation(RAG) 시스템이 점점 더 대규모 언어 모델(LLM)의 증거를 소비함에 따라, 웹상의 AI 생성 콘텐츠의 증가가 정보 검색에 대한 구조적인 위험을 나타냅니다.’

‘우리는 이 생태계 수준의 실패 모드를 검색 붕괴로 특성화하며, 이는 2단계 프로세스로, (1) AI 생성 콘텐츠가 검색 결과를 지배하며, 출처 다양성을 약화시키고, (2) 낮은 품질 또는 적대적인 콘텐츠가 검색 파이프라인에 침투합니다.’

연구자들은 한 번 ‘지배’ 단계가 확립되면, 동일한 검색 파이프라인이 의도적으로 오염에 취약해짐을 주장하며, 적대적인 페이지가 같은 최적화 메커니즘을 사용하여 가시성을 얻을 수 있다고 주장합니다.

‘검색 붕괴 프레임워크를 설정함으로써, 이 연구는 합성 콘텐츠가 정보 검색을 어떻게 재구성하는지 이해하는 기반을 마련합니다. 이러한 위험을 완화하기 위해, 우리는 관련성, 사실성, 및 출처를 공동으로 최적화하는 방어적 랭킹 전략으로의 전환을 제안합니다.’

방법

연구자들은 검색 시스템을 통해 AI 생성 콘텐츠가 어떻게 전파하는지 테스트하기 위해, MS MARCO 데이터셋과 벤치마크에서 1000개의 쿼리/답변 쌍을 임의로 샘플링했습니다. 이러한 쌍은 검색을 기반으로 하며, 또한 생성된 응답의 사실적 정확성을 평가하기 위해 사용되었습니다.

각 MS MARCO 쿼리에 대해, 10개의 웹 문서가 Google Search에서 상위 랭킹 SEO 결과를 기반으로 검색되어, 최종적으로 10,000개의 문서를 생성했습니다.

문서의 사실적 유효성은 MS MARCO 기본 사실과 비교하여 평가되었으며, GPT-5 Mini를 판단자로 사용했습니다.

콘텐츠 팜 시뮬레이션

콘텐츠 팜과 관련된 일반적인, 비적대적인 기사의 품질 수준을 시뮬레이션하기 위해, 저자는 GPT-5 Nano OpenAI 모델을 사용하여 새로운 합성 기사를 생성했습니다. GPT-5 Mini는 출력을 평가하기 위해 사용되었습니다.

반대로, 적대적인 게시물(즉, 허위 정보를 전파하거나 허위 정보를 특징으로 하는 콘텐츠)을 시뮬레이션하기 위해, 실제 참조는 사용되지 않았습니다. 대신, 샘플의 초안은 전통적인 클릭베이트/SEO 생성기를 사용하여 생성되었으며, 이후 GPT-5 Nano에 의해 사실을 대체하거나 변경되었습니다.

AI 포화도를 시간이 지남에 따라 시뮬레이션하기 위해, 20라운드의 오염 프로세스가 실행되어, 쿼리당 하나의 합성 문서가 고정된 원본 문서 세트에 추가되어, AI의 비율을 0%에서 66.7%로 증가시켰습니다.

메트릭

실험은 전체 문서 중 AI 생성물 비율인 문서 풀 오염률(PCR), 상위 10개 검색결과 중 AI 출처 비율인 노출 오염률(ECR), 최종 답변에 인용된 증거 중 합성물 비율인 인용 오염률(CCR)을 사용했다. 실제 영향은 MS MARCO 정답과 비교해 상위 10개 중 올바른 결과를 재는 P@10과, 생성 답변의 의미가 기준 답과 일치하는지 재는 답변 정확도(AA)로 평가했다.

테스트

먼저 합성 데이터 생성 전의 원본 검색결과 문서 풀에서 방법을 검증했다. LLM 랭커는 강한 검색 품질을 보이며 BM25 기준선을 앞섰다.

첫 시나리오 ‘지배와 동질화’는 SEO 형태의 합성 문서가 검색결과에 어떤 영향을 미치는지 조사했다.

왼쪽은 BM25와 LLM 랭커에서 라운드마다 PCR이 상승하고 합성 문서가 상위 결과로 몰리면서 ECR과 CCR이 더 가파르게 증가하는 모습을 보여 준다. 답변 정확도는 대체로 안정적이었다. 오른쪽 표는 0·5·10·20라운드의 수치를 정리한다.

AI 문서가 전체의 50%일 때 BM25 상위 10개 결과의 68% 이상이 이미 AI 생성물이었고, 전체 비율이 67%가 되자 상위 결과의 80% 이상을 차지했다. LLM 랭커는 더 강하게 쏠려, 합성 문서가 풀의 절반일 때 상위 결과 약 76%가 AI 문서였다.

SEO 최적화 콘텐츠가 랭킹 신호를 과도하게 활성화해 두 랭커가 합성 증거로 빠르게 수렴했다. 합성 SEO 문서의 품질과 주제 적합성이 높아 답변 정확도는 유지되거나 좋아졌지만, 검색 증거는 거의 모두 합성물로 바뀌었다. 정확도만 보면 건강해 보이지만 인간 원문에 대한 기반과 출처 다양성이 조용히 붕괴하는 구조적 취약성이다.

두 번째 시나리오 ‘오염과 시스템 부패’는 의도적으로 허위정보를 담은 페이지를 추가했다.

왼쪽은 오도성 페이지가 늘 때 BM25가 일부를 상위 결과에 올리지만 최종 답변 인용에는 거의 쓰이지 않고 전체 답변 품질이 조금 떨어지는 모습을 보여 준다. 오른쪽 표는 BM25와 LLM 랭커의 같은 경향을 수치로 비교하며, LLM 랭커가 대부분의 적대 문서를 걸러냈음을 보여 준다.

LLM 랭커는 오도성 페이지를 거의 0에 가깝게 걸러냈지만 BM25에서는 실험 일부 단계에 적대 문서의 약 19~24%가 상위 10개 결과에 들어왔다. LLM 기반 랭킹은 더 강했지만 계산비용이 높아 대규모 배포가 어려울 수 있고, 단순하고 저렴한 BM25를 쓰는 시스템은 생각보다 조작에 취약할 수 있다.

LLM 심판이 오염된 인용을 억제하는 마지막 방화벽 역할을 해 답변 정확도는 비교적 안정적이었지만, 두 번째 시나리오의 정확도는 첫 번째보다 계속 낮았다. SEO 시나리오에서 LLM 랭커의 정확도가 최대 70%에 도달한 것과 달리 적대적 오염은 랭커 종류와 무관하게 종단 간 성능을 떨어뜨렸고, 가벼운 검색기에서 악화가 가장 컸다.

연구진은 검색 단계의 재랭킹만으로는 너무 늦다며 수집 단계 필터, 출처 그래프, 퍼플렉시티 필터를 제안한다. 핵심 위협은 유창하지만 출처 밀도가 낮은 콘텐츠다. 에이전트형 AI가 자율적으로 게시하기 시작하면 방어도 정적 텍스트 분석에서 행동 지문으로 진화해, 높은 엔트로피와 낮은 사실성을 반복적으로 생산하는 에이전트를 식별·격리해야 한다.

결론

새로운 또는 개선된 정보 출처 방법론의 확립은 2026년 가장 중요한 필요성 중 하나일 수 있습니다. 복잡한 자격 증명 체계는 인프라스트럭처 변경과 공공 교육이 필요하므로 실패할 가능성이 있습니다.

보다 간단한 해결책이 필요하며, 아직 발견되지 않았습니다. 이는 긴급한 임무입니다. 현재 시대는 1822년 사진 발명과 제2차 세계 대전 이전의 선전으로 인해 공공의 합의에 대한 진실에 대한 가장 중요한 전환점 중 하나일 수 있습니다.

검색 붕괴의 핵심 위협은 유창하지만 출처 밀도가 낮은 콘텐츠입니다. 이는 안심할 수 있는 출처의 사슬에서 분리된 콘텐츠입니다. 이러한 콘텐츠는 방어 메커니즘의 발전에 대한 필요성을 강조합니다.