‘AI 쓰레기’ 의혹이 새로운 형태의 게이트키핑으로 부상하고 있다

‘AI 쓰레기’라고 불리는 것은 인터넷의 새로운 마녀 사냥이 되고 있다. Reddit와 Hacker News 사용자들은 동료 댓글 작성자를 로봇이라고 비난하는 경우가 증가하고 있다. 이는 댓글이 AI로 생성되었다는 증거가 없더라도如此이다.

노르웨이와 UAE의 새로운 연구에 따르면, 2023년과 2026년 사이에 Reddit와 Hacker News에서 의혹된 ‘AI 쓰레기’에 대한 비난이 급격히 증가했다. 이는 댓글이 AI로 생성되었다는 증거가 없더라도如此이다.

연구자들은 2,500만 개의 댓글을 분석한 결과, 이러한 비난이 AI를 식별하는 방법으로 작용하는 것이 아니라, 사회적 게이트키핑의 형태로 작용하는 것으로 나타났다.

연구자들은 또한 기술적으로 지향된 커뮤니티가 다른 그룹보다 먼저 ‘비난 문화’를 채택했으며, 이 패턴은 나중에 Reddit의 더 넓은 영역으로 퍼졌다.

‘AI 쓰레기’에 대한 비난의 증가趨勢는 온라인에서 적대적인 태도의 일반적인 증가와 관련이 없다는 것으로 나타났다. 이전의 비난 형태인 ‘shill’, ‘sockpuppet’, ‘troll’은 같은 기간 동안 상대적으로 안정적인 것으로 나타났다. 이는 AI에 대한 의심이 이전의 인터넷 분쟁의 연장이나 확장으로 작용하는 것이 아니라, 새로운 형태의 사회적 경계 설정으로 작용하는 것으로 보인다.

연구는 다음과 같이 말한다:

‘우리는 2023년부터 2026년까지 Hacker News와 Reddit에서 2,500만 개의 댓글을 분석했다. 우리는 7,500개의 샘플된 AI 사용 의혹에 대한 LLM 판단, 감정 궤적, 300개의 확인된 AI 사용 의혹에 대한 언어 구문 코딩, 그리고 비난된 댓글과 비난되지 않은 댓글에 대한 일치된 통제 테스트를 수행했다.

‘우리는 비난의 비율이 두 플랫폼 모두에서 10배 이상 증가했다는 것을 발견했다. 그러나 2022년 이전의 불신형 용어(‘shill’, ‘astroturf’)는 그렇지 않았다.

‘이 변화는 의심스럽거나 불쑤한 문장을 ‘AI 쓰레기’라고 불리는 빠르게 성장하는 추세를 반영한다.

‘쓰레기 프레임은 현재 94%의 비난을 구성하며, 주도적인 댓글은嘲笑에서 게이트키핑과 구조적 반대로의 톤으로 변했다.’

연구는 사람들이 실제로 AI 글을 식별할 수 있는지에 대한 더 넓은 질문을 제기한다. 유창한 문장은 이전에 노력, 전문지식, 또는 진정한 참여의 증거로 간주되었지만, 이제는 풍부하고 점점 더 평가절하되는 상품이 되었다.

새로운 연구는 주로 Hacker News를 중점으로 하고 있다. Hacker News는 AI 생성 댓글에 대해 엄격하게 관리되는 플랫폼이다. 또한 Reddit도 연구의 대상이다. Reddit는 인간 기반의 담론이 풍부하게 존재하는 플랫폼으로, AI 개발자와 회사들에게 높은 가치를 가진다. 또한 SEO 스팸머들이 LLM 기반의 웹 랭킹을 침투하기 위한 새로운 주요 표적이 되고 있다.

연구자들은 그들의 발견이 AI의 사용이 증가함에 따라 이전의 진실의 근원들이 평가절하될 수 있다는 점에 대한 점점 더 많은 공공의 이해와 일치한다고 믿는다. 새로운 논문은 실제 사람들을 AI 엔티티로 비난하는 경우를 논의한다. 이는 실제 오류, 스타일적 혼동, 또는 악의적인 의도에 의한 경우이다. 그러나 다른 유형의 의사소통도 유사한 방식으로 평가절하될 수 있을 것으로 예측한다.

‘우리의 결과는 이미지 인증, 음성 인증, 코드 저작권 등 다른 영역에서도 유사한 AI 사용 의혹이 형성될 것으로 예측한다. 이러한 의혹의 핵심적인 의도는 경험적으로 정확한 AI 사용의 감지보다는 게이트키핑이다.

‘이것은 점점 더 문제가 될 것이다. 왜냐하면 AI가 이러한 영역에서 경험적으로 감지할 수 있는 힌트를 감소시키기 때문이다.

‘이것은 AI와 비-AI 콘텐츠를 검증하는 전문가의 역할을 증가시키거나, AI로 생성될 수 있는 모든 유형의 미디어에 대한 신뢰를 크게 감소시킬 수 있다.’

새로운 논문은 “That’s AI Slop, You Bot!” Studying Accusations, Evidence, and Credibility in Online Discourse Towards LLM-Generated Comments라는 제목으로, 오슬로 대학교와 아메리칸 대학교의 두 명의 연구자에 의해 수행되었다.

방법

새로운 연구를 위해 개발된 데이터셋은 2023년 1월부터 2026년 5월까지 Hacker News와 18개의 선택된 Reddit 커뮤니티에 게시된 모든 공공 댓글을 포함했다.

약 2,500만 개의 댓글이 수집되었으며, 그 중 1,200만 개는 Hacker News에서, 1,300만 개는 Reddit에서 수집되었다. Reddit 데이터는 Arctic Shift 아카이브의 공공 JSON API를 통해 수집되었으며, Hacker News 댓글은 Algolia Hacker News 검색 아카이브에서 수집되었다.

단일 유형의 커뮤니티에만 집중하지 않기 위해, Reddit 샘플은 AI에 중점을 둔 포럼을 포함하여 여러 커뮤니티로 나누어졌다. 이러한 포럼에는 r/aiwars, r/ArtistHate, r/ChatGPT, r/OpenAI, r/MachineLearning, r/LocalLLaMA, r/singularity가 포함되었다. 또한 창의적인 커뮤니티인 r/Art, r/writing, r/books, 일반적인 관심 분야인 r/AskReddit, r/news, r/changemyview, r/explainlikeimfive, r/AskHistorians, r/science, 기술 지향 커뮤니티인 r/programming, r/AskAcademia가 포함되었다.

시간에 따른 샘플링 속도는 일관성을 유지하여, 비난의 변화가 데이터 수집의 변화보다는 커뮤니티의 행동의 변화에 반영되도록 하였다.

AI 비난의 5단계

후보 댓글은 137개의 패턴 검색 렉슨을 사용하여 5개의 이름이 있는 계층으로 식별되었다. 1단계(Direct)는 명시적인 비난을 포함하며, 예를 들어 ‘ChatGPT가 이 것을 작성했다’, ‘이것은 AI로 생성된 것인가?’, ‘OP는 봇이다’ 등이 있다.

2단계(Pejorative)는 ‘AI 쓰레기’, ‘GPT 쓰레기’, ‘ML 쓰레기’, ‘로보 라이팅’과 같은 레이블을 포함한다. 3단계(Style)는 스타일적 힌트를 다루며, 예를 들어 em-dash, delve, tricolon, ‘클래식 AI 서명’과 같은 용어를 포함한다.

4단계(Mocking)는 패러디와 모방을 포함하며, 예를 들어 ‘동료 인간들’, ‘빨리 발전하는 풍경’, ‘풍부한 태피스트리’와 같은 구절을 포함한다. 5단계(Indirect)는 암시적인 의심을 특징으로 하며, 예를 들어 ‘AI처럼聞こえる’, ‘ChatGPT처럼 읽힌다’, ‘AI의 불쑤한 谷’과 같은 구절을 포함한다.

거짓 양성을 줄이기 위해, ‘worth noting’, ‘it’s important to note’, ‘is this a human’과 같은 일반적인 구절은 AI 관련 용어가 근처에 나타날 때만 계산되었다. 이러한 검색 패턴은 비난과 普通의 토론을 신뢰성 있게 구별할 수 없기 때문에, 두 번의 검증 패스를 수행하였다.

Reddit 샘플 5,000개와 Hacker News 샘플 2,500개를候補 풀에서 추출하여, 시간 기간과 비난 카테고리를 균형 있게 유지하였다.

각 댓글은 5개의 결과 그룹 중 하나로 분류되었다. Real은 실제 AI 사용의 비난을 포함하며, Disclosure는 AI 저작권을 인정하는 댓글을 포함한다. Neutral-Ref는 비난이 아닌 AI 참조를 포함하며, FP는 거짓 양성을 포함하며, Ambiguous는 확신할 수 없는 경우를 포함한다.

연구자들은 또한 비난이 시간에 따라 어떻게 변경되는지 조사하였다. 이는 새로운 ‘AI 쓰레기’ 프레임이 이전의 비난과 비교하여 어떻게 변하는지 추적하는 것을 포함한다.

추세의 경계

감정 경향은 VADER를 사용하여 측정되었다. 또한 300개의 Reddit 스레드에 대한 언어 구문 코딩을 수행하였다. 이는 LLM 검증된 실제 비난을 포함하는 스레드였다. 이러한 비난은 Sneer, Dismiss, Mockery, Gatekeep, Structural Protest와 같은 사회적 역할을 수행하는 것으로 분류되었다.

별도의 ‘플레이스보’ 테스트를 설계하여, AI 비난의 증가가 단순히 온라인에서 의심의 증가를 반영하는지 여부를 결정하였다. 이는 동일한 데이터셋에서 이전의 불신형 용어를 검색하는 것을 포함한다.

커뮤니티 간에 변이가 관찰되었다. 초기 성장은 AI에 중점을 둔 포럼과 기술 지향 커뮤니티에서 기록되었으며, 이후 다른 Reddit와 Hacker News의 부분에서도 유사한 패턴이 나타났다.

비난의 빈도뿐만 아니라 분류에서도 변경이 관찰되었다. 300개의 검증된 Reddit 비난에 대한 코딩은 Sneer, Dismiss, Mockery, Gatekeep, Structural Protest의 상대적 빈도에서 변화가 있음을 보여주었다. 연구에 따르면, Gatekeep과 Structural Protest는 시간이 지남에 따라 더 흔해졌으며, Sneer와 Mockery는 덜 흔해졌다.

결과

연구는 Reddit와 Hacker News에서 2023년과 2026년 사이에 AI 비난이 크게 증가했다는 것을 기록했다. 대부분의 성장은 비난 레이블의 사용에서 집중되었다.

2023년 1월부터 2026년 5월까지 Reddit와 Hacker News에서 비난 레이블의 증가

2026년까지, ‘AI 쓰레기’는 데이터셋에서 식별된 AI 비난의 94%를 차지했다. 이는 이전의 용어인 ‘GPT 쓰레기’, ‘ML 쓰레기’, ‘로보 라이팅’을 대체했다.

별도의 비교를 수행하여, 이전의 불신형 용어를 사용하여, AI 비난의 증가가 단순히 온라인에서 의심의 증가를 반영하는지 여부를 결정하였다. 그러나 이러한 용어는 증가하지 않았다.

커뮤니티 간에 변이가 관찰되었다. 초기 성장은 AI에 중점을 둔 포럼과 기술 지향 커뮤니티에서 기록되었으며, 이후 다른 Reddit와 Hacker News의 부분에서도 유사한 패턴이 나타났다.

변화는 비난의 빈도뿐만 아니라 분류에서도 관찰되었다. 300개의 검증된 Reddit 비난에 대한 코딩은 Sneer, Dismiss, Mockery, Gatekeep, Structural Protest의 상대적 빈도에서 변화가 있음을 보여주었다. 연구에 따르면, Gatekeep과 Structural Protest는 시간이 지남에 따라 더 흔해졌으며, Sneer와 Mockery는 덜 흔해졌다.

결론

댓글 섹션에서 나타나는 AI 비난의 역병은明显하게 새로운 형태의 게이트키핑이 필요하다. 이는 최근 몇 년간의 사회적 및 정치적 논평에서 나타난 사건과 추세를 기반으로 한다. AI 봇이 다른 댓글 작성자를 봇이라고 비난하는 것이 가장 가능성이 높은 경우가 될 수도 있다. 그러나 이것은 문제에 대한 모든 논평을 억제할 수 있다.

* 이 논문은 친절하게 읽히지 않는다. 또한 저자의 학술 동료를 대상으로 하는 것으로, тон과 어휘에서 그러하다.

처음으로 2026년 6월 12일에 게시되었다.