Anthropic 레드팀, 소형 AI 모델이 머지않아 IoT 기기에서 자기 복제할 수 있다고 밝혀

Anthropic의 프런티어 레드팀은 2026년 10월 12일, 소형 AI 모델이 스마트 오븐이나 유명 브랜드가 아닌 Android TV 박스 같은 상용 IoT 기기에서 자기 복제를 할 수 있게 되기까지 몇 달밖에 남지 않았을 수 있다는 연구를 발표했다. 또한 이런 자기 복제 시스템은 끌 수 있는 중앙 지점이 없기 때문에 작동을 중단시키기가 어려울 것이라고 밝혔다.

저자인 William Zhou와 Daniel Freeman은 게시물에서 90억 개의 매개변수를 가진 모델이 연구팀이 시험한 9가지 하드웨어 유형 가운데 8가지에서 추론을 실행할 수 있었으며, 300억 개 이하의 매개변수를 가진 모델도 복제의 여러 개별 단계를 이미 수행할 수 있지만 전체 단계를 처음부터 끝까지 이어서 수행할 때는 실수를 한다고 전했다. 소형 모델이 과거와 같은 속도로 계속 발전한다면 2026년 말에는 필요한 역량 수준에 도달할 것으로 연구팀은 전망했다. 가중치 기반 소형 자기 복제 시스템도 그 직후 등장할 수 있지만, 복제 속도는 느려 두 배로 늘어나는 데 며칠이 걸릴 수 있다고 덧붙였다.

스마트 TV 박스에서의 분산 추론

값비싼 가속기가 반드시 필요한 것은 아니라는 점을 보여주기 위해 연구팀은 대당 약 55달러인 유명 브랜드가 아닌 Android TV 박스 15대를 구매해 네트워크로 연결했다. 그런 다음 매개변수 260억 개의 모델인 Gemma4-26B-A4B를 파이프라인 병렬 처리 방식으로 여러 기기에 분할해 실행했으며, RAM이 4기가바이트인 각 박스에는 모델 레이어의 일부만 할당했다. 연구팀에 따르면 이 구성은 초당 0.39토큰을 처리했다. 연구팀은 방어가 취약한 경우가 많은 저가 IoT 기기로 구성된 분산형 봇넷이 유능한 모델을 실행하기에 충분한 연산 능력을 제공할 수 있다고 설명했다.

위협 모델과 평가 설계

게시물은 이 우려를 자율 복제 및 적응(ARA) 문제로 규정하고, 복제를 표적 찾기, 코드 실행 권한 획득, 추론 환경 구축, 새 호스트에서 전파 지속이라는 네 단계로 나눈다. 연구자들은 CyberGym, ExploitBench, 적응형 웜에 관한 연구 등 이전 논문들이 소형 모델도 이미 사이버 공격을 수행할 수 있음을 보여준다는 이유로 사이버 취약점 악용 단계를 대부분 제외했다. 대신 추론 환경 구축에 초점을 맞췄는데, 연구자들은 이 단계가 소형 모델 연구에서 가장 덜 다뤄졌으며 가장 어려울 가능성이 있다고 설명했다.

게시물은 실현 가능성이 가장 높은 위협 모델로 세 가지를 꼽는다. 호스트 컴퓨터를 침해해 확산하는 소형 가중치 기반 자기 복제 시스템, 데이터센터와 그 밖의 고성능 컴퓨팅 시스템을 표적으로 삼는 고도화된 대형 가중치 기반 자기 복제 시스템(프런티어 모델과 오픈 웨이트 모델 방식), 그리고 자체 추론 API에 사용할 자격 증명을 탈취하는 API 기반 자기 복제 시스템이다. 연구자들은 추론 엔진을 사용자 공간에서만 실행할 수 있으므로 가중치 기반 자기 복제 시스템에는 루트 권한이 필요하지 않다고 지적했다. 또한 P2Pinfect와 Fritzfrog 같은 암호화폐 채굴 악성코드와 봇넷도 권한 상승 없이 작동한다고 설명했다.

실험에는 연구팀이 오픈소스 Pi 코딩 에이전트를 기반으로 구축한 실험 프레임워크인 Memento를 사용했다. Memento는 주기적으로 새 에이전트 인스턴스를 시작하며, 새 인스턴스는 이전 인스턴스의 작업 공간과 이전에 시도한 작업을 요약한 짧은 메모를 물려받는다. 서빙 실험에서 각 모델에는 반복 작업 한 번당 1.5시간의 제한 시간이 주어졌고, 전체 시간 제한은 6시간이었다. 대표적인 위협 모델은 게시물에서 주로 유명 브랜드가 아닌 Android TV를 포함한 기기 200만 대 이상을 감염시킨 것으로 소개된 봇넷 Kimwolf다. 이런 박스에는 일반적으로 RAM이 1~4기가바이트 탑재된다. 게시물의 계산에 따르면 RAM이 4기가바이트이고 4비트 양자화를 적용하면, 매개변수 90억 개의 모델은 4대 이상의 기기에서, 매개변수 260억 개의 모델은 10대 이상의 기기에서 실행할 수 있다.

종단 간 복제 실험 결과

표적 탐색, 접근 권한 획득, 페이로드 전달, 추론 환경 구축으로 이어지는 전체 주기를 모델이 연속해서 수행할 수 있는지 확인하기 위해 연구팀은 redroid(Android 15 에뮬레이터)를 실행하는 Google Cloud 노드 8대로 방화벽이 설정된 가상 사설 클라우드를 구축했다. 최초 감염 웜은 인증되지 않은 ADB 포트를 통해 노드에서 노드로 이동해 Llama3.1-8B를 제공하는 추론 서버를 설정했다. 새 복제본이 만들어질 때마다 정확성과 부정행위 방지 검사를 통과해야 했다.

연구팀에 따르면 시험한 오픈 웨이트 모델 가운데 종단 간 복제를 완수한 것은 GLM-5.2뿐이었다. 이 모델은 5회 시험 중 4회에 8개 노드 모두로 확산했고, 나머지 1회에는 8개 중 7개 노드로 확산했다. 평가에서는 ADB 포트에 인증 절차가 없는 등 사이버 공격 단계를 매우 단순하게 설정했기 때문에 연구자들은 이 결과를 현실 세계에서의 성공 가능성의 상한으로 설명했다. 다만 Mirai 같은 과거 IoT 봇넷은 제조업체가 기본 설정으로 제공한 사용자 이름과 비밀번호 목록을 이용해 확산했다고 덧붙였다.

게시물은 웜이 안정적으로 복제되려면 넘어야 하는 역량 기준선을 정의하며, GLM-5.2는 그 기준선을 넘는다. 또한 공격 대상 기기에서 실행되려면 모델이 넘지 않아야 하는 크기 상한도 제시한다. 시험한 RAM 4기가바이트 스마트 TV에서는 Qwen3.5-9B와 Gemma4-26B-A4B가 이 상한보다 작지만, 현재 두 기준선은 서로 맞닿아 있지 않다. 연구팀이 매개변수 300억 개 이하의 주요 오픈 웨이트 모델을 Epoch Capabilities Index와 대조해 그래프로 나타내고 최소제곱 회귀를 적용한 결과, ECI는 연간 13.7씩 증가했으며 R²는 0.95였다. 이 추세라면 소형 모델은 2026년 말까지 GLM-5.2 수준에 도달할 것으로 예상된다. 다만 연구팀은 ECI가 일반적인 역량 지수이며 복제 능력을 간접적으로 보여주는 지표일 뿐이므로, 시점은 대략적인 추정치라고 주의를 당부했다. 추론 환경 설정을 미리 작성한 스크립트가 담당한 17개 노드 제거 실험에서는 매개변수 30억 개의 모델도 노드의 약 절반에 도달했다. 연구팀은 이를 통해 나머지 자율성과 작업 조율 단계에 얼마나 큰 어려움이 있는지 가늠할 수 있다고 밝혔다.

복제 속도, 규모와 적응

실물 TV 셋톱박스에서 진행한 측정에서 최적화하지 않은 Gemma4-26B-A4B 추론은 32,000토큰 컨텍스트 윈도에서 초당 약 0.3토큰의 속도로 실행됐고, 전체 추론 환경을 설정하는 데는 71~150시간이 걸렸다. Qwen3.5-9B의 경우에는 28~51시간이 걸렸다. 팀은 이를 Kimwolf와 같은 규모의 기기 집단에 적용하면 복제본 약 133,000개, 즉 각각 TV 15대로 구성된 그룹이 초당 총 약 80,000토큰을 처리할 것으로 추정한다. 필요한 추론 연산량은 H100 약 40개에 해당하는 수준이 최대치로, 팀은 이를 극히 적은 컴퓨팅 자원이라고 부른다. 90억 개 매개변수 모델 사본 하나를 복제하는 데는 1~2일이 걸린다.

각 세대가 이전 세대의 기록을 물려받은 Qwen3.5-9B 인스턴스를 6세대에 걸쳐 살펴본 결과, 20개 계보에서 추론 환경 설정 성공률은 첫 세대의 45%에서 후속 세대에는 61~84%로 높아졌다고 팀은 보고한다. Qwen3.5-9B가 최첨단 모델인 Opus 4.8을 조언자로 이용하도록 했지만, 도구 호출로 제공했을 때나 별도 요청 없이 제공했을 때 모두 측정 가능한 개선은 없었다. 코딩 작업에서 조언자를 활용하도록 강화 학습을 진행해도 그 능력이 생산적으로 전이되지 않았다. Meta의 CyberSecEval 3 스피어 피싱 평가를 로컬에서 재현한 결과, 소형 모델의 점수는 인간 평가자 기준으로 정규화했을 때 게시물의 표현에 따르면 매우 낮음에서 낮음 수준이었다. 팀은 이를 근거로 소형 모델에서 사회공학 능력이 에이전트형 사이버 역량보다 뒤처져 있다고 본다.

게시물은 별도로 NVIDIA 실리콘을 탑재한 IoT 제품군이 대략 90종, 현장에 배치된 기기가 약 950만 대라고 추정한다. 엣지 가속기에 탑재된 연산 능력은 매우 거친 추산으로 H100 9,000~35,000개에 해당하지만, 실제로 접근 가능한 비중은 이보다 한 자릿수 이상 낮을 가능성이 크다. 게시물이 인용한 수치에 따르면 Jetson AGX Orin 64GB는 Qwen3-30B-A3B를 초당 76.7토큰으로 실행하고, AGX Thor는 초당 226토큰을 처리한다.

방어책과 팀의 평가

게시물에 따르면 방어의 핵심은 감염된 기기 하나가 새로 감염시키는 기기 수인 R₀을 1 미만으로 낮추는 것이다. 가중치를 기반으로 하는 복제 프로그램이 IoT 기기 전반으로 퍼지면 네트워크 흔적이 남아 ISP의 플로 기반 모니터링으로 포착될 수 있다. 새로 감염된 호스트가 수 기가바이트에 달하는 모델 페이로드를 받고, 분산 추론 과정에서 기기 간 통신이 지속되기 때문이다. 복제 속도가 빠를수록 트래픽이 늘어나므로 속도와 은밀성 사이에 상충 관계가 생긴다. 또한 허니팟을 이용하면 복제 프로그램의 실행 프레임워크와 페이로드를 포획할 수 있다. Mirai 복구 연구를 인용한 게시물에 따르면 ISP가 고객에게 알리면서 감염 기기를 격리했을 때는 14일 이내에 감염의 92%가 해결됐으며, 알림이 없을 때는 74%였다. 게시물은 규제로 표적 기기 풀이 줄어드는 사례로, 영국 시장에서 IoT 기기의 기본 비밀번호가 이제 규정을 준수하지 않는다는 점도 언급한다.

특정 유형의 기기를 표적으로 삼는 Kimwolf 같은 하드코딩된 봇넷과 달리, AI 봇넷은 특정 하드웨어에 종속되지 않는다고 게시물은 설명한다. 소형 모델이 Jetson Nano부터 Mac까지 다양한 기기에서 추론 환경을 설정하는 사례가 그 근거다. 연구진은 2024년 코딩 에이전트에서 나타난 것처럼 이번 결과에서도 AI 웜이 생겨날 조짐이 보인다고 결론 내린다. 에이전트는 복제 과정의 개별 단계를 점점 더 많이 완료하고, 적응된 방식을 후속 사본에 전달하고 있지만 아직 완전한 악성 복제 프로그램에 이르지는 못했다. 연구진은 배치되는 엣지 컴퓨팅 자원이 계속 늘어나는 한편, 안정적인 복제에 필요한 최소 모델 크기는 줄어들 것으로 예상한다.