주거용 프록시, AI 전쟁의 다음 전선

AI의 지식 기반이 정체되거나 오염되는 것을 막으려면 최첨단 AI 모델이 인터넷에서 방대한 양의 최신 데이터를 계속 수집해야 합니다.

이 점에서 주요 AI 제공업체와 그들의 열성적인 경쟁사들은 현재 두 가지 장애물에 부딪히고 있습니다. a) 출판사, 소셜 네트워크, 플랫폼 등 새로운 데이터의 출처들이 이 접근권이 얼마나 가치 있는지 이제 깨닫고 이를 수익화하려 한다는 점, 그리고/또는 b) ‘지식 격차’를 메우려는 끊임없는 AI 스크레이퍼 봇이 도메인에 엄청난 부담을 가하고 있어, 이러한 남용에 대한 반발이 상당히 극단적으로 변하고 있다는 점입니다.

제공업체의 관점에서 후자의 문제를 해결할 수 있는 한 가지 방법은 사용자가 그 귀중한 데이터에 접근하기 전에 해당 도메인에 등록하고 로그인하도록 요구하는 것입니다. 이렇게 하면 요청량을 IP 주소가 아니라 인증된 사용자에 따라 평가할 수 있습니다(아래의 ‘IP가 당신을 본다’ 참조).

물론 우연히도 이 시나리오는 데이터 브로커가 꿈꾸는 상황입니다. 사람들이 익명성을 포기하도록 만들기 때문입니다.

이는 영국에 있는 사용자가 ‘성인용’ 등급 사이트에 접근하려면 제3자 플랫폼을 통해 신원을 밝히고 인증하도록 요구한 영국 정부의 2026년 법률에 대한 근본적인 반대 이유 중 하나였습니다.

많은 사람은 그 결과가 아동을 NSFW 콘텐츠로부터 보호한다는 법의 공언된 목적이 아니라, 이전에 익명이었던 사용자에게 중국 공산당식 ‘위축 효과’를 일으키고 영국에서 암묵적 온라인 인증 의무화를 시작한 것이라고 판단했습니다.

따라서 로그인이 표준이거나 의무인 세상에서는 국가가 운영상 또는 수사상 데이터를 얻고, 온라인에서 조금 더 신중하게 행동하는 국민도 얻게 됩니다. 광고업체와 데이터 수익화 사업자들은 마침내 수십 년간 벌여 온, 사용자를 영구 식별자와 연결하는 싸움에서 벗어나 그 사용자의 데이터를 타기팅, 통계 모델 포함 등 여러 방식으로 활용할 수 있습니다.

IP가 당신을 본다

재방문 사용자를 IP 주소 이외의 수단으로 식별하는 방법에는 다양한 형태의 브라우저 핑거프린팅을 비롯한 여러 접근법이 있습니다.

하지만 IP 주소 없이는 연결이나 접근이 전혀 이루어지지 않으므로, 사용자의 개인정보나 신원을 보호하려는 브라우저 업데이트 또는 다른 소프트웨어 기반 방법으로 쉽게 해결할 수 없습니다. 따라서 IP 주소는 사용자 접근을 통제하고 감시하는 ‘저렴한’ 해결책으로서 어느 정도의 신뢰성을 유지합니다.

IPV4 주소 풀은 이미 오래전에 고갈됐고, 그 대체 기술은 널리 보급되는 데 어려움을 겪고 있기 때문에 대체 IP는 귀한 자원입니다. 이에 VPN 제공업체는 사용자가 IP 주소를 자주 바꾸도록 허용하지 않는 경우가 많습니다.

대부분의 경우 가정용 VPN 사용자는 자신이 어느 국가에서 접속하는 것처럼 보일지 선택한 뒤 상당히 오래된 IP 주소를 받습니다. 이 주소는 외국 사용자를 차단하거나 다른 목적으로 포털이 사용하는 여러 차단 목록에 거의 틀림없이 등록되어 있습니다.

영국의 연령 확인 제도에 사용되는 제3자 신원 제공 플랫폼 Yoti는 다음과 같이 설명합니다.

“[많은] 주요 온라인 플랫폼은 이미 알려진 VPN 트래픽을 차단합니다. BBC iPlayer, Netflix 등의 서비스는 널리 사용되거나 의심스러운 VPN IP 주소의 접근을 탐지하고 방지하기 위해 확립된 기술을 사용합니다.

“여기에는 최신 차단 목록을 유지하고 알려진 IP 풀에서 발생하는 대량 트래픽을 감시하는 일이 포함됩니다. 일부 VPN 제공업체가 더 고도화되거나 탐지하기 어려운 서비스를 내놓더라도 그런 서비스는 비싼 편이어서, 특히 아동과 청소년에게 추가적인 불편과 금전적 억제 요인이 됩니다.”

그 ‘비용’과 관련해 말하자면, 일반 VPN 구독보다 훨씬 많은 돈을 지불할 의향이 있다면 주거용 프록시는 이러한 장애물 거의 전부를 우회합니다. 적어도 지금은 그렇습니다.

주거용 프록시는 여러분이나 저와 같은 가정용 광대역 사용자의 IP 주소입니다. 이 사용자는 ‘안전해 보이는’ 위치를 상업 회사에 판매해 그 회사의 고객이 차단 목록을 피하려고 해당 IP를 함께 이용하도록 하거나, 가전제품 앱에 함께 들어왔기 때문에 보상 없이 자신도 모르게 서비스를 제공하거나, 기기가 해킹되어 봇넷에 편입됐기 때문에 서비스를 제공할 수 있습니다.

주거용 프록시를 사용하면 모든 트래픽이 국내 소비자용 IP 주소를 통해 라우팅되므로 차단과 개입이 발생할 가능성이 줄어듭니다.

대부분의 주거용 프록시 ‘호스트’는 여러 앱을 통해 접근권을 판매하며, 현재는 오래된 Honeygain이 선두입니다. 수익은 트래픽 1GB당 평균 0.10~0.80달러입니다.

어떤 경우든 주거용 프록시 계정에서 한 IP 임차인이 자신이 겨냥한 제공업체로부터 IP 차단을 당하면 새로운 IP로 전환할 수 있습니다. 새 IP에는 이전 임차인들이 남긴 여러 과거 문제가 있을 수 있지만 그 사용자의 특정 문제는 없습니다.

다시 말해, 해당 IP 주소에서 이전에 이루어진 행동 때문에 Reddit이나 다른 소셜 네트워크 또는 여러 제공업체가 그 주소를 차단했을 수 있습니다. 하지만 새 임차인의 표적이 이런 차단 주체에 포함되지 않았다면 그 표적을 상대로 새로 시작할 수 있습니다. 포함되어 있다면 사용자는 다른 주거용 IP를 시도하면 됩니다.

호스트의 경우, 필연적으로 갈수록 더 오염되는 자신의 IP 주소도 연결을 잠시 끊으면 갱신할 수 있는 경우가 많고, 대부분은 일정 간격으로 자동 교체됩니다. 또한 단일 IP 주소를 영구적으로 블랙리스트에 올리는 비용과 잠재적 결과 때문에 이러한 차단 대부분은 결국 해제됩니다.

연령 확인의 시대

연령 제한은 영국에서 이미 일상이 되었고, EU와 호주에서도 곧 시행될 예정이며, 미국 각지에서는 간헐적으로 등장하고 있습니다. 국가 차원의 온라인 연령 제한을 피하는 주요 수단인 VPN 사용은 이미 법률, 국가 감독, 심지어 금지의 표적이 되기 시작했습니다. 중국과 러시아 연방 같은 국가에서는 이미 그런 상황입니다.

2년 전만 해도 우리 대부분은 VPN이 존재한다는 사실을 몰랐거나 관심이 없었을 것입니다. 회사 IT 부서가 기업 네트워크에 안전하게 접속하도록 노트북에 설치해 둔 경우는 예외일 수 있습니다. 이제는 적어도 영국, EU, 호주에서 대중의 인지도가 훨씬 높은 기술이 되었습니다.

향후 12개월 동안 드러나 법률, 위원회, 감독의 표적이 될 가능성이 큰 다음 ‘공공연한 비밀’은 주거용 프록시입니다.

성장하는 웹 스크레이핑 서비스 시장은 일반적으로 주거용 프록시 접근을 ‘프리미엄’ 서비스로 제공합니다. Bright Data는 대역폭 798GB의 주거용 프록시 패키지를 놀라운 월 2,000달러에 제공합니다. FireCrawl은 1GB당 8~15달러, Apify는 약 8달러를 받습니다.

다른 주요 제공업체 다수는 요금을 불투명하게 처리하고 사용자에게 ‘영업팀에 문의’하라고 안내합니다. 사실 광고되는 모든 저가 요금제가 그 상담에서 더 비싼 서비스를 판매하기 위한 예고편일 뿐이라고 주장할 수도 있습니다. 데이터에 굶주린 AI 기업들이 문제 해결에 투입할 ‘인생을 바꿀 만큼’ 큰돈을 갖고 있기 때문입니다.

레이더 위로..?

주거용 프록시는 현재 불법 활동과는 거리가 멀지만, 익명성을 돕는 모든 기술처럼 사이버 범죄자들이 선호하는 도구로 비판받기 시작했으며, 특히 일본에서 그렇습니다.

주거용 프록시에 대한 위협은 이를 갈수록 많이 사용하는 AI 기업에 잠재적인 영향을 줄 수 있습니다. 사이버 보안 기업 Infoblox가 2026년 6월 발표한 최근 보고서는 AI가 주거용 프록시 수요의 주요 동인이 되었다고 봅니다.

Infoblox는 고객 기반 전체의 DNS 트래픽을 분석한 결과, 주거용 프록시 도메인에 대한 월간 쿼리가 2025년 1월 약 4,000억 건에서 2026년 4월 5,000억 건 이상으로 늘어 약 25% 증가했다고 밝혔습니다.

2026년 동안 주거용 프록시 관련 전체 트래픽 지점 수의 급증. 출처

당시 회사는 이렇게 말했습니다.

“여기에는 여러 설명이 있을 수 있습니다. 웹사이트 스크레이핑이 필요한 경우가 많은 AI 관련 학습의 증가는 분명 주거용 프록시 수요의 주요 동인입니다. 주거용 프록시는 트래픽이 실제 사람의 기기에서 나오는 것처럼 보이기 때문에 여러 스크레이핑 방지 조치를 우회합니다.”

이는 연령 제한 법률이 등장했을 때 VPN에 대한 관심이 과거 급증했던 것과 비슷한 상승세이며, 이 관행을 ‘기업 기술 괴짜’의 영역에서 잠재적인 대중의 관심 영역으로 끌어내기 시작하고 있습니다.

Cloudflare는 새로운 세대의 AI 중심 웹 스크레이퍼를 ‘주변과 섞이도록 설계됐다’고 표현하면서, “주거용 프록시를 통해 IP 주소를 바꾸고, 인간과 유사한 사용자 에이전트를 생성하며, 그럴듯한 탐색 패턴을 모방할 수 있다”고 말합니다. 또한 이 기간 전체 AI 봇 활동의 80%가 학습 데이터 획득을 위한 크롤링이라고 보고합니다.

Include Security가 2026년 6월 내놓은 보고서는 스크레이핑 거대 기업 Bright Data가 인증 없는 공개 엔드포인트를 여러 소비자 기기에 통합해 앱 설치를 통해 주거용 프록시 서비스를 제공한 규모를 밝혔습니다. Bright Data는 현재 195개국에서 4억 개 이상의 IP를 이용할 수 있다고 홍보합니다. 즉, 제3자 개발자들이 앱으로 수익을 내기 위해 Bright Data를 앱에 포함한 것입니다.

그리고 2025년 10월 KrebsOnSecurity는 ‘기록을 경신한 분산 서비스 거부(DDoS)’ 봇넷 Aisuru가 기존 DDoS에서 주거용 프록시로 전술을 바꿨다고 보도했습니다.

“Aisuru와 다른 출처에서 나온 [대량의] 프록시가 다양한 인공지능(AI) 프로젝트와 관련된 대규모 데이터 수집 활동을 부추기고 있으며, 콘텐츠 스크레이퍼가 일반 인터넷 사용자처럼 보이는 주거용 연결을 통해 트래픽을 라우팅함으로써 탐지를 피하도록 돕고 있다.”  

사기와 기타 사이버 범죄 활동이 주거용 프록시 사용과 갈수록 더 많이 연결되고 있으므로, 이것이 결국 서비스를 시장에서 퇴출시키는 요인이 될 수 있습니다. 서비스 상당 부분이 대형 앱 플랫폼을 통해 배포되는 앱과 SDK로 제공되기 때문에, iOS 같은 호스팅 플랫폼에 앱을 금지하거나 주거용 프록시 호스팅을 제공 서비스에서 제외하도록 수정하라고 요구한다면 이 서비스 종류의 공급이 크게 약화될 것입니다.

독립 포털과 앱까지 겨냥하면 주거용 프록시 환경 전체가 최소한의 범위로 축소되고 가격도 상당히 오를 수 있습니다.

문제는 미국처럼 AI를 매우 강하게 지지하는 국가가, 중국 스크레이퍼에는 거의 확실히 영향을 주지 않는 방식으로 AI 기업의 접근을 차단할 의향이 있느냐는 것입니다. 중국 스크레이퍼는 법률 지침보다 국가의 필요에 따라 움직일 것으로 추정됩니다. 적어도 미국의 현재 분위기는 그렇지 않음을 시사합니다.

결론

주거용 프록시는 본질적으로 아직 실제로 작동하는 VPN입니다. 제공되는 유연한 IP 주소가 블랙리스트에 오르지 않았고 오래되지 않았기 때문입니다. AI 웹 스크레이퍼에 대한 방어가 더 널리 퍼지고 정교해지면서 AI 기업이 주거용 프록시 사용에 의존하고 있다는 주목할 만한 증거도 있습니다.

단일 도메인에 분당 최대 39,000건의 요청을 보내고, 책의 내용을 흡수한 뒤 그 책을 태우는 일까지 포함하는 AI 기반 웹 스크레이핑의 맹렬한 속도는, 어쩌면 지금까지의 인류 지식 전체를 수집하는 일종의 ‘일회성 따라잡기’를 목표로 했을 수 있습니다.

하지만 미래는 지금 이 순간부터 생성되는 정보, 즉 소셜 미디어 게시물, 학술 연구, 시간표, 블로그, 기업 사이트와 지속적으로 데이터를 생산하는 수백만 개의 다른 출처에 대한 접근을 확보하고 유지하는 데 있습니다. 이는 인류의 집단적 지식과 사고를 이어 가는 일입니다.

따라서 주거용 프록시 트래픽 1GB의 가격이 얼마나 높아져야 자금력이 풍부한 최첨단 AI 기업조차 주저하거나, 더 선별적으로 스크레이핑하면서 마침내 어떤 예산 제약 안에서 움직이기로 할지 궁금해집니다.

그 가격은 가장 매력적인 데이터 플랫폼이 접근권을 협상하거나 침입자를 성공적으로 물리치는 정도에 따라 결정될 것입니다.

마지막으로 한 가지 생각을 덧붙이면, 외부 주거용 프록시 기반 스크레이핑 서비스에 점점 더 의존하는 1조 달러 규모의 AI 기업을 제가 운영한다면, 가장 유리한 위치에 있는 그런 회사를 인수해 운영하거나 처음부터 자체 주거용 프록시 네트워크를 구축하는 것이 합리적인 비용 절감이라고 생각할 것입니다. 아마도 수많은 페이퍼컴퍼니의 미로를 거치게 될 것입니다.

최초 게시: 2026년 9월 16일 수요일

수정: 2026년 9월 17일 목요일: ‘앱 설치를 통해 몰래 주거용 프록시 서비스를 제공하도록’을 ‘앱 설치를 통해 주거용 프록시 서비스를 제공하도록’으로 변경했습니다.