오피니언
AI가 PC로 들어오고 있다 — 하지만 AI가 볼 수 있는 것을 통제하는 주체는 누구인가?

핵심 포인트로컬 AI 처리는 온디바이스 에이전트의 프라이버시나 보안을 자동으로 보장하지 않습니다.
더 보기
- 로컬 AI 처리는 온디바이스 에이전트의 프라이버시나 보안을 자동으로 보장하지 않습니다.
- 에이전트는 각 특정 워크플로가 요구하는 범위로 제한된 최소 권한 접근 하에서 작동해야 합니다.
- 사용자는 에이전트가 무엇을 보고 무엇을 할 수 있는지에 대해 투명하고 철회 가능한 통제권을 가져야 합니다.
AI 에이전트는 채팅 창을 벗어나 사람들이 매일 사용하는 운영체제와 애플리케이션, 파일 속으로 들어오기 시작했다.
최근 몇 달 사이 출시된 새로운 Windows PC와 소프트웨어는 일반 사용자와 기업 환경에 다단계 자율 AI 워크플로라는 새로운 시대를 열고 있으며, 이러한 변화는 더 이상 기술 전망에 그치지 않는다.
NVIDIA의 RTX 기반 Windows PC는 로컬에서 실행되는 AI 에이전트를 지원한다. 한편 Perplexity는 호환되는 Windows 컴퓨터에서 에이전트 기능을 확장해 로컬 파일과 연결된 애플리케이션을 활용하는 워크플로를 가능하게 했다. Microsoft는 에이전트의 리소스 접근과 작업 수행 방식을 통제할 안전장치를 개발하고 있다.
그러나 자율성이 커지면 보안 위험도 커진다. 10월 19일, Microsoft의 보안 부문 총괄 부사장 Hayete Gallot은 조직이 “에이전트형 내부자”를 보호하기 위해 더 많은 노력을 기울여야 한다고 경고했다. 그는 AI 에이전트가 흔히 과도한 권한을 부여받으며, 중요한 프로세스에서 의사결정을 내리는 동안 민감한 데이터와 도구, 시스템에 접근할 수 있다고 지적했다.
Microsoft의 Windows 보안 전략은 격리와 제한된 권한, 제한적인 감독을 바탕으로 하며, 에이전트의 실수가 단순한 오답을 넘어서는 결과를 초래할 수 있다는 우려도 커지고 있다. 에이전트는 민감한 정보를 노출하거나 중요한 파일을 변경하고, 업무용 애플리케이션에서 원치 않는 작업을 일으킬 수 있다.
로컬 AI라고 해서 자동으로 비공개 AI가 되는 것은 아니다
PC에서 AI 에이전트를 사용하면 클라우드 서비스로 전송되는 민감한 데이터의 양을 줄이는 데 도움이 될 수 있지만, 로컬 처리가 완벽한 보안 대책은 아니다.
기기 내에서 실행되는 모델이라도 지나치게 많은 파일에 접근하거나 보안이 허술할 수 있으며, 다른 앱과 안전하지 않게 연결될 수도 있다.
문제는 항상 AI 모델에 있는 것이 아니라, 조직의 거버넌스에 있는 경우가 많다고 미주 전역에서 AI 솔루션을 제공하는 기업 iData Global의 CEO 겸 공동 창업자 Bayron Quintero는 말했다.
그는 Unite AI와의 인터뷰에서 기업이 데이터와 애플리케이션, 업무 프로세스에 대한 접근 권한을 지나치게 많이 또는 너무 적게 부여할 수 있다고 말했다. 에이전트에게 맡은 업무에 맞지 않는 권한이 주어질 수도 있다.
Quintero는 “에이전트가 최소 권한 원칙에 따라 작동하도록 하는 것이 과제입니다. 특정 워크플로에 필요한 데이터와 시스템, 작업에만 접근할 수 있어야 합니다”라고 말했다. 즉, 특정 워크플로에 필요한 데이터와 시스템, 작업에만 접근 권한을 부여해야 한다는 뜻이다.
그는 명확한 데이터 소유권, 역할 기반 접근 제어, 내부 및 타사 시스템과의 상호작용에 대한 지속적인 모니터링을 필수적인 안전장치로 꼽았다.
안전한 로컬 AI란 존재하지 않는다고 Quintero는 강조했다.
과도한 권한, 취약한 암호화, 불충분한 모니터링, 안전하지 않은 연동은 기기 내 에이전트를 클라우드 기반 에이전트만큼 위험하게 만들 수 있으며, 심지어 더 위험하게 만들 수도 있다.
보안은 시스템의 모델이 어디에서 실행되는지만의 문제가 아니다. 시스템을 어떻게 구성하고 관리하는지도 중요하다.
새로운 경계는 권한이다
일반 사용자가 따져야 할 것은 AI 에이전트의 접근 권한이 맡은 작업에 적절한지 여부다.
문서 하나를 요약해 달라는 요청만 받았다면 에이전트가 드라이브 전체를 검색할 필요는 없다. 사진 정리 도구가 금융 데이터를 읽거나 메시지를 보낼 수 있어서는 안 된다. 권한은 엄격하게 제한되고, 투명하게 공개되며, 언제든 철회할 수 있어야 한다.
Microsoft의 에이전트 계정 및 작업 공간 모델은 에이전트의 활동을 사용자의 세션과 분리하기 위한 단계다. 그러나 시연을 넘어 실제 환경에서도 보호 기능이 효과적으로 작동해야 한다.
Microsoft의 Windows 에이전트 보안 지침은 사용자 승인을 받고 활동 기록을 남기며, 에이전트의 접근 권한을 필요한 범위로 제한하는 방안을 마련하도록 요구한다. 고용주와 개발자는 문서, 웹사이트 또는 메시지에 포함된 잘못된 지시에 에이전트가 어떻게 반응하는지 모니터링해야 한다.
승인된 작업을 수행하는 동안 에이전트는 신뢰할 수 없는 콘텐츠를 접할 수 있다. 에이전트가 적대적인 텍스트를 명령으로 받아들이면, 해당 정보에 쉽게 접근할 수 있기 때문에 심각한 보안 문제가 발생할 수 있다.
민감한 작업에는 사람의 승인과 최소 권한 접근을 격리 조치와 함께 적용해야 한다.
편리함에도 명확한 한계가 필요하다
AI PC는 에이전트가 얼마나 많은 업무를 자동화할 수 있는지뿐 아니라, 사용자가 개인 및 업무 데이터를 공유할 만큼 신뢰할 수 있는지도 기준으로 평가받게 될 것이다.
로컬 처리 방식의 에이전트형 AI는 속도를 높이고 특정 데이터가 노출될 가능성을 줄일 수 있지만, 권한 설정과 감독의 필요성을 없애지는 않는다.
원칙은 간단해야 한다. 에이전트에는 업무에 필요한 항목에만 접근 권한을 부여하고, 사용자는 에이전트가 하는 일을 이해하고 추적하며 차단할 수 있어야 한다.
컴퓨터가 우리를 대신해 더 많은 일을 할 수 있게 되더라도 통제를 나중 문제로 미뤄서는 안 된다. 통제는 설계 단계부터 고려해야 한다.












