숨겨진 필연성: AI 에이전트가 코드를 건드릴 때 기존 보안 모델이 무너지는 이유

4 월 2023에서, 삼성은 자사 엔지니어들이 ChatGPT에 민감한 정보를 유출한 사실을 발견했습니다.하지만 그건 우연이었죠. 이제 만약 그 코드 저장소에 사람이 볼 수 없지만 AI가 처리하는, 코드뿐만 아니라 AI가 접근할 수 있는 모든 API 키, 데이터베이스 자격 증명, 서비스 토큰까지 추출하도록 의도적으로 심어놓은 명령어가 있었다고 상상해 보세요. 이건 가상이 아닙니다. 보안 연구원들은 이미 이를 입증했습니다. 이러한 "보이지 않는 지시" 공격은 효과가 있습니다. 문제는 이런 일이 일어날지 여부가 아니라 언제 일어날지입니다.

더 이상 존재하지 않는 경계

수십 년 동안 우리는 코드는 코드이고 데이터는 데이터라는 근본적인 전제 위에 보안을 구축해 왔습니다. SQL 인젝션은 쿼리를 매개변수화하는 방법을 가르쳐 주었고, 크로스 사이트 스크립팅은 출력값을 이스케이프하는 방법을 가르쳐 주었습니다. 우리는 프로그램이 수행하는 작업과 사용자가 입력하는 내용 사이에 장벽을 세우는 법을 배웠습니다.

AI 에이전트가 등장하면서 그러한 경계는 사라졌습니다.

예측 가능한 경로를 따르는 결정론적 소프트웨어와 달리, 대규모 언어 모델은 개발자의 정당한 지시와 악의적인 입력을 구분할 수 없는 확률론적 블랙박스입니다. 공격자가 AI 코딩 도우미에 프롬프트를 입력할 때, 단순히 데이터를 제공하는 것이 아닙니다. 사실상 애플리케이션을 실시간으로 재프로그래밍하는 것입니다. 입력 자체가 프로그램이 되는 것입니다.

이는 애플리케이션 보안에 대해 우리가 알고 있는 모든 것과 근본적으로 다른 변화를 의미합니다. 기존의 구문 기반 방화벽은 DROP TABLE과 같은 악성 패턴을 탐지하거나, tags, fail completely against natural language attacks. Researchers have demonstrated “semantic substitution” techniques where replacing “API keys” with “apples” in prompts allows attackers to bypass filters entirely. How do you firewall intent when it’s disguised as harmless conversation?

아무도 이야기하지 않는 제로 클릭의 현실

대부분의 보안 팀이 이해하지 못하는 부분이 있습니다. 프롬프트 인젝션 공격은 사용자가 아무것도 입력할 필요가 없다는 것입니다. 이러한 공격은 종종 '제로 클릭' 방식으로 이루어집니다. AI 에이전트가 일상적인 작업을 위해 코드 저장소를 스캔하거나, 풀 리퀘스트를 검토하거나, API 문서를 읽는 것만으로도 사람의 개입 없이 공격을 트리거할 수 있습니다.

다음 시나리오를 고려해 보십시오. 연구자들이 이미 입증한 기술악의적인 공격자가 인기 있는 오픈 소스 라이브러리 문서의 HTML 주석에 보이지 않는 명령어를 삽입합니다. GitHub Copilot, Amazon CodeWhisperer 또는 기타 기업용 코딩 도우미 등 이 코드를 분석하는 모든 AI 도우미는 잠재적인 자격 증명 탈취 도구가 될 수 있습니다. 하나의 라이브러리가 손상되면 수천 개의 개발 환경이 노출될 수 있습니다.

위험은 LLM 자체에 있는 것이 아니라, 우리가 모델에 부여하는 권한에 있습니다. 이러한 모델을 도구 및 API와 통합하여 데이터를 가져오고, 코드를 실행하고, 비밀 정보에 접근할 수 있도록 허용하는 순간, 유용한 도우미는 완벽한 공격 벡터로 변모합니다. 위험은 모델의 지능에 비례하는 것이 아니라, 연결성에 비례합니다.

현행 접근 방식이 실패할 수밖에 없는 이유

현재 업계는 모델을 "정렬"하고 더 나은 프롬프트 방화벽을 구축하는 데 몰두하고 있습니다. OpenAI는 더 많은 안전장치를 추가하고, Anthropic은 헌법적 AI에 집중합니다. 모두가 속일 수 없는 모델을 만들려고 노력하고 있습니다.

이건 이길 수 없는 싸움이야.

인공지능이 유용할 만큼 똑똑하다면, 속을 만큼도 똑똑하다는 뜻입니다. 우리는 제가 "검증 함정"이라고 부르는 것에 빠지고 있습니다. 즉, 더 나은 입력 필터링이 우리를 구해줄 것이라고 생각하는 것입니다. 하지만 공격은 HTML 주석에 보이지 않는 텍스트로 숨겨지거나, 문서 깊숙이 숨겨지거나, 우리가 아직 상상도 못 한 방식으로 암호화될 수 있습니다. 문맥적으로 이해할 수 없는 것은 검증할 수 없으며, 바로 이 문맥이 LLM을 강력하게 만드는 핵심입니다.

업계는 냉혹한 현실을 받아들여야 합니다. 신속 주사는 성공할 것입니다. 문제는 그것이 성공했을 때 어떤 일이 벌어지느냐입니다.

우리가 필요로 하는 건축의 변화

현재 우리는 입력 필터와 유효성 검사 규칙을 필사적으로 추가하는 "패치 단계"에 있습니다. 하지만 SQL 인젝션을 방지하려면 문자열 이스케이핑을 개선하는 것보다 매개변수화된 쿼리가 필요하다는 것을 결국 깨달았듯이, AI 보안을 위해서는 아키텍처적인 해결책이 필요합니다.

해답은 간단해 보이지만 시스템 구축 방식을 재고해야 하는 원칙에 있습니다. 바로 AI 에이전트가 자신이 사용하는 비밀 정보를 절대 소유해서는 안 된다는 것입니다.

이것은 더 나은 자격 증명 관리나 향상된 금고 솔루션에 관한 것이 아닙니다. 사용자가 비밀번호를 필요로 하는 것이 아니라, AI 에이전트를 고유하고 검증 가능한 신원으로 인식하는 것에 관한 것입니다. AI 에이전트가 보호된 리소스에 접근해야 할 때, 다음과 같이 해야 합니다.

1. 검증 가능한 신원을 사용하여 인증하십시오(저장된 비밀 키가 아님).

2. 특정 작업에만 유효한 자격 증명을 즉시 받으세요.

3. 해당 자격 증명이 몇 초 또는 몇 분 내에 자동으로 만료되도록 설정하세요.

4. 오래도록 간직할 수 있는 비밀은 절대로 저장하거나 "보지" 마세요.

여러 가지 접근 방식이 등장하고 있습니다. 서비스 계정용 AWS IAM 역할, 구글의 워크로드 아이덴티티, HashiCorp Vault의 역동적인 비밀Akeyless의 제로 트러스트 프로비저닝과 같은 맞춤형 솔루션은 모두 이러한 비밀이 필요 없는 미래를 향하고 있습니다. 구현 세부 사항은 다양하지만 원칙은 같습니다. AI가 훔칠 비밀이 없다면, 즉시 주입 공격은 훨씬 덜 위협적이게 됩니다.

2027년의 발전 환경

3년 안에 AI 기반 개발에서 .env 파일은 사라질 것입니다. 환경 변수에 저장된 장기간 사용 가능한 API 키는 마치 우리가 평문으로 된 비밀번호를 보는 것처럼, 더 순진했던 시절의 부끄러운 유물로 여겨질 것입니다.

대신 모든 AI 에이전트는 엄격한 권한 분리 하에서 작동하게 됩니다. 기본적으로 읽기 전용 액세스가 제공되며, 작업 허용 목록이 기본으로 적용됩니다. 규정 준수 요건으로 샌드박스 실행 환경이 필수적입니다. 우리는 AI가 무엇을 생각하는지 통제하려는 노력을 멈추고 AI가 무엇을 할 수 있는지를 통제하는 데 전적으로 집중할 것입니다.

이는 단순한 기술적 진화가 아니라, 신뢰 모델의 근본적인 변화입니다. 우리는 "신뢰하되 검증하라"에서 "절대 신뢰하지 말고, 항상 검증하고, 침해 가능성을 가정하라"로 나아가고 있습니다. 오랫동안 강조되어 왔지만 제대로 실천되지 않았던 최소 권한 원칙은, 매일 수천 건의 악의적인 입력을 처리하는 AI 개발자를 상대해야 하는 상황에서는 절대 양보할 수 없는 원칙이 됩니다.

우리가 직면한 선택

인공지능을 소프트웨어 개발에 통합하는 것은 불가피하며, 대체로 유익합니다. GitHub에 따르면 Copilot을 사용하는 개발자는 작업을 55% 더 빠르게 완료한다고 합니다.생산성 향상은 분명하며, 경쟁력을 유지하고자 하는 조직이라면 누구도 이를 무시할 수 없습니다.

하지만 우리는 중대한 기로에 서 있습니다. 현재의 방식을 고수하면서 더 많은 안전장치를 추가하고, 더 나은 필터를 구축하여 속일 수 없는 AI 에이전트를 만들 수 있기를 바랄 수도 있습니다. 아니면 위협의 근본적인 특성을 인식하고 그에 맞춰 보안 아키텍처를 재구축할 수도 있습니다.

삼성 사태는 경고 신호였습니다. 다음번 데이터 유출은 우발적인 사고가 아닐 것이며, 한 회사에만 국한되지도 않을 것입니다. AI 에이전트가 더욱 강력한 기능을 갖추고 더 많은 시스템에 접근하게 될수록 잠재적 파급 효과는 기하급수적으로 커질 것입니다.

모든 CISO, 엔지니어링 리더, 그리고 개발자에게 던지는 질문은 간단합니다. 프롬프트 주입 공격이 여러분의 환경에서 성공했을 때(그리고 반드시 성공할 것입니다), 공격자는 무엇을 발견하게 될까요? 오랫동안 사용할 수 있는 자격 증명이 가득한 보물창고를 발견하게 될까요, 아니면 해킹당했지만 훔칠 비밀 정보가 없는 AI 에이전트를 발견하게 될까요?

지금 우리가 내리는 선택은 인공지능이 소프트웨어 개발을 가속화하는 최고의 동력이 될지, 아니면 우리가 만들어낸 가장 큰 취약점이 될지를 결정할 것입니다. 안전하고 비밀이 보장되지 않는 인공지능 시스템을 구축할 기술은 이미 존재합니다. 문제는 공격자들이 우리에게 강제로 구현하도록 만들기 전에 우리가 그 기술을 도입할 것인가 하는 점입니다.

OWASP는 이미 신속 주사를 가장 큰 위험 요소로 지목했습니다. LLM 지원서 상위 10위 안에 듭니다. NIST는 지침을 개발 중입니다. 제로 트러스트 아키텍처에 관해서는 프레임워크가 이미 존재합니다. 유일한 관건은 구현 속도와 공격 진화 속도입니다.

약력: 라파엘 앙헬은 공동 창립자 겸 최고기술책임자(CTO)입니다. 무열그는 Intuit에서 특허받은 제로 트러스트 암호화 기술을 개발했습니다. 암호학 및 클라우드 보안 분야에 깊은 전문성을 갖춘 베테랑 소프트웨어 엔지니어인 라파엘은 이전에 Intuit의 이스라엘 R&D 센터에서 선임 소프트웨어 엔지니어로 근무하며 퍼블릭 클라우드 환경에서 암호화 키를 관리하는 시스템을 구축하고 머신 인증 서비스를 설계했습니다. 그는 19세에 예루살렘 공과대학에서 컴퓨터 과학 학사 학위를 취득했습니다.