์ฌ์ ๋ฆฌ๋
๊ทํ์ ์์ด์ ํธ๋ ๋ ์ด์ ์ฑํ ๋ด์ด ์๋๋๋คโ๊ทธ๋ฌ๋ฉด ์ ์ฌ์ ํ ์ฑํ ๋ด์ฒ๋ผ ๋ํ๊ณ ์๋์?
초기의 생성적 AI 시대에, 잘못된 채팅봇의 최악의 시나리오는 종종 공공적인 수치심 이상으로는 아니었습니다. 채팅봇은 사실을 상상할 수, 편향된 텍스트를 내뿜거나, 심지어 이름을 불러일으킬 수 있습니다. 그것은 충분히 나빴습니다. 하지만 이제, 우리는 키를 넘겨주었습니다.
에이전트 시대에 오신 것을 환영합니다.
채팅봇에서 에이전트로: 자율성의 변화
채팅봇은 반응적이었습니다. 그것은 자신의 구역에 머물렀습니다. 질문을 하십시오, 답변을 받으십시오. 하지만 AI 에이전트, 특히 도구 사용, 코드 실행 및 지속적인 메모리와 함께 구축된 것은 다중 단계 작업을 수행할 수 있습니다, API를 호출하고, 명령을 실행하고, 코드를 작성하고 배포할 수 있습니다.
다시 말해서, 그것은 단지 프롬프트에 응답하는 것이 아닙니다—결정을 내리고 있습니다. 그리고 어떤 보안 전문가가 말하듯이, 시스템이 세계에서 행동을 시작하면, 안전과 제어에 대해 진지하게 생각해야 합니다.
2023년에 경고한 내용
OWASP에서, 우리는 2년 전부터 이러한 변화를 경고하기 시작했습니다. LLM 애플리케이션을 위한 OWASP Top 10의 첫 번째 릴리즈에서, 우리는 용어를 만들었습니다: 과도한 에이전시.
이dea는 간단했습니다: 모델에 너무 많은 자율성을 주면—너무 많은 도구, 너무 많은 권한, 너무 적은 감독—それは 더 이상 제한된 어시스턴트가 아니라 자유 에이전트처럼 행동하기 시작합니다. 아마도 그것은 회의를 예약합니다. 아마도 파일을 삭제합니다. 아마도 과도한, 비싼 클라우드 인프라를 프로비저닝합니다.
주의하지 않으면, 그것은 혼란한 대리인… 또는 악의적인 잠복 에이전트처럼 행동하기 시작합니다. 최근 실제 예에서 주요 소프트웨어 제품의 에이전트인 Microsoft Copilot, Salesforce의 Slack 제품은 모두 권한을 높인 상태에서 민감한 데이터를 유출하는 것을 속여서 사용할 수 있는 취약점이 있음을 보여주었습니다.
그리고 이제, 그 가상은 더 이상 공상과학처럼 보이지 않고, 여러분의 향후 Q3 로드맵처럼 보입니다.
MCP를 만나보세요: 에이전트 제어 레이어 (또는 그렇지 않나요?)
2025년으로 건너가면, 우리는 에이전트 기능의 폭발을 다루기 위한 새로운 표준과 프로토콜의 물결을 보게 됩니다. 이들 중 가장 두드러진 것은 Anthropic의 모델 컨텍스트 프로토콜 (MCP)입니다. 이는 도구와 시간에 걸친 에이전트 세션에서 공유 메모리, 작업 구조 및 도구 액세스를 유지하는 메커니즘입니다.
MCP를 생각해 보십시오. 에이전트의 컨텍스트를 도구와 시간에 걸쳐 유지하는 글루입니다. 그것은 코딩 어시스턴트에게 “여기까지 한 일입니다. 여기서 할 수 있는 일입니다. 여기서 기억해야 할 일입니다”라고 말하는 방법입니다.
이것은 매우 필요한 단계입니다. 그러나 새로운 질문을 제기하고 있습니다.
MCP는 기능 활성화입니다. 어디에 가드레일이 있나요?
지금까지 MCP에 대한 초점은 에이전트가 할 수 있는 것을 확장하는 데 있었습니다—아직 제동장치에 대해서는 아닙니다.
프로토콜은 도구 사용과 메모리를 유지하는 데 도움이 됩니다. 그러나 다음과 같은 중요한 문제를 다루지 않습니다:
- 프롬프트 주입 저항: 공격자가 공유 메모리를 조작하면 어떻게 될까요?
- 명령 범위: 에이전트를 속여 권한을 초과하게 할 수 있나요?
- 토큰 남용: 메모리 블롭이泄露되면 API 자격 증명이나 사용자 데이터를 노출할 수 있나요?
이러한 문제는 이론적이지 않습니다. 최근에 보안 영향에 대한 조사에서 MCP 스타일의 아키텍처는 프롬프트 주입, 명령 오용 및 심지어 메모리 중독에 취약하다는 것이 밝혀졌습니다. 특히 공유 메모리가 충분히 범위가 지정되지 않았거나 암호화되지 않은 경우에 그렇습니다.
이것은 전형적인 “권한 없이” 문제입니다. 우리는 외골격을 구축했지만, 끄기 스위치가 어디 있는지 모릅니다.
CISO가 주의해야 하는 이유—지금
우리는 미래 기술에 대해 이야기하지 않습니다. 우리는 이미 개발자가 사용하고 있는 도구에 대해 이야기하고 있습니다. 그리고 그것은 기업 내에서 대규모 론칭의 시작에 불과합니다.
Claude Code와 Cursor와 같은 코딩 에이전트는 기업 워크플로 내에서 실제로 성과를 내고 있습니다. GitHub의 내부 연구에 따르면 Copilot는 작업을 55% 빠르게 할 수 있다고 합니다. 최근 Anthropic은 Claude Code 사용의 79%가 자동 작업 실행에 집중되어 있음을 보고했습니다. 아니라 코드 제안만이 아닙니다.
그것은 실제 생산성입니다. 그러나 그것은 실제 자동화입니다. 이러한 에이전트는 더 이상 공동 조종사도 아닙니다. 점점 더 혼자 비행하고 있습니다. 그리고 조종석? 그것은 비어 있습니다.
Microsoft CEO Satya Nadella는 최근에 AI가 Microsoft의 코드 중 30%를 작성한다고 말했습니다. Anthropic의 CEO인 Dario Amodei는 AI가 6개월 내에 새로운 코드의 90%를 생성할 것이라고 예측했습니다.
그리고 그것은 소프트웨어 개발뿐만 아니라, 모델 컨텍스트 프로토콜 (MCP)은 이제 이메일 분류, 회의 준비, 판매 계획, 문서 요약 및 일반 사용자를 위한 기타 고부가가치 생산성 작업을 포함하는 도구에 통합되고 있습니다. 이러한 사용 사례 중 많은 것이 아직 초기 단계에 있지만, 빠르게 성숙하고 있습니다. 그것은 ставки를 변경합니다. 이것은 더 이상 CTO 또는 VP 엔지니어링을 위한 토론만이 아닙니다. 그것은 비즈니스 유닛 리더, CIO, CISO 및 Chief AI Officer의 주의를 요구합니다. 이러한 에이전트가 민감한 데이터와 크로스 기능 워크플로를 실행하기 시작하면서, 조직은 거버넌스, 위험 관리 및 전략적 계획이 대화의 일환으로부터 필수적임을 보장해야 합니다.
다음에 무엇이 발생해야 하는지
에이전트를 채팅봇으로 생각하는 것을 멈추고, 실제 보안 요구 사항이 있는 자율 시스템으로 생각하기 시작할 때입니다. 즉:
- 에이전트 권한 경계: 모든 프로세스를 루트로 실행하지 않는 것과 마찬가지로, 에이전트는 도구와 명령에 대한 범위가 지정된 액세스가 필요합니다.
- 공유 메모리 거버넌스: 컨텍스트 지속성은 감사, 버전 관리 및 암호화되어야 합니다. 특히 세션이나 팀 전체에서 공유되는 경우에 그렇습니다.
- 공격 시뮬레이션 및 레드 팀: 프롬프트 주입, 메모리 중독 및 명령 오용은 1차 보안 위협으로 처리되어야 합니다.
- 직원 교육: AI 에이전트의 안전하고 효과적인 사용은 새로운 기술입니다. 사람들은 생산성을 높이고 지적 재산을 더 안전하게 유지하는 데 도움이 되는 훈련을 받아야 합니다.
조직이 지능형 에이전트에 뛰어들 때, 종종 걸음마를 걸기 전에 달리기보다 먼저 걸음마를 걸어야 합니다. 에이전트가 제한된 범위, 제한된 데이터 및 제한된 권한을 갖도록 경험을积累하고, 조직의 가드레일을 구축하고 경험을 쌓은 다음, 더 복잡하고, 자율적이며, 야심찬 사용 사례로 전환합니다.
이번에는 앉아서 기다릴 수 없습니다
Chief AI Officer이거나 Chief Information Officer이든, 초기 우려는 다를 수 있지만, 앞으로의 경로는 동일합니다. 코딩 에이전트 및 자율 AI 시스템의 생산성 이점은 무시하기 어렵습니다. 아직 “대기하고 보기” 접근 방식을 취하고 있다면, 이미 뒤처지고 있습니다.
이러한 도구는 더 이상 실험적이지 않습니다. 그것들은 빠르게 표준이 되고 있습니다. Microsoft와 같은 회사는 이미 AI를 통해大量의 코드를 생성하고, 그 결과 경쟁력을 향상시키고 있습니다. Claude Code와 같은 도구는 여러 회사에서 개발 시간을 단축하고 복잡한 워크플로를 자동화하고 있습니다. 이러한 에이전트를 안전하게 사용하는 회사는 더 빠르게 배송하고, 더 빠르게 적응하고, 경쟁사를 능가할 것입니다.
그러나 안전 없이 속도는 함정입니다. 적절한 제어 없이 에이전트를 비즈니스에 통합하면 중단, 데이터 누출 및 규제 반발의 요인이 됩니다.
이제 행동할 때입니다—하지만 지혜롭게:
- 에이전트 파일럿 프로그램을 시작하지만, 코드 검토, 도구 권한 및 샌드박스를 요구합니다.
- 필요한 것만큼 자율성을 제한합니다. 모든 에이전트는 루트 액세스 또는 장기 메모리가 필요하지 않습니다.
- 공유 메모리 및 도구 호출을 감사합니다. 특히 긴 세션 또는 협업 컨텍스트에서 vậy입니다.
- 공격을 시뮬레이션하여 프롬프트 주입 및 명령 오용을 사용하여 실제 위험을 공격자보다 먼저 발견합니다.
- 개발자 및 제품 팀을 교육하여 안전한 사용 패턴, 범위 제어, 폴백 동작 및 에스컬레이션 경로를 포함합니다.
보안 및 속도는 상호 배타적이지 않습니다—의도적으로 구축하면 됩니다.
에이전트를 핵심 인프라로 취급하는 비즈니스, 즉 장난감이나 위협으로 취급하지 않는 비즈니스는 번창할 것입니다. 나머지는 뒤처져서 메스를 치료하거나, 더 나쁘게는 관중석에서 지켜보는 것만이 남을 것입니다.
에이전트 시대가 도착했습니다. 반응하지 마십시오. 준비하십시오. 통합하십시오. 보안을 유지하십시오.
