귀하의 에이전트는 더 이상 채팅봇이 아닙니다—그러면 왜 여전히 채팅봇처럼 대하는 걸까요?

초기 생성적 인공지능의 시대에는 잘못된 채팅봇의 최악의 시나리오는 종종 공개적인 수치심을 넘어서지 않았다. 채팅봇은 사실을 상상할 수 있었고, 편향된 텍스트를 내뿜거나 심지어 이름을 불러일으킬 수 있었다. 그것은 충분히 나빴다. 그러나 이제 우리는 키를 넘겨주었다.

에이전트 시대에 오신 것을 환영합니다.

채팅봇에서 에이전트로: 자율성의 전환

채팅봇은 반응적이었다. 그들은 자신의 구역에 머물렀다. 질문을 하면 답변을 받았다. 그러나 에이전트, 특히 도구 사용, 코드 실행 및 지속적인 메모리가 있는 에이전트는 다중 단계 작업을 수행하고, API를 호출하고, 명령을 실행하고, 코드를 작성하고 배포할 수 있다.

다시 말해, 그들은 단순히 프롬프트에 응답하는 것이 아니라 결정하고 있다. 그리고 어떤 보안 전문가도 말할 수 있듯이, 시스템이 세계에서 행동을 시작하면 안전과 제어에 대해 진지하게 생각해야 한다.

2023년에 경고한 내용

OWASP에서 우리는 2년 전부터 이 전환에 대해 경고하기 시작했다. LLM 애플리케이션을 위한 OWASP Top 10의 첫 번째 릴리즈에서 우리는 용어를 만들었다: 과도한 에이전트.

아이디어는 간단했다: 모델에 너무 많은 자율성을 부여할 때—너무 많은 도구, 너무 많은 권한, 너무 적은 감시—그것은 제한된 보조工具보다 자유 에이전트처럼 행동하기 시작한다. 아마도 그것은 회의를 예약한다. 아마도 파일을 삭제한다. 아마도 과도한, 비싼 클라우드 인프라를 프로비저닝한다.

주의하지 않으면, 그것은 혼란한 대리인… 또는 심지어 사이버 보안 사건에서 악용될 수 있는 잠재적인 적으로 행동하기 시작한다. 최근 실제 예에서 주요 소프트웨어 제품의 에이전트, 마이크로소프트 코파일럿, 세일즈포스의 슬랙 제품은 모두 권한 상승된 특권을 사용하여 민감한 데이터를 유출하는 것을 속여서 사용할 수 있는 취약점이 있는 것으로 나타났다.

그리고 이제, 그 가상 시나리오는 더 이상 과학 소설처럼 보이지 않고, 여러분의 即将到来的 Q3 로드맵처럼 보인다.

MCP를 만나다: 에이전트 제어 레이어 (또는 그럴까?)

2025년으로 건너가면, 우리는 에이전트 기능의 폭발을 처리하기 위한 새로운 표준과 프로토콜의 물결을 보게 된다. 가장 두드러진 것은 앤트로픽의 모델 컨텍스트 프로토콜 (MCP)이다. 이는 장기 에이전트 세션에서 공유 메모리, 작업 구조 및 도구 액세스를 유지하는 메커니즘이다.

MCP를 생각해 보라. 그것은 도구와 시간을 통해 에이전트의 컨텍스트를 함께 유지하는 글루이다. 그것은 코딩 보조工具에게 “여기까지 한 일”, “할 수 있는 일”, “기억해야 할 일”을 말하는 방법이다.

이것은 매우 필요한 단계이다. 그러나 새로운 질문을 제기한다.

MCP는 기능을 활성화하는 도구입니다. 그러나 가드레일은 어디에 있나요?

지금까지 MCP에 대한 초점은 에이전트가 할 수 있는 것을 확장하는 것에 있지, 에이전트를 제어하는 것에 있지 않았다.

도구 사용 및 작업을 조정하고 에이전트 작업에서 메모리를 유지하는 데 도움이 되는 프로토콜이지만, 아직 다음과 같은 중요한 문제를 해결하지 못한다:

• 프롬프트 주입 저항: 공격자가 공유 메모리를 조작할 경우 어떻게 될까?
• 명령 범위: 에이전트가 권한을 초과하도록 속여서 사용할 수 있을까?
• 토큰 남용: 누출된 메모리 블롭이 API 자격증명이나 사용자 데이터를 노출할 수 있을까?

이것은 이론적인 문제가 아니다. 최근의 보안 영향에 대한 조사에 따르면 MCP 스타일의 아키텍처는 프롬프트 주입, 명령 오용 및甚至 메모리 중독에 취약하다는 것이 밝혀졌으며, 특히 공유 메모리가 충분히 범위가 지정되지 않거나 암호화되지 않은 경우에 더욱 취약하다.

이것은 전형적인 “권한 없이 제어” 문제이다. 우리는 외골격을 만들었지만, 끄는 스위치가 어디에 있는지 아직 모른다.

CISO가 지금 주의해야 하는 이유

우리는 미래 기술에 대해 이야기하지 않는다. 이미 개발자가 사용하고 있는 도구에 대해 이야기하며, 이것은 기업에서 대규모 론칭의 시작에 불과하다.

코딩 에이전트인 클로드 코드와 커서가 기업 워크플로에서 실제로 사용되고 있다. 깃허브의 내부 연구에 따르면 코파일럿은 작업을 55% 빠르게 할 수 있다. 최근 앤트로픽은 클로드 코드 사용의 79%가 자동화된 작업 실행에 중점을 두고 있으며, 코드 제안만이 아니라 자동화된 워크플로우를 슬래싱하고 있다.

그것은 실제 생산성이다. 그러나 그것은 또한 실제 자동화이다. 이것들은 더 이상 공동 조종사도 아니다. 점점 더 혼자서 비행하고 있다. 그리고 조종석? 비어 있다.

마이크로소프트의 CEO인 사티아 나델라는 최근에 AI가 이제 마이크로소프트의 코드 중 30%를 작성한다고 말했다. 앤트로픽의 CEO인 다리오 아모데이는 AI가 6개월 이내에 새로운 코드의 90%를 생성할 것이라고 예측했다.

그리고 그것은 소프트웨어 개발만이 아니다. 모델 컨텍스트 프로토콜 (MCP)은 이제 코딩을 넘어서 이메일 분류, 회의 준비, 판매 계획, 문서 요약 및 일반 사용자를 위한 기타 고부가가치 생산성 작업을 포함하는 도구에 통합되고 있다. 이러한 사용 사례 대부분은 아직 초기 단계이지만, 빠르게 성숙하고 있다. 그것은 ставки를 변경한다. 이것은 더 이상 CTO 또는 엔지니어링 부문의 VP와의 토론만이 아니다. 비즈니스 유닛 리더, CIO, CISO 및 최고 AI 책임자와 같은 사람들이 주의를 기울여야 한다. 에이전트가 민감한 데이터와 크로스 기능적 워크플로우를 처리하기 시작하면서, 조직은 거버넌스, 위험 관리 및 전략적 계획이 대화의 처음부터 통합되어야 한다는 것을 đảm해야 한다.

다음에 무엇이 필요한가

이제 에이전트를 채팅봇으로 생각하지 말고, 실제 보안 요구 사항이 있는 자율 시스템으로 생각해야 한다. 즉:

• 에이전트 권한 경계: 모든 프로세스를 루트로 실행하지 않는 것처럼, 에이전트는 도구와 명령에 대한 범위가 지정된 액세스가 필요하다.
• 공유 메모리 거버넌스: 컨텍스트 지속성은 감사, 버전 관리 및 암호화되어야 한다. 특히 세션 또는 팀을 통해 공유되는 경우에 더욱 중요하다.
• 공격 시뮬레이션 및 레드 팀: 프롬프트 주입, 메모리 중독 및 명령 오용은 1차 보안 위협으로 처리되어야 한다.
• 직원 교육: 에이전트의 안전하고 효과적인 사용은 새로운 기술이며, 사람들은 교육을 받아야 한다. 이것은 그들을 더 생산적으로 만들고 지적 재산을 더 안전하게 유지하는 데 도움이 될 것이다.

조직이 지능형 에이전트에 뛰어들 때, 종종 먼저 걸음마를 걸어야 한다. 제한된 범위, 제한된 데이터 및 제한된 권한을 가진 에이전트와 경험을 쌓고, 조직의 가드레일을 배우고 경험을 쌓은 다음, 더 복잡하고 자율적이며 야심찬 사용 사례로 전환한다.

이번에는 앉아 있을 수 없다

당신이 최고 AI 책임자이든, 최고 정보 책임자이든, 초기 우려는 다를 수 있지만, 앞으로의 길은 같다. 코딩 에이전트와 자율적 AI 시스템의 생산성 이점은 무시할 수 없다. 아직 “기다려 보기” 접근 방식을 취하고 있다면, 이미 뒤처지고 있다.

이러한 도구는 더 이상 실험적이지 않다. 그것들은 빠르게 표준이 되고 있다. 마이크로소프트와 같은 회사는 이미大量의 코드를 AI를 통해 생성하고 있으며, 경쟁력을 향상시키고 있다. 클로드 코드와 같은 도구는 개발 시간을 단축하고 복잡한 워크플로우를 자동화하고 있다. 이러한 에이전트를 안전하게 사용하는 회사는 더 빠르게 출하하고, 더 빠르게 적응하고, 경쟁사들을 물리칠 것이다.

그러나 안전 없이 속도는 함정이다. 제어 없이 자율적 에이전트를 비즈니스에 통합하는 것은 중단, 데이터 유출 및 규제 반발의 요인이 된다.

이것은 행동할 때이다. 그러나 지혜롭게 행동하라:

• 에이전트 파일럿 프로그램을 시작하되, 코드 리뷰, 도구 권한 및 샌드박싱을 요구한다.
• 필요한 것만큼의 자율성을 제한하라. 모든 에이전트가 루트 액세스 또는 장기 메모리가 필요하지는 않다.
• 공유 메모리 및 도구 호출을 감사하라. 특히 장기 세션 또는 협력 컨텍스트를 넘어서서.
• 공격을 시뮬레이션하라. 프롬프트 주입 및 명령 오용을 사용하여 실제 위험을 공격자보다 먼저 발견하라.
• 개발자 및 제품 팀을 안전한 사용 패턴, 범위 제어, 폴백 동작 및 에스컬레이션 경로에 대해 교육하라.

안전성과 속도는 상호 배타적이지 않다. 의도적으로 구축하면 가능하다.

에이전트를 핵심 인프라로 취급하는 비즈니스, 즉 장난감이나 장난감이 아닌 위협으로 취급하는 비즈니스들은 번창할 것이다. 나머지는 혼란을 청소하거나, 더 나쁘게, 관중석에서 지켜보는 것만 남게 될 것이다.

에이전트 시대가 도착했다. 단순히 반응하지 말라. 준비하라. 통합하라. 안전하라.