환각 제어: 보안 프로세스에 LLMs를 배포하는 이점과 위험

대규모 언어 모델(LLMs) 은大量의 데이터에훈련되어 보안 운영 팀을 더 지능적으로 만들 수 있습니다. LLMs는 인라인 제안 및 가이드를 제공하고, 응답, 감사, 포스트 관리 및 기타 사항에 대한 지침을 제공합니다. 대부분의 보안 팀은 워크플로우에서 수동 작업을 줄이기 위해 LLMs를 실험하거나 사용하고 있습니다. 이것은 단순한 작업과 복잡한 작업 모두에 적용될 수 있습니다.

예를 들어, LLM은 이메일을 통해 직원에게 기밀 문서를 공유한 적이 있는지 여부를 확인하고, 보안 전문가에게 추천을 포함한 응답을 처리할 수 있습니다. LLM은 또한 오픈 소스 모듈의 공급망 공격을 검색하도록 요청하고, 새로운 기여자, 부적절한 코드 패턴 등 특정 조건에 맞는 에이전트를 생성하는 등의 작업을 수행할 수 있습니다.

그러나 이러한 강력한 AI 시스템은 다른 보안 팀이 직면하는 위험과는 다른 상당한 위험을 내포합니다. 보안 LLMs를 구동하는 모델은 프롬프트 주입 또는 데이터 중독을 통해 손상될 수 있습니다. 인간의 지침 없이 지속적인 피드백 루프와 기계 학습 알고리즘은 악의적인 행위자가 제어를 프로빙하고 나쁨으로 간주되는 응답을 유도하도록 허용할 수 있습니다. LLMs는 제한된 도메인에서도 환각을 일으킬 수 있습니다. 최고의 LLM도 모르는 경우에 답을 만들어냅니다.

보안 프로세스와 LLM 사용 및 워크플로우에 대한 AI 정책은 사이버 보안 운영 및 연구에서 더 일반적으로 사용됨에 따라 더 중요해질 것입니다. 이러한 프로세스가 준수되고, 거버넌스 시스템에서 측정되고 계산되는 것을 보장하는 것은 CISO가 새로운 명령어를 충족하기 위해 충분한 GRC(거버넌스, 위험, 준수) 커버리지를 제공하는 데 중요합니다.

サイバー 보안에서 LLMs의 거대한 약속

CISO와 그들의 팀은 끊임없이 새로운 사이버 공격의 물결을 따라가기 위해 노력합니다. Qualys에 따르면, 2023년에 보고된 CVE의 수는 새로운 기록인 26,447에 달했습니다. 이는 2013년보다 5배 이상 증가한 것입니다.

이 챌린지는 평균 조직의 공격 표면이 매년 커짐에 따라 더 어려워졌습니다. AppSec 팀은 더 많은 소프트웨어 애플리케이션을 보호하고 모니터링해야 합니다. 클라우드 컴퓨팅, API, 멀티 클라우드 및 가상화 기술은 추가적인 복잡성을 추가했습니다. 최신 CI/CD 툴링 및 프로세스를 사용하면 애플리케이션 팀이 더 빠르고 빈번하게 코드를 전송할 수 있습니다. 마이크로 서비스는 모놀리식 앱을 수많은 API와 공격 표면으로 분할하고 글로벌 방화벽과 외부 서비스 또는 고객 장치와의 통신을 위해 더 많은 구멍을 뚫었습니다.

고급 LLMs는 사이버 보안 팀의 작업량을 줄이고 그들의 능력을 향상시키는 데 엄청난 약속을 가지고 있습니다. AI 기반 코딩 툴은 소프트웨어 개발에 널리 침투했습니다. Github 연구에 따르면 92%의 개발자가 코드 제안 및 완성을 위해 AI 툴을 사용했습니다. 이러한 “코파일럿” 툴 대부분은 일부 보안 기능을 가지고 있습니다. 사실, 코드가 통과 또는 실패하는 단위 테스트와 같은 상대적으로 이진 결과를 갖는 프로그래밍 규율은 LLMs에 적합합니다. 소프트웨어 개발 및 CI/CD 파이프라인의 코드 스캔을 넘어서서, AI는 사이버 보안 팀에게 다음과 같은 몇 가지 방법으로 유용할 수 있습니다:

• 강화된 분석: LLMs는 보안 데이터(로그, 경고, 위협 인텔리전스)를 처리하여 인간이 볼 수 없는 패턴과 상관관계를 식별할 수 있습니다. 이것은 언어, 24시간, 여러 차원에서 동시에 수행할 수 있습니다. 이것은 보안 팀에게 새로운 기회를 열어줍니다. LLMs는 경고 스택을 거의 실시간으로 처리하고, 가장 심각한 경고를 플래그할 수 있습니다. 강화 학습을 통해 분석은 시간이 지남에 따라 개선되어야 합니다.
• 자동화: LLMs는 보안 팀이 일반적으로 대화 형식으로 수행하는 작업을 자동화할 수 있습니다. 예를 들어, 보안 팀이 IoC를 받고 엔드ポイント의 소유자가 실제로 장치에 로그인했는지 또는 정상 작업 영역 외부에 있는지 여부를 물어보아야 하는 경우, LLM은 이러한 단순한 작업을 수행하고 필요한 경우 추가 질문과 링크 또는 지침을 제공할 수 있습니다. 이것은 이전에 IT 또는 보안 팀 구성원이 직접 수행해야 하는 상호작용이었습니다. LLMs는 또한 더 고급 기능을 제공할 수 있습니다. 예를 들어, Microsoft Copilot for Security는 인시던트 분석 보고서를 생성하고 복잡한 맬웨어 코드를 자연어 설명으로 번역할 수 있습니다.
• 연속적인 학습 및 조정: 이전의 보안 정책 및 이해를 위한 기계 학습 시스템과는 달리, LLMs는 인간의 평가와 새로운 데이터 풀을 통해 즉시 학습할 수 있습니다. 실제로, 동일한 기본 모델을 사용하여 사이버 보안 LLMs는 다양한 팀과 그들의 필요, 워크플로우 또는 지역 또는 수직 특정 작업에 맞게 조정될 수 있습니다. 이것은 전체 시스템이 즉시 모델만큼 똑똑해지고, 변경 사항이 모든 인터페이스에 빠르게 전파된다는 것을 의미합니다.

サイバー 보안에서 LLMs의 위험

새로운 기술로 짧은 기록을 가지고 있는 LLMs는 심각한 위험을 가지고 있습니다. 더욱이, 이러한 위험의 전체 범위를 이해하는 것은 어려울 수 있습니다. 왜냐하면 LLMs의 출력은 100% 예측 가능하거나 프로그래밍 가능한 것이 아니기 때문입니다. 예를 들어, LLMs는 “환각”을 일으키고, 가상 데이터에 기반하여 답변을 만들거나, 질문에 잘못된 답변을 줄 수 있습니다. 사이버 보안 사용 사례에 LLMs를 채택하기 전에 다음의 잠재적인 위험을 고려해야 합니다:

• 프롬프트 주입: 공격자는 악의적인 출력을 생성하기 위해 특정 프롬프트를 생성할 수 있습니다. 이 유형의 공격은 LLM이 받은 프롬프트에 기반하여 내용을 생성하는 경향을 악용할 수 있습니다. 사이버 보안 사용 사례에서 프롬프트 주입은 내부 공격 또는 승인되지 않은 사용자가 시스템 출력을 영구적으로 변경하고 모델 동작을 왜곡하여 다른 사용자에게 부정確한 출력을 생성하는 형태의 위험할 수 있습니다.
• 데이터 중독: LLMs가 의존하는 훈련 데이터는 의도적으로 손상될 수 있으며, 그 결정을 손상시킬 수 있습니다. 사이버 보안 환경에서 조직은 도구 제공업체가 훈련한 모델을 사용할 가능성이 있으므로, 데이터 중독은 특정 고객 및 사용 사례에 대한 모델 조정을 통해 발생할 수 있습니다. 여기서의 위험은 부정확한 데이터를 추가하여 훈련 프로세스를 무효화하는 것입니다.
• 환각: 이전에 언급한 바와 같이, LLMs는 사실적으로 부정확하거나, 비논리적이거나, 심지어 악의적인 응답을 생성할 수 있습니다. 사이버 보안 사용 사례에서 환각은 위협 인텔리전스, 취약성 트라이어지 및 수정, 기타와 같은 임무에 치명적인 오류를 일으킬 수 있습니다. 사이버 보안은 임무에 중요한 활동이므로, LLMs는 이러한 상황에서 환각을 관리하고 방지하는 더 높은 표준을 충족해야 합니다.

AI 시스템이 더 강력해짐에 따라, 그들의 정보 보안 배치는 빠르게 확장하고 있습니다. 명확히 하자면, 많은 사이버 보안 회사들은 이미 동적 필터링을 위한 패턴 매칭 및 기계 학습을 사용해 왔습니다. 생성적 AI 시대에 새로운 것은 기존 워크플로우와 데이터 풀 위에 지능의 계층을 제공하는 상호작용 LLMs입니다. 이것은 이상적으로 사이버 보안 팀의 효율성을 향상시키고, 그들의 능력을 강화합니다. 즉, GenAI는 보안 엔지니어가 동일한 노력과 동일한 자원으로 더 많은 것을 수행할 수 있도록 도와주어, 더 나은 성능과 가속화된 프로세스를 제공합니다.