환상 통제: LLM을 보안 프로세스의 일부로 배포하는 이점과 위험

대규모 언어 모델(LLM)은大量의 데이터를 학습하여 보안 운영 팀을 더 지능적으로 만들 수 있습니다. LLM은 응답, 감사, 포스트 관리 등에 대한 인라인 제안과 지침을 제공합니다. 대부분의 보안 팀은 워크플로우에서 수동 작업을 줄이기 위해 LLM을 실험하거나 사용하고 있습니다. 이는 단순한 작업과 복잡한 작업 모두에 적용될 수 있습니다.

예를 들어, LLM은 직원에게 이메일을 통해 기밀 문서를 공유한 적이 있는지 확인하고, 보안 전문가에게 추천을 제공할 수 있습니다. LLM은 또한 오픈 소스 모듈의 공급망 공격을 검색하도록 요청을 번역하고, 특정 조건에 초점을 맞춘 에이전트를 생성하는 작업을 수행할 수 있습니다.

그러나 이러한 강력한 AI 시스템은 다른 보안 팀이 직면하는 위험과는 다른 상당한 위험을 가지고 있습니다. 보안 LLM을 구동하는 모델은 프롬프트 주입 또는 데이터 중독을 통해 손상될 수 있습니다. 충분한 인간의 지침 없이 지속적인 피드백 루프와 기계 학습 알고리즘은 악의적인 행위자가 제어를 프로빙하고 나쁨으로 유도하는 반응을 유발할 수 있습니다. LLM은 환상에 취약합니다. 즉, 정답을 모를 때 사실이 아닌 정보를 생성할 수 있습니다.

보안 프로세스와 LLM 사용 및 워크플로우에 대한 AI 정책은 사이버 보안 운영 및 연구에서 더 일반적으로 사용됨에 따라 더 중요해질 것입니다. 이러한 프로세스가 준수되고, 거버넌스 시스템에서 측정되고 계산되는 것을 보장하는 것이 CISO가 사이버 보안 프레임워크 2.0와 같은 새로운 지침을 충족하기 위해 필요한 GRC(거버넌스, 리스크, 컴플라이언스) 범위를 제공할 수 있도록 하는 데 중요합니다.

サイバーセキュリティにおけるLLM의 거대한 약속

CISO와 그 팀은不断으로 증가하는 새로운 사이버 공격에 대처하기 위해 어려움을 겪고 있습니다. Qualys에 따르면, 2023년에 보고된 취약점의 수는 새로운 기록인 26,447에 달했습니다. 이는 2013년보다 5배 이상 증가한 것입니다.

이 챌린지는 평균 조직의 공격 표면이 매년 커짐에 따라 더 어려워졌습니다. 애플리케이션 보안 팀은 더 많은 소프트웨어 애플리케이션을 보호하고 모니터링해야 합니다. 클라우드 컴퓨팅, API, 멀티 클라우드 및 가상화 기술은 추가적인 복잡성을 추가했습니다. 현대적인 CI/CD 툴링과 프로세스를 사용하면 애플리케이션 팀이 더 빠르고 더 자주 코드를 배포할 수 있습니다. 마이크로 서비스는 모놀리식 애플리케이션을 여러 개의 API와 공격 표면으로 분할하고, 외부 서비스 또는 고객 장치와 통신하기 위해 글로벌 방화벽에 더 많은 구멍을 뚫었습니다.

고급 LLM은 사이버 보안 팀의 작업량을 줄이고 그들의 능력을 향상시키는 데 큰 약속을 가지고 있습니다. AI 기반 코딩 도구는 소프트웨어 개발에 널리 침투했습니다. Github 연구에 따르면, 92%의 개발자는 코드 제안과 완성을 위해 AI 도구를 사용했습니다. 이러한 “코파일럿” 도구 대부분은 일부 보안 기능을 가지고 있습니다. 실제로, 프로그램적 규율은 상대적으로 이진 결과를 가지고 있기 때문에(코드는 단위 테스트를 통과하거나 실패할 수 있음) LLM에 적합합니다. 코드 스캔, 소프트웨어 개발, CI/CD 파이프라인을 넘어서 사이버 보안 팀에게 유용할 수 있는 다른 방법으로 AI를 사용할 수 있습니다.

• 향상된 분석: LLM은 보안 데이터(로그, 경고, 위협 인텔리전스)를 처리하여 인간이 볼 수 없는 패턴과 상관관계를 식별할 수 있습니다. 이는 언어, 24시간, 여러 차원에서 동시에 수행할 수 있습니다. 이는 보안 팀에게 새로운 기회를 제공합니다. LLM은 경고 스택을 거의 실시간으로 처리하고, 가장 심각한 경고를 플래그할 수 있습니다. 강화 학습을 통해 분석은 시간이 지남에 따라 개선되어야 합니다.
• 자동화: LLM은 보안 팀이 일반적으로 대화 형식으로 수행하는 작업을 자동화할 수 있습니다. 예를 들어, 보안 팀이 IoC를 받고 엔드ポイント의 소유자가 실제로 장치에 로그인했는지 또는 정상적인 작업 영역 외부에 있는지 확인해야 하는 경우, LLM은 이러한 단순한 작업을 수행하고 필요한 경우 추가 질문과 링크 또는 지침을 제공할 수 있습니다. 이것은 이전에 IT 또는 보안 팀 구성원이 직접 수행해야 하는 상호작용이었습니다. LLM은 또한 더 고급 기능을 제공할 수 있습니다. 예를 들어, Microsoft Copilot for Security는 사고 분석 보고서를 생성하고 복잡한 맬웨어 코드를 자연어 설명으로 번역할 수 있습니다.
• 연속적인 학습 및 튜닝: 이전의 보안 정책 및 이해를 위한 기계 학습 시스템과는 달리, LLM은 인간의 평가와 새로운 데이터 풀을 학습하여 즉시 학습할 수 있습니다. 실제로, 동일한 기본 모델을 사용하여 사이버 보안 LLM은 다양한 팀과 그들의 필요, 워크플로우 또는 지역 또는 수직 특정 작업에 맞게 조정할 수 있습니다. 이는 전체 시스템이 즉시 모델만큼 똑똑해지고, 변경 사항이 모든 인터페이스에 걸쳐 빠르게 전파된다는 것을 의미합니다.

サイバーセキュリティ를 위한 LLM의 위험

새로운 기술인 LLM은 짧은 기록을 가지고 있으며, 심각한 위험을 가지고 있습니다. 더욱 심각한 문제는 LLM 출력이 100% 예측 가능하거나 프로그래밍 가능한 것이 아니라는 것입니다. 예를 들어, LLM은 “환상”을 일으키고, 잘못된 답변을 생성하거나, 가상의 데이터에 기반한 답변을 생성할 수 있습니다. 사이버 보안 사용 사례에서 LLM을 채택하기 전에, 다음과 같은 잠재적인 위험을 고려해야 합니다.

• 프롬프트 주입: 공격자는 악의적인 출력을 생성하기 위해 특정 프롬프트를 생성할 수 있습니다. 이는 LLM이 받은 프롬프트에 기반한 내용을 생성하는 경향을 악용하는 공격입니다. 사이버 보안 사용 사례에서 프롬프트 주입은 내부 공격 또는 시스템 출력을 변경하기 위해 프롬프트를 사용하는 비인가 사용자에 의해 발생할 수 있습니다. 이는 다른 시스템 사용자를 위해 부정확하거나 잘못된 출력을 생성할 수 있습니다.
• 데이터 중독: LLM이 의존하는 훈련 데이터는 의도적으로 손상될 수 있으며, 그 결정에 영향을 미칠 수 있습니다. 사이버 보안 환경에서, 조직은 도구 제공업체가 훈련한 모델을 사용할 가능성이 있습니다. 데이터 중독은 모델을 특정 고객과 사용 사례에 맞게 조정하는 동안 발생할 수 있습니다. 여기서의 위험은 악의적인 사용자가 모델 훈련을 손상시키기 위해 잘못된 데이터(예: 손상된 로그 파일)를 추가하는 것입니다. 또한, 허가된 사용자가 이를 실수로 수행할 수 있습니다. 결과는 잘못된 데이터에 기반한 LLM 출력이 됩니다.
• 환상: 이전에 언급한 바와 같이, LLM은 사실이 아닌, 비논리적이거나 심지어 악의적인 응답을 생성할 수 있습니다. 사이버 보안 사용 사례에서 환상은 위협 인텔리전스, 취약점 분류 및 수정, 기타 중요한 작업에서 치명적인 오류를 유발할 수 있습니다. 사이버 보안은 임무临界적인 활동이기 때문에, 이러한 상황에서 환상을 관리하고 방지하기 위해 LLM이 더 높은 기준을 충족해야 합니다.

AI 시스템이 더 강력해짐에 따라, 그들의 정보 보안 배치는 급속히 확장하고 있습니다. 명확히 말하자면, 많은 사이버 보안 회사들은 이미 패턴 매칭과 기계 학습을 사용하여 동적 필터링을 수행해 왔습니다. 생성적 AI 시대에 새로운 것은 기존 워크플로우와 데이터 풀 위에 지능의 계층을 제공하는 대화형 LLM입니다. 이는 사이버 보안 팀의 효율성을 향상시키고 그들의 능력을 강화하는 데 도움이 될 수 있습니다. 즉, GenAI는 보안 엔지니어가 동일한 자원으로 더 적은 노력으로 더 나은 성능과 가속된 프로세스를 달성하도록 도와줄 수 있습니다.