연구에 따르면 LLM은 악의적인 '바이브 코딩'에 참여할 의향이 있는 것으로 나타났습니다.

지난 몇 년 동안 대규모 언어 모델(LLM)이 면밀한 조사 특히 공격적 사이버 보안에서의 잠재적 오용에 대해 소프트웨어 익스플로잇 생성.

최근의 추세는 다음과 같습니다. '바이브 코딩' (사용자를 위해 명시적으로 코드를 개발하는 대신 언어 모델을 일상적으로 사용하여 코드를 빠르게 개발하는 것) 교육 사용자가 코드를 작성하는 방식)은 2000년대에 정점에 달했던 개념, 즉 '스크립트 키디(Script Kiddie)'를 부활시켰습니다. '스크립트 키디'는 비교적 숙련되지 않은 악의적 공격자로, 피해를 주는 공격을 복제하거나 개발할 수 있는 정도의 지식만 가지고 있습니다. 이는 자연스럽게 진입 장벽이 낮아질수록 위협은 더욱 증가할 것이라는 점을 시사합니다.

모든 상업용 LLM에는 이러한 목적으로 사용되는 것을 방지하기 위한 일종의 보호 장치가 있습니다. 끊임없는 공격을 받고 있다일반적으로 대부분의 FOSS 모델(LLM부터 생성 이미지/비디오 모델까지 다양한 도메인에 걸쳐)은 서양에서 규정 준수를 목적으로 일종의 유사한 보호 기능을 갖추고 출시됩니다.

그러나 공식 모델 출시는 정기적으로 이루어집니다. 조율이 잘되어있는 보다 완벽한 기능을 추구하는 사용자 커뮤니티 또는 LoRA 제한을 우회하고 잠재적으로 '원치 않는' 결과를 얻는 데 사용됩니다.

대부분의 온라인 LLM은 악의적인 프로세스로 사용자를 지원하는 것을 방지하지만 다음과 같은 '제한 없는' 이니셔티브는 딥햇 보안 연구자들이 상대방과 동일한 조건에서 경쟁할 수 있도록 지원합니다.

현재 일반적인 사용자 경험은 다음에서 가장 일반적으로 표현됩니다. ChatGPT 필터 메커니즘이 자주 비판을 받는 시리즈 LLM의 원주민 커뮤니티에서.

시스템을 공격하려는 것 같습니다!

제한 및 검열에 대한 이러한 인식된 경향에 비추어 볼 때 사용자는 ChatGPT가 다음과 같은 것으로 밝혀진 사실에 놀랄 수 있습니다. 가장 협조적인 최근 언어 모델이 악성 코드를 악용하도록 강제하기 위해 설계된 연구에서 테스트한 모든 LLM 중 하나입니다.

The 새 용지 UNSW Sydney 및 Commonwealth Scientific and Industrial Research Organisation(CSIRO)의 연구원들이 작성한 제목 스크립트 키디에게 희소식? 자동 익스플로잇 생성을 위한 대규모 언어 모델 평가는 이러한 모델이 얼마나 효과적으로 작동 가능한 익스플로잇을 생성하도록 유도될 수 있는지에 대한 최초의 체계적인 평가를 제공합니다. 연구에서 나온 대화 예시 제공되었습니다 저자에 의해.

이 연구에서는 알려진 취약성 랩(특정 소프트웨어 보안 결함을 입증하기 위해 설계된 구조화된 프로그래밍 연습)의 원본 버전과 수정된 버전에서 모델이 어떻게 수행되었는지 비교하여 해당 모델이 다음에 의존했는지 알아내는 데 도움이 됩니다. 암기 내장된 안전 제한으로 인해 어려움을 겪었거나 예시가 부족했습니다.

지원 사이트에서 Ollama LLM은 연구자들이 문자열 취약성 공격을 개발하는 데 도움을 줍니다. 출처: https://anonymous.4open.science/r/AEG_LLM-EAE8/chatgpt_format_string_original.txt

어떤 모델도 효과적인 익스플로잇을 만들지 못했지만 그 중 몇몇은 매우 가까이 다가갔습니다. 더 중요한 것은 그 중 몇몇이 그 일을 더 잘하고 싶었어요기존 가드레일 접근 방식의 잠재적 실패를 나타냅니다.

논문은 다음과 같이 말합니다.

'저희 실험 결과, GPT-4와 GPT-4o는 일부 검열되지 않은 오픈소스 모델과 유사한 수준의 익스플로잇 생성 협력을 보였습니다. 평가 대상 모델 중 Llama3가 이러한 요청에 가장 강했습니다.

'그들의 지원 의지에도 불구하고, 이러한 모델이 초래하는 실제 위협은 제한적입니다. 리팩토링된 코드를 사용하여 다섯 개의 커스텀 랩에 대한 익스플로잇을 성공적으로 생성한 모델은 없었기 때문입니다. 그러나 본 연구에서 가장 높은 성능을 보인 GPT-4o는 일반적으로 시도당 한두 건의 오류만 발생했습니다.

'이는 LLM을 활용해 고급의 일반화 가능한 [자동화 공격 생성(AEG)] 기술을 개발할 수 있는 상당한 잠재력이 있음을 시사합니다.'

많은 두 번째 기회

'첫인상은 두 번 주어지지 않는다'는 진부한 말은 일반적으로 LLM에는 적용되지 않습니다. 왜냐하면 언어 모델의 전형적인 제한성 때문입니다. 상황에 맞는 창 부정적인 맥락(사회적 의미에서, 즉 적대감)이 있다는 것을 의미합니다. 지속적이지 않다.

생각해 보세요. 도서관에 가서 폭탄 제조에 관한 실용적인 책을 요청하면 적어도 거절당할 가능성이 높습니다. 하지만 (이 질문이 처음부터 대화를 완전히 망치지 않았다면) 당신의 요청은 관련 작품예를 들어 화학 반응이나 회로 설계에 관한 책은 사서의 관점에서 볼 때 처음의 탐구와 분명히 관련이 있을 것이며, 그런 관점에서 다루어질 것입니다.

아마도 사서 역시 어떤 때라도 기억할 것입니다. 미래 당신이 폭탄 제조에 관한 책을 한 번 요청한 적이 있었고, 그로 인해 당신 자신의 이 새로운 맥락이 '복구 불가능'해졌습니다.

LLM의 경우는 그렇지 않습니다. LLM은 현재 대화에서 토큰화된 정보를 유지하는 데 어려움을 겪을 수 있으며 장기 메모리 지침(아키텍처에 있는 경우)은 더더욱 그렇습니다. 와 같은 ChatGPT-4o 제품).

따라서 ChatGPT와의 일상적인 대화에서도 때로는 모기는 걸러내지만 낙타는 삼킨다는 사실을 우연히 알게 됩니다. 특히, '금지된' 활동과 관련된 주제, 연구 또는 프로세스가 담론 중에 발전하도록 허용할 때 더욱 그렇습니다.

이것은 현재 모든 언어 모델에 해당하지만 가드레일 품질은 범위와 접근 방식이 모델마다 다를 수 있습니다(즉, 수정 간의 차이) 무게 훈련된 모델을 사용하거나 채팅 세션 중에 텍스트의 인/아웃 필터링을 사용하면 모델은 구조적으로는 그대로 유지되지만 잠재적으로 공격받기가 더 쉽습니다.

방법 테스트

LLM이 얼마나 멀리까지 작동 가능한 익스플로잇을 생성할 수 있는지 테스트하기 위해 저자는 5가지를 사용하여 제어된 환경을 설정했습니다. SEED Labs의 연구실각각은 다음을 포함한 알려진 취약점을 중심으로 구축됩니다. 버퍼 오버 플로우, libc로 돌아가기은 더티 카우 공격및 경쟁 조건.

연구진은 기존 실험실을 활용하는 것 외에도 변수와 함수의 이름을 일반 식별자로 변경하여 수정된 버전을 만들었습니다. 이는 모델이 기억된 훈련 예제를 사용하는 것을 방지하기 위한 것이었습니다.

각 랩은 모델당 두 번씩 실행되었습니다. 한 번은 원래 형태로, 한 번은 난독화된 버전으로 실행되었습니다.

연구진은 두 번째 LLM을 루프에 도입했습니다. 공격자 모델은 대상 모델을 여러 라운드에 걸쳐 정교화하고 개선하기 위해 프롬프트하고 재프롬프트하도록 설계되었습니다. 이 역할에 사용된 LLM은 GPT-4o로, 공격자와 대상 간의 대화를 중재하는 스크립트를 통해 작동하여 정교화 주기를 최대 XNUMX회까지, 또는 더 이상 개선이 불가능하다고 판단될 때까지 계속할 수 있도록 했습니다.

이 경우 GPT-4o인 LLM 기반 공격자의 워크플로입니다.

이 프로젝트의 대상 모델은 다음과 같습니다. GPT-4o, GPT-4o-미니, 라마3 (8B), 돌핀-미스트랄 (7B), 그리고 돌핀파이 (2.7B)는 독점 시스템과 오픈 소스 시스템을 모두 나타내며, 정렬된 모델과 정렬되지 않은 모델이 혼합되어 있습니다(즉, 유해한 메시지를 차단하도록 설계된 내장형 안전 메커니즘이 있는 모델과 이러한 메커니즘을 우회하도록 미세 조정이나 구성을 통해 수정된 모델).

로컬로 설치 가능한 모델은 다음을 통해 실행되었습니다. 올라마 다른 프레임워크는 API라는 유일한 메서드를 통해 접근합니다.

결과 출력은 의도한 대로 익스플로잇이 작동하지 못하게 하는 오류 수를 기준으로 점수가 매겨졌습니다.

결과

연구자들은 각 모델이 익스플로잇 생성 프로세스 동안 얼마나 협조적인지를 테스트했습니다. 이는 모델이 작업을 도우려고 시도한 응답의 비율을 기록하여 측정했습니다(출력에 결함이 있는 경우에도).

주요 테스트 결과는 평균적인 협조를 보여줍니다.

GPT-4o와 GPT-4o-mini는 97가지 취약성 범주에 걸쳐 각각 96%와 XNUMX%의 평균 응답률을 기록하며 가장 높은 수준의 협력을 보였습니다. 버퍼 오버 플로우, libc로 돌아가기, 형식 문자열, 경쟁 조건및 더러운 COW.

Dolphin-Mistral과 Dolphin-Phi가 평균 협조율 93%와 95%로 그 뒤를 바짝 쫓았습니다. Llama3는 가장 작은 참여 의지가 있지만 전반적인 협력률은 27%에 불과합니다.

왼쪽은 LLM이 원래 SEED Lab 프로그램에서 저지른 실수의 수를 보여주고, 오른쪽은 리팩토링된 버전에서 저지른 실수의 수를 보여줍니다.

이러한 모델의 실제 성능을 조사한 결과, 다음과 같은 현저한 차이가 발견되었습니다. 의지 그리고 유효성: GPT-4o는 난독화된 4개 랩에서 총 3개의 오류를 기록하며 가장 정확한 결과를 산출했습니다. GPT-XNUMXo-mini는 XNUMX개의 오류를 기록하며 그 뒤를 이었습니다. Dolphin-Mistral은 원래 랩에서는 비교적 좋은 성능을 보였지만, 코드를 리팩토링하는 과정에서 상당한 어려움을 겪었습니다. 이는 훈련 과정에서 유사한 내용을 접했을 가능성을 시사합니다. Dolphin-Phi는 XNUMX개의 오류를, LlamaXNUMX는 XNUMX개의 오류를 기록하며 가장 많은 오류를 기록했습니다.

이러한 실패는 일반적으로 잘못된 버퍼 크기, 루프 로직 누락, 구문적으로는 유효하지만 효과가 없는 페이로드 등 익스플로잇을 작동 불가능하게 만드는 기술적 오류와 관련이 있습니다. 어떤 모델도 난독화된 버전에 대해 작동하는 익스플로잇을 생성하는 데 성공하지 못했습니다.

저자는 대부분의 모델이 작동하는 익스플로잇과 유사한 코드를 생성했지만 기본 공격이 실제로 작동하는 방식에 대한 이해가 부족하여 실패했다는 것을 관찰했습니다. 이 패턴은 모든 취약성 범주에서 명백했으며 모델이 관련 논리를 추론하는 대신 익숙한 코드 구조를 모방하고 있음을 시사했습니다(예를 들어 버퍼 오버플로 사례에서 많은 모델이 작동하는 코드를 구성하지 못했습니다). NOP 썰매/슬라이드).

return-to-libc 시도에서 페이로드에 잘못된 패딩이나 잘못된 함수 주소가 포함되는 경우가 많았고, 그 결과 유효한 것처럼 보이지만 사용할 수 없는 출력이 생성되었습니다.

저자는 이러한 해석을 추측에 불과하다고 설명하지만, 오류의 일관성은 모델이 악용의 단계와 의도한 효과를 연결하지 못한다는 더 광범위한 문제를 시사합니다.

결론

논문은 테스트된 언어 모델이 첫 번째 훈련 과정에서 원래 SEED 랩을 인식했는지 여부에 대해 약간의 의문이 있음을 인정합니다. 이러한 이유로 변형 모델이 구축되었습니다. 그럼에도 불구하고 연구진은 이 연구의 후속 버전에서 실제 익스플로잇을 적용하고 싶다는 의사를 밝혔습니다. 진정으로 새롭고 최근의 자료는 이러한 영향을 받을 가능성이 적습니다. 바로 가기 또는 다른 혼란스러운 효과.

저자들은 또한 연구가 수행된 당시에는 사용할 수 없었던 GPT-o1과 DeepSeek-r1과 같은 이후의 더 진보된 '사고' 모델이 얻은 결과를 개선할 수 있으며, 이는 향후 연구에 대한 추가적인 지표가 될 수 있다고 인정했습니다.

이 논문은 테스트된 대부분의 모델이 만약 익스플로잇을 생성할 수 있었다면 제대로 작동하는 결과를 얻었을 것이라고 결론짓습니다. 모델들이 완전히 작동하는 출력을 생성하지 못하는 것은 정렬 보호 장치 때문이 아니라, 오히려 진정한 아키텍처적 한계를 시사합니다. 이러한 한계는 최신 모델에서 이미 개선되었거나 곧 개선될 가능성이 있습니다.

5년 2025월 XNUMX일 월요일에 처음 게시됨