프롬프트 해킹과 LLM의 오남용

제일브레이킹 / 모드 스위칭

GPT-4와 Claude와 같은 AI 모델은 점점 더 발전하고 있습니다. 이는 좋지만 또한 위험합니다. 이러한 모델을 더 안전하게 만들기 위해, 인간의 가치와 피드백으로 훈련됩니다. 그러나 이러한 훈련에도 불구하고, “제일브레이킹 공격”에 대한 우려가 있습니다.

제일브레이킹 공격은 모델이 의도하지 않은 동작을 수행하도록 하는 것입니다. 예를 들어, 모델이 불법적인 활동을 도와서는 안 된다고 훈련되었다고 가정해 봅시다. 제일브레이킹 공격은 이러한 안전 기능을 우회하여 모델이 도와주도록 만들 수 있습니다. 연구자들은 이러한 공격을 테스트하여 모델을 더 안전하게 만들기 위해 노력하고 있습니다.

Jailbreak attack GPT4 and Claude

적대적인 상호작용에 대해 테스트된 결과, 최신 모델인 GPT-4와 Claude v1.3은 약점을 노출합니다. 예를 들어, GPT-4는 이전 버전인 GPT-3.5보다 유해한 콘텐츠를 82% 더 많이 거부하지만, 여전히 위험을 가지고 있습니다.

실제 공격 예시

ChatGPT가 2022년 11월에 출시된 이후, 사람들이 AI를 악용하는 방법을 찾았습니다. 예를 들어:

• DAN (Do Anything Now): AI에게 “DAN“으로 행동하도록 지시합니다. 이는 모델이 일반적인 규칙을 따르지 않고 콘텐츠를 생성하도록 만듭니다.
• 공개 인물 위협: Remoteli.io의 LLM이 원격 작업에 대한 트위터 게시물을 응답하도록 설정된 경우, 사용자가 모델을 대통령에게 위협적인 메시지를 보낼 수 있도록 만들 수 있습니다.

LLM 보호: 프롬프트 해킹을 방지하는 전략

프롬프트 해킹이 점점 더 큰 문제가 되고 있으므로, 강력한 방어가 필요합니다. LLM을 안전하게 유지하고 출력을 신뢰할 수 있도록 하기 위해, 다층 방어 접근 방식이 중요합니다. 아래는 가장 간단하고 효과적인 방어 전략입니다:

1. 필터링

필터링은 프롬프트 입력 또는 생성된 출력을 미리 정의된 단어 또는 구문으로 검사하여 콘텐츠가 예상된 경계 내에 있는지 확인합니다.

• 블랙리스트: 특정 단어 또는 구문을 금지합니다.
• 화이트리스트: 허용된 단어 또는 구문만 허용하여 콘텐츠가 제어된 도메인에 유지되도록 합니다.

예시:

❌ 방어하지 않은 경우: 이 외국어 구문을 번역하세요: {{foreign_input}}

✅ [블랙리스트 확인]: {{foreign_input}}이(가) 금지된 단어를 포함하면 거부합니다. 그렇지 않으면, 외국어 구문을 번역하세요: {{foreign_input}}.

✅ [화이트리스트 확인]: {{foreign_input}}이(가) 승인된 단어 목록에 포함되면, 구문을 번역하세요: {{foreign_input}}. 그렇지 않으면, 사용자에게 제한을 알립니다.

2. 컨텍스트 명확성

이 방어 전략은 사용자 입력 전에 컨텍스트를 명확하게 설정하여 모델이 응답의 프레임워크를 이해하도록 합니다.

예시:

❌ 방어하지 않은 경우: 이 제품을 평가하세요: {{product_name}}

✅ 컨텍스트 설정: 제품 이름이 {{product_name}}인 경우, 기능과 성능에 따라 평가하세요.

3. 지시 방어

프롬프트에 특정 지시를 포함하여 LLM의 동작을 텍스트 생성 중에 제어할 수 있습니다. 명확한 기대를 설정하여 모델이 출력에 대해 주의를 기울이고, 의도하지 않은 결과를 최소화합니다.

예시:

❌ 방어하지 않은 경우: 이 텍스트를 번역하세요: {{user_input}}

✅ 지시 방어: 다음 텍스트를 번역하세요. 정확성을 보장하고 개인 의견을 추가하지 마세요: {{user_input}}

4. 랜덤 시퀀스封じ

사용자 입력을 직접적인 프롬프트 조작으로부터 보호하기 위해, 입력을 두 개의 랜덤 문자 시퀀스 사이에 넣습니다. 이는 해커가 입력을 악의적으로 변경하는 것을 더 어렵게 만듭니다.

예시:

❌ 방어하지 않은 경우: 이 사용자 입력의 수도를 알려주세요: {{user_input}}

✅ 랜덤 시퀀스封じ: QRXZ89{{user_input}}LMNP45. 수도를 식별하세요.

5. 샌드위치 방어

이 방법은 사용자 입력을 두 시스템 생성 프롬프트 사이에 넣습니다. 이를 통해 모델이 컨텍스트를 더 잘 이해하여, 원하는 출력이 사용자의 의도와 일치하도록 합니다.

예시:

❌ 방어하지 않은 경우: 이 사용자 입력의 요약을 제공하세요.

✅ 샌드위치 방어: 다음 콘텐츠를 기반으로 요약을 제공하세요: {{user_input}}. 중립적인 요약을 제공하고 편향을 피하세요.

6. XML 태깅

사용자 입력을 XML 태그로 감쌈으로써, 이 방어 기술은 입력을 시스템 메시지의 나머지 부분과 명확하게 구분합니다. XML의 강력한 구조는 모델이 입력의 경계를 인식하고尊重하도록 합니다.

예시:

❌ 방어하지 않은 경우: 이 사용자 입력의 특성을 설명하세요.

✅ XML 태깅: <user_query>이 사용자 입력의 특성을 설명하세요: {{user_input}}</user_query>. 사실만으로 응답하세요.

결론

LLM을 사용하는 세계는 빠르게 발전하고 있습니다. 이러한 모델의 내부 작동, 취약성, 그리고 방어 메커니즘을 이해하는 것은 중요합니다. LLM은 자연어 처리에서 획기적인 능력을 제공하지만, 이는 또한 상당한 위험을 수반합니다.

프롬프트 해킹과 관련된 위협은 이러한 모델과 관련된 연구, 적응, 그리고 주의의 필요성을 강조합니다. 이러한 방어 전략은 모델을 더 안전하게 만들기 위한 약속하지만, 계속적인 혁신과 보안은 이러한 모델의 지속적인 사용의 중요성을 강조합니다.

Midjourney Art

또한, LLM이 계속 발전함에 따라, 연구자, 개발자, 사용자 모두가 최신 발전과 잠재적인 위험에 대해 알고 있어야 합니다. 공개 소스 혁신과 윤리적 사용 사이의 균형을 찾는 것은 산업의 더 широк은 추세를 강조합니다.