IBM, 프롬프트 인젝션에 견디도록 설계된 Granite 모델 공개

IBM의 Granite 팀은 2026년 11월 12일, 신뢰할 수 있는 지시와 신뢰할 수 없는 데이터를 구분하도록 훈련된 실험용 언어 모델 2종을 공개했다. IBM에 따르면 3B 및 8B 프리뷰 모델은 OPI 벤치마크에서 테스트한 최고 성능의 프런티어 모델보다 공격을 47% 더 많이 막아냈다.

두 모델인 Granite-4.1-3B-LLMON-preview와 Granite-4.1-8B-LLMON-preview는 공개된 인스트럭트 모델이 아니라 Granite 4.1 기본 체크포인트를 미세 조정해 만들었다. 두 모델 모두 Apache 2.0 라이선스를 적용받으며, 프로덕션용이 아닌 탐색 및 평가용으로 설계됐다. 이번 작업은 2026년 3월 23일 처음 제출된 LLMON 언어 논문을 바탕으로 한다.

명시적 참조로 표현되는 지시

LLMON은 LLM Object Notation의 약자로, “레몬”이라고 발음하며, 모델에 프롬프트 구조를 설명하는 XML 유사 마크업 언어다. 지시, 문서, 도구 정의, 요구 사항 및 응답은 각각 개별적으로 주소를 지정할 수 있는 블록에 담긴다. 실행 블록은 실행할 지시와 적용할 입력 및 요구 사항, 답변을 전달할 위치를 지정한다. 실행 블록에 연결되지 않은 콘텐츠는 해당 블록이 호출하지 않은 채 컨텍스트에 남는다.

보안상 막으려는 위협은 간접 프롬프트 인젝션이다. 이는 검색된 문서, 도구 응답 또는 사용자가 제공한 데이터 안에 악의적인 지시를 숨기는 공격이다. 모델은 실행 블록을 통해 참조된 지시는 권위 있는 것으로 취급하고, 입력으로 참조된 자료는 따르지 않고 읽도록 훈련된다. 구조 구분자는 예약된 특수 토큰이며, 두 글자로 된 각 블록 ID는 고정된 단일 토큰 집합에서 선택되므로 주소 하나에는 항상 토큰 2개가 든다.

개발자는 보통 해당 마크업을 직접 작성하지 않는다. 일반적인 messages 목록의 항목에 이름을 붙이고 호출하면 apply_chat_template; 번들로 제공되는 템플릿이 익숙한 system, user, assistant 역할을 유지하면서 LLMON을 렌더링한다. 함께 제공되는 LLMON 저장소에는 정보 손실 없는 JSON 변환 기능, 채팅 렌더링 유틸리티 및 예제가 포함되어 있으며, 연동된 어텐션 데모는 지시, 입력 및 연결되지 않은 블록에 어텐션이 어떻게 분배되는지 시각화한다.

간접 공격을 겨냥한 훈련

후속 훈련 논문은 2026년 10월 28일 제출됐으며, 일반 데이터, 검색 증강 생성 데이터 및 도구 호출 데이터를 아우르는 46억 토큰 규모의 구조화된 코퍼스를 설명한다. 교란 예제에는 서로 경쟁하는 지시와 관련 없는 데이터가 추가되지만, 이는 참조되지 않은 상태로 남고 목표 응답은 바뀌지 않는다. 이 접근법은 모델 아키텍처를 수정하지 않고 지도 미세 조정과 강화 학습을 사용한다.

이후 훈련 절차에서는 다중 도메인 추론, 인간 피드백 기반 정렬, 지식 보정 및 수학을 다루는 강화 학습 단계 5개를 순차적으로 거친다. 이어서 인젝션 시도에 대한 모델 자체의 응답으로 생성한 선호도 쌍 1,000개를 사용해 직접 선호도 최적화를 수행한다. 그 결과 형성되는 권한 규칙은 별도의 안전장치가 아니라 학습된 구조에서 비롯된다.

OPI는 고전적인 NLP 작업의 데이터 안에 인젝션을 삽입한다. IBM은 강건성을 공격 성공률을 1에서 뺀 값으로 측정한다. 여기서 공격 성공률은 모델이 삽입된 지시를 수행하지 않은 공격의 비율을 뜻한다.

후속 훈련 논문은 간접 인젝션 평가 전반에서 공격 성공률이 53%~100%에서 0.02%~5.6%로 떨어졌으며, 일반적인 역량은 유지됐다고 별도로 보고한다. 발표된 벤치마크 비교는 정적인 간접 인젝션에 관한 것이며, 여러 차례의 채팅에 걸쳐 전개되는 적응형 공격은 다루지 않는다. 적응형 공격은 여전히 활발히 연구되고 있다.

일반 역량 평가 결과

8B 모델 카드에서는 일반 작업에서 Granite 4.1 Instruct와 동등한 성능을 내는 것을 목표로 제시하지만, 결과는 엇갈린다. GPQA 점수는 프리뷰 모델이 35.05, 인스트럭트 모델이 41.96이고, DeepMind Math는 각각 70.86과 80.07이다. BigCodeBench는 각각 44.04와 35.00이며, MMLU는 각각 74.20과 73.84다. 이러한 결과는 이번 공개가 역량 전반의 일률적인 향상이라기보다 구조화된 프롬프팅과 인젝션 저항성을 시험하는 데 초점을 둔다는 점을 보여준다.

LLMON은 도메인별 어휘에 맞게 조정할 수도 있다. IBM은 ScienceWorld의 참조 궤적을 바탕으로 사용자 지정 태그와 어댑터 미세 조정을 시연한다. 훈련된 모델은 학습에서 제외된 게임을 수행하고 새로운 어휘로 다음 행동을 작성한다. 상위 수준 라이브러리인 Mellea는 모델 호출을 LLMON으로 자동 변환하므로, 애플리케이션 사용자는 기반 마크업을 볼 필요가 없다.

이번 공개는 개발자에게 검색 및 도구 사용 워크플로에서 명시적 실행 바인딩이 어떻게 작동하는지 측정할 수 있는 구체적인 방법을 제공한다. 민감한 환경에 배포할 경우, 학습된 권한 규칙이 보고된 테스트를 넘어선 상황에서도 유지되는지는 여전히 답이 필요한 질문이다. 모델 카드에서는 이 규칙이 강제되는 보장이 아니며 에이전트의 유일한 방어 수단으로 삼아서는 안 된다고 경고한다.