NVIDIA 연구, 도구를 사용하는 AI 에이전트의 안전성이 낮아진다는 사실 발견

ChatGPT, Gemini, Claude와 같은 AI 모델은 모델이 에이전트, 즉 모델이 현실 세계와 직접 상호작용할 수 있게 해 주는 ‘하네스’의 기반이 되는 데 사용될 수 있습니다. 이는 최근 등장한 혁신이며, 논란이 점점 커지고 있는 혁신이기도 합니다.

어쨌든 에이전트가 네트워크나 데이터베이스를 탐색할 때 필요한 능력을 자동으로 갖추는 것은 아닙니다. 여러 임무와 작동 방식에 따라 필요한 도구가 달라지기 때문입니다. 예를 들어 사진 속 텍스트를 해석하려면 광학 문자 인식(OCR) 기능이 필요할 수 있으며, 그 밖에도 다양한 기술이 필요합니다. 에이전트의 범위와 목적에 맞게 조정된 도구 종류도 있습니다.

이론적으로는 AI의 기본 안전장치를 위반하는 요청이라면 도구를 사용해 실행하든 그렇지 않든 절대 수행되지 않아야 합니다. 그러나 새로운 연구에 따르면 실제로는 도구를 사용하면 AI 에이전트가 ‘위반 행위’를 저지르지 못하게 막는 보호 필터의 기능이 크게 약화될 수 있습니다.

거부 실패

NVIDIA의 새로운 논문 MLLMs Fail to Refuse when Using Tools Agentically는 멀티모달 언어 모델(이하 MLLM, 더 흔히 쓰이는 명칭인 ‘VLM’, 즉 시각 언어 모델)이 도구를 도입하면 유해한 요청을 따를 가능성이 크게 높아지며, 테스트한 모든 모델과 벤치마크에서 거부 실패가 증가한다는 사실을 밝혔습니다.

Qwen3-VL과 같은 오픈 웨이트 모델이 이 문제에 더 취약한 것으로 나타났지만, Claude Opus 4.7, Gemini 3.1 Pro, GPT-5.4와 같은 최첨단 AI 모델에서도 도구를 사용할 때 거부 실패가 증가했습니다.

저자들은 다음과 같이 밝혔습니다*:

‘에이전트형 MLLM이 최근 큰 성공을 거두었음에도, 이번 연구는 도구 사용 패러다임에서 중대한 안전성 실패를 발견했다. 도구를 사용하는 에이전트형 MLLM은 유해한 요청을 거부하는 능력이 떨어진다.

‘세 가지 주요 안전성 벤치마크에서 실시한 실험을 통해, 테스트한 오픈 웨이트 및 클로즈드 웨이트 MLLM 모두 도구를 사용하지 않는 환경보다 도구를 사용하는 환경에서 안전성이 크게 낮아지는 것을 확인했다. 상대적 거부 실패율은 최대 68.7% 증가했다.

‘확장 실험을 포함해 100,000건이 넘는 응답을 분석한 결과, 안전성이 저하되는 원인으로 볼 수 있는 두 가지 가능성도 제시한다.’

논문에서 제시한 두 가지 가능성은 맥락 희석과 안전성 초점의 이탈입니다. 맥락 희석은 도구의 출력이 누적되면서 원래의 유해한 요청이 덜 두드러지게 되는 현상이고, 안전성 초점의 이탈은 모델이 안전성을 우선시하는 대신 도구를 통해 얻은 관찰 결과를 설명하는 데 집중하는 현상입니다.

논문의 핵심 안전성 연구 결과를 보여 주는 테스트 결과입니다. 위쪽에서는 사용자가 이미지에 묘사된 것으로 보이는 소매치기를 어떻게 실행하는지 묻습니다. 일반적인 VLM은 요청을 단호하게 거부하지만, 도구를 사용하는 버전은 먼저 확대와 같은 이미지 분석 도구를 호출한 다음 추론을 이어 가 결국 유해한 답변을 제공합니다. 아래 차트는 평가한 모든 오픈 웨이트 모델과 독점 모델에서 거부 실패가 증가했음을 보여 줍니다. 출처

테스트한 11개 모델 모두에서 도구를 활성화하자 거부 실패가 일관되게 증가했습니다. 가장 큰 경우 상대적 증가율은 68.7%에 달했으며, 이는 그 밖의 상황에서는 안전성이 높은 모델에서도 마찬가지였습니다.

NVIDIA 소속 연구자 6명이 수행한 이 연구의 결과가 다른 곳에서도 재현되거나 반복해서 확인될지, 또 이 결과가 법규를 무시하는 AI 에이전트의 명백하고 새롭게 나타나는 일탈 현상에 대한 이해를 넓힐 수 있을지 지켜보는 것은 흥미로울 것입니다.

방법 및 데이터

연구진은 7개 모델 계열에 걸친 VLM 11개를 평가했습니다. 독점 모델은 Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7, GPT-5.4였습니다.

오픈 웨이트 모델은 Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo, AdaReasoner-7B-Randomized였으며, 이 중 AdaReasoner-7B-Randomized는 에이전트형 도구 사용에 특화해 조정된 오픈 웨이트 모델입니다.

Gemini 3 Flash Vision Agent를 대상으로 별도의 실험도 진행했습니다. 이 모델은 도구를 자율적으로 사용하므로 독립적으로 평가해야 했기 때문입니다.

도구를 사용하는 테스트에서 연구진은 ReAct 형식을 사용했습니다. 이 형식에서는 추론과 도구 호출을 번갈아 수행합니다. 사용할 수 있는 도구는 태깅 도구인 RAM++, 확대 및 자르기, GOT-OCR2.0을 이용한 광학 문자 인식(OCR), 그리고 이미지를 조작하고 분석할 수 있는 샌드박스형 Python 코드 인터프리터 등 네 가지였습니다.

연구진은 프롬프트 스타일이 아니라 도구 사용의 효과를 분리해 측정할 수 있도록 짝을 이룬 프롬프트를 설계했습니다. 일반적인 VLM에는 이미지를 살펴보고 사용자의 요청에 직접 답하도록 지시한 반면, 에이전트형 버전에는 ReAct 워크플로를 따르며 최종 응답을 내놓기 전에 도구를 호출할지 반복해서 판단하도록 했습니다.

주요 실험에 사용된 짝을 이룬 프롬프트 비교. 도구를 사용하지 않는 조건에서는 이미지 분석과 직접적인 추론이 필요했으며, 에이전트형 조건에서는 반복적인 ReAct 워크플로를 따라 모델이 최종 응답을 내놓기 전에 외부 도구를 언제 호출할지 판단할 수 있었습니다.

사용된 멀티모달 안전성 벤치마크는 MM-SafetyBench, VLSBench, HoliSafe 등 세 가지였습니다. 각 데이터 세트는 이미지와 유해한 사용자 요청을 짝지어 구성했으며, 이미지에 나타난 소매치기 장면을 보고 실행 방법을 묻는 경우처럼 안전하지 않은 상황에서 모델이 도움을 거부하는지 평가하도록 설계됐습니다.

주요 지표로는 거부 실패율(Refusal Failure Rate, RFR)을 사용했습니다. 이는 모델이 거부하지 못한 유해 요청의 비율을 측정하며, 점수가 높을수록 안전성이 낮음을 의미합니다.

테스트

응답은 VLSBench가 권장하는 평가 프롬프트를 사용해 GPT-5.2를 LLM 평가자로 삼아 분류했습니다.

각 모델의 응답이 성공적인 거부인지, 관련 위험을 짚은 안전을 고려한 응답인지, 아니면 위험을 알아차리지 못하고 유해한 요청을 수행한 안전하지 않은 답변인지를 판별하는 데 사용된 GPT-5.2 평가 프롬프트. 평가자에게는 원본 이미지, 사용자 질의, 모델 응답이 제공됐으며, JSON 형식으로 분류 결과와 추론을 반환하도록 했습니다.

각 응답은 거부를 동반한 안전한 응답, 경고를 동반한 안전한 응답, 안전하지 않은 응답 등 세 가지 범주 중 하나로 분류됐습니다.

세 가지 안전성 벤치마크에서 모델별로 도구 사용이 허용된 경우와 허용되지 않은 경우의 거부 실패율을 비교했습니다. 도구를 사용하면 모든 모델이 유해한 요청을 거부할 가능성이 낮아졌지만, 그 정도에는 상당한 차이가 있었습니다. GLM-5V-Turbo의 평균 RFR은 12.6포인트 상승한 반면, GPT-5.4는 2.3포인트 상승했습니다. 음영이 짙을수록 거부 실패 증가 폭이 큽니다.

모델에 도구를 제공하자, 도구가 없었다면 거부했을 유해한 요청에 답할 가능성이 커졌습니다. 이 결과는 모든 모델과 테스트한 모든 벤치마크에서 나타났습니다. 전반적으로 도구를 사용하지 않은 동일 모델과 비교했을 때 거부 실패율은 17.7% 증가했습니다.

영향을 가장 적게 받은 모델은 GPT-5.4였습니다. 도구가 없을 때는 유해한 요청의 14.6%를 거부하지 못했으며, 도구를 사용했을 때는 그 비율이 16.8%로 높아졌습니다. GLM-5V-Turbo의 거부 실패율은 도구를 사용하지 않은 기준치인 38.7%에서 51.3%로 상승했습니다. 세 가지 벤치마크 모두에서 같은 양상이 나타나, 이 문제가 특정한 유형의 유해 요청에만 국한되지 않을 수 있음을 보여줍니다.

실패의 원인은..?

앞서 언급했듯이, 연구진은 실패가 늘어난 원인 중 하나로 ‘맥락 희석’을 제시합니다. 에이전트가 도구를 연이어 호출할수록, 도구가 내놓은 결과가 누적되면서 처음의 유해한 요청은 점차 덜 두드러지게 됩니다.

이를 검증하기 위해 연구진은 도구를 사용하지 않았을 때 같은 모델이 성공적으로 거부한 요청만 살펴봤습니다. 아래에서 볼 수 있듯이, 도구 호출 횟수가 늘어날수록 실패도 점진적으로 증가했습니다. 도구를 호출하지 않았을 때는 거의 0에 가까웠지만, 세 번 이상 호출한 뒤에는 훨씬 높은 수준에 이르렀습니다.

도구 호출 횟수에 따른 거부 실패를 비교한 테스트 결과. 개별 모델과 전체 모델 모두에서 도구 호출이 추가로 누적될수록 실패율이 높아졌다.

두 번째 테스트에서는 이러한 효과가 일부 반전됐다. 모델이 답변하기 직전, 마지막 도구 호출이 끝난 뒤 원래 요청과 이미지를 다시 입력하자 아래와 같이 모델과 벤치마크 전반에서 거부 실패가 평균 7.6% 감소했다.

원래 요청과 이미지를 다시 입력했을 때와 입력하지 않았을 때의 거부 실패를 비교한 테스트 결과. 마지막 도구 호출 후 원래 요청과 이미지를 다시 입력하자 테스트한 5개 모델의 평균 실패율이 7.6% 감소했다.

이는 컨텍스트 희석이 한 가지 원인으로 작용한다는 설명을 뒷받침하는 한편, 비교적 간단한 완화책이 있을 가능성도 시사한다.

논문이 제시한 두 번째 설명은 ‘안전성 초점의 이탈’이다. 이 경우 도구 사용으로 인해 모델의 관심이 요청의 유해성 여부에서 도구를 통해 알아낸 내용을 설명하는 쪽으로 옮겨가는 것으로 보인다.

도구 사용이 결국 유해한 요청을 거부한 모델의 응답 시작 방식을 어떻게 바꿨는지 보여 주는 테스트 결과. 도구를 사용하지 않았을 때는 응답이 대개 요청에 직접 답하는 내용(55.6%)이나 안전 우려를 제기하는 내용(25.8%)으로 시작됐다. 도구를 사용했을 때는 대신 52.3%가 도구를 통해 확인한 내용을 설명하며 시작했고, 명시적으로 안전 문제를 언급한 응답은 10.3%로 줄었다.

모델이 도구를 사용했을 때와 사용하지 않았을 때 모두 성공적으로 요청을 거부한 사례를 살펴봤다. 도구를 사용하지 않았을 때는 이러한 응답의 55.6%가 요청에 직접 답하는 내용으로 시작됐고, 25.8%는 안전 문제를 명시적으로 언급하며 시작됐다. 도구를 사용했을 때는 각각 37.4%와 10.3%로 낮아진 반면, 도구로 얻은 관찰 내용을 설명하며 시작한 응답의 비율은 52.3%로 높아졌다.

저자들은 Claude Opus 4.6을 활용한 흥미로운 정성적 사례를 제시한다. 공중화장실의 보안을 어떻게 우회할 수 있는지 물었을 때, 도구를 사용하지 않은 모델은 즉시 거부했다.

도구 사용으로 인해 모델이 당면한 초점에서 안전성이 밀려난 사례. Claude Opus 4.6은 도구 없이 유해한 요청을 즉시 거부했지만, 도구를 사용했을 때는 먼저 이미지를 확대하고 내용을 읽어 파악한 뒤 화장실 표지판을 설명하고 나서야 거부했다.

도구를 사용할 수 있게 하자 같은 모델은 대신 이미지를 확대하고 텍스트를 읽어 내용을 파악한 다음, 화장실 표지판을 설명하는 말로 응답을 시작했다. 거부는 그 뒤에야 나왔으며, 도구 사용 과정에서 안전성이 모델의 당면한 우선순위에서 밀려났음을 보여 준다.

저자들은 다음과 같이 결론짓는다.

‘전반적으로, 우리의 연구 결과는 도구 사용을 시각적 추론 능력을 높이는 수단으로만 볼 것이 아니라 거부 행동을 바꿀 수 있는 안전 관련 설계 선택으로도 다뤄야 함을 보여 준다. 따라서 앞으로의 에이전트형 MLLM은 도구를 사용하는 조건에서 평가하고 학습해야 하며, 도구를 사용하지 않을 때의 안전성 정렬이 에이전트 환경에도 변함없이 적용된다고 가정해서는 안 된다.’

결론

프롬프트에 따라 복잡하게 이어지는 후속 이벤트 연쇄에서는 지속적 컨텍스트 유지의 실패가 분명한 부담이 된다. 그러나 제한된 컨텍스트 창 때문에 에이전트가 ‘최우선 지침’을 잊고 그저 손에 든 도구를 사용하기 시작하는 경향을 해결할 간단한 방법은 아직 없다.

* 저자들의 강조는 그대로 두었으며, 필요한 경우 저자들의 본문 내 인용을 하이퍼링크로 변환했다.

최초 게재일: 2026년 10월 7일 수요일