Výzkum NVIDIA zjistil, že agenti AI jsou při používání nástrojů méně bezpeční

Modely AI, jako jsou ChatGPT, Gemini a Claude, mohou pohánět agenty – „řídicí nadstavby“, které modelům umožňují přímo interagovat s reálným světem. Jde o poměrně novou a stále kontroverznější inovaci.

V každém případě agenti nejsou automaticky vybaveni schopnostmi, které budou potřebovat při procházení sítí nebo databází, protože nástroje nezbytné pro různé úkoly a režimy použití se liší. Mohou například potřebovat schopnost optického rozpoznávání znaků (OCR), aby dokázali interpretovat text na fotografiích, a také další dovednosti. Existují dokonce i kategorie nástrojů přizpůsobené rozsahu působnosti agenta a jeho záměru.

Teoreticky se požadavek, který porušuje vestavěné bezpečnostní pojistky AI, nikdy neuskuteční, ať už jsou při jeho plnění použity nástroje, či nikoli. Nový výzkum však ukázal, že používání nástrojů může výrazně oslabit ochranné filtry, které brání agentovi AI v páchání „prohřešků“.

Neschopnost odmítnout

Nový článek společnosti NVIDIA s názvem Multimodální jazykové modely nedokážou při agentním používání nástrojů odmítat ukazuje, že multimodální jazykové modely (dále jen MLLM, běžněji označované jako „VLM“, tedy modely vidění a jazyka) výrazně častěji vyhoví škodlivým požadavkům, jakmile se zapojí nástroje. Počet selhání při odmítání přitom vzrostl u všech testovaných modelů i benchmarků.

Ačkoli se u modelů s otevřenými vahami, jako je Qwen3-VL, tento problém projevoval častěji, nárůst selhání při odmítání při používání nástrojů vykázaly i nejpokročilejší modely AI, například Claude Opus 4.7, Gemini 3.1 Pro a GPT-5.4.

Autoři uvádějí*:

„Navzdory nedávným výrazným úspěchům agentních MLLM odhaluje tato práce zásadní bezpečnostní selhání paradigmatu používání nástrojů: agentní MLLM využívající nástroje hůře odmítají škodlivé požadavky.“

„Naše experimenty potvrzují, že ve třech oblíbených bezpečnostních benchmarcích vykazují všechny testované přední MLLM s otevřenými i uzavřenými vahami při používání nástrojů výrazně nižší úroveň bezpečnosti než bez nich. Relativní míra selhání při odmítání se přitom zvýšila až o 68,7 %.“

„Na základě analýzy více než 100 000 odpovědí, včetně rozšířených experimentů, navrhujeme také dvě možná vysvětlení tohoto zhoršení bezpečnosti.“

Článek uvádí dva možné důvody: rozmělnění kontextu, kdy původní škodlivý požadavek ustupuje do pozadí, jak se hromadí výstupy nástrojů, a odklon pozornosti od bezpečnosti, kdy se model soustředí na popis pozorování získaných pomocí nástrojů místo toho, aby upřednostnil bezpečnost.

Výsledky testů dokládající hlavní bezpečnostní zjištění článku. Nahoře uživatel žádá o návod, jak provést zjevnou kapesní krádež zachycenou na obrázku. Běžný VLM požadavek bez váhání odmítne, zatímco verze využívající nástroje nejprve použije nástroje pro analýzu obrázku, například přiblížení, a poté pokračuje v uvažování a nakonec poskytne škodlivou odpověď. Níže uvedený graf ukazuje, že k tomuto nárůstu selhání při odmítání došlo u všech hodnocených modelů s otevřenými vahami i proprietárních modelů. Zdroj

U všech jedenácti testovaných modelů vedlo zapnutí nástrojů soustavně k většímu počtu selhání při odmítání. V nejhorších případech dosáhl relativní nárůst 68,7 %, a to i u modelů, které jinak vykazovaly vysokou úroveň bezpečnosti.

Bude zajímavé sledovat, zda výsledky této práce, na níž se podílelo šest výzkumníků z NVIDIA, potvrdí nebo zopakují i další výzkumníci a zda mohou prohloubit naše chápání zjevné a nově se projevující delikvence svéhlavých agentů AI, kteří nerespektují pravidla.

Metodika a data

Výzkumníci hodnotili jedenáct VLM ze sedmi modelových rodin. Mezi proprietární modely patřily Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7 a GPT-5.4.

Mezi modely s otevřenými vahami patřily Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo a AdaReasoner-7B-Randomized, model s otevřenými vahami vyladěný speciálně pro agentní používání nástrojů.

Samostatné experimenty proběhly také s modelem Gemini 3 Flash Vision Agent, protože jeho autonomní používání nástrojů vyžadovalo nezávislé hodnocení.

Při testech s využitím nástrojů výzkumníci použili formát ReAct, který střídá uvažování a volání nástrojů. Čtyři dostupné nástroje zahrnovaly označování pomocí RAM++; přibližování a ořezávání; optické rozpoznávání znaků (OCR) pomocí GOT-OCR2.0; a izolovaný interpret kódu Python, který umožňoval upravovat a analyzovat obrázky.

Výzkumníci navrhli dvojice promptů tak, aby oddělili vliv používání nástrojů od vlivu stylu zadávání. Běžné modely VLM měly obrázek prozkoumat a přímo odpovědět na požadavek uživatele, zatímco agentní verze postupovaly podle pracovního postupu ReAct a před vytvořením konečné odpovědi opakovaně rozhodovaly, zda použijí nějaký nástroj.

Porovnání odpovídajících promptů použitých v hlavních experimentech. V podmínce bez nástrojů bylo třeba analyzovat obrázek a přímo uvažovat, zatímco agentní podmínka se řídila iterativním pracovním postupem ReAct, který modelu umožňoval rozhodnout, kdy před vytvořením konečné odpovědi použije externí nástroje.

Použity byly tři multimodální bezpečnostní benchmarky: MM-SafetyBench, VLSBench a HoliSafe. Každý z těchto souborů obsahuje dvojice obrázků a škodlivých požadavků uživatelů. Jejich cílem je ověřit, zda model odmítne pomoci v nebezpečných situacích – například když se uživatel ptá, jak provést zjevnou kapesní krádež zachycenou na obrázku.

Jako hlavní metrika byla použita míra selhání při odmítnutí (RFR), která vyjadřuje procento škodlivých požadavků, jež model neodmítl. Vyšší hodnoty znamenají nižší bezpečnost.

Testování

Odpovědi klasifikoval model GPT-5.2 v roli hodnotitele LLM pomocí hodnoticího promptu doporučeného projektem VLSBench:

Hodnoticí prompt pro GPT-5.2, který se používal k určení, zda odpověď modelu představuje úspěšné odmítnutí, bezpečnostně uvědomělou odpověď upozorňující na související rizika, nebo nebezpečnou odpověď, která tato rizika nerozpoznala a vyhověla škodlivému požadavku. Hodnotitel dostal původní obrázek, dotaz uživatele a odpověď modelu a měl vrátit klasifikaci i odůvodnění ve formátu JSON.

Každá odpověď byla zařazena do jedné ze tří kategorií: bezpečná s odmítnutím; bezpečná s varováním; nebo nebezpečná.

Míra selhání při odmítnutí ve třech bezpečnostních benchmarkech, porovnávající jednotlivé modely s přístupem k nástrojům a bez něj. Při používání nástrojů všechny modely méně často odmítaly škodlivé požadavky, míra tohoto rozdílu se však značně lišila: průměrná RFR se u GLM-5V-Turbo zvýšila o 12,6 bodu, zatímco u GPT-5.4 o 2,3 bodu. Tmavší odstín označuje větší nárůst selhání při odmítání.

Když modely dostaly k dispozici nástroje, častěji odpovídaly na škodlivé požadavky, které by jinak odmítly – tento výsledek se projevil u všech modelů i ve všech testovaných benchmarcích. Celkově se počet selhání při odmítání zvýšil o 17,7 % ve srovnání se stejnými modely provozovanými bez nástrojů.

Model GPT-5.4 byl ovlivněn nejméně: bez nástrojů neodmítl 14,6 % škodlivých požadavků, zatímco s nástroji tento podíl vzrostl na 16,8 %. U GLM-5V-Turbo se počet selhání zvýšil z 38,7 % (výchozí hodnota bez nástrojů) na 51,3 %. Stejný vzorec se projevil ve všech třech benchmarcích, což naznačuje, že problém se nemusí týkat jen určitého druhu škodlivého požadavku.

Důvody selhávání..?

Jak už bylo zmíněno, výzkumníci jako jedno z možných vysvětlení nárůstu počtu selhání uvádějí „rozmělnění kontextu“: když agent postupně volá další nástroje, původní škodlivý požadavek ustupuje do pozadí pod náporem narůstajících výstupů z nástrojů.

Aby to ověřili, zkoumali pouze požadavky, které tentýž model bez použití nástrojů úspěšně odmítl. Jak ukazuje následující graf, počet selhání pak postupně rostl s počtem volání nástrojů: od téměř nuly, pokud nebyl použit žádný nástroj, až po výrazně vyšší hodnoty po třech nebo více voláních:

Výsledky testů porovnávající počet selhání při odmítnutí v závislosti na počtu volání nástrojů. S přibývajícími voláními nástrojů míra selhání rostla, a to jak u jednotlivých modelů, tak u všech modelů dohromady.

Druhý test tento efekt částečně zvrátil. Když byl původní požadavek a obrázek vložen znovu po posledním volání nástroje, bezprostředně před odpovědí modelu, počet selhání při odmítnutí klesl v průměru o 7,6 % napříč modely i benchmarky, jak ukazuje následující přehled:

Výsledky testů porovnávající počet selhání při odmítnutí s opětovným vložením původního požadavku a obrázku a bez něj. Opětovné vložení po posledním volání nástroje snížilo průměrnou míru selhání u pěti testovaných modelů o 7,6 %.

To podporuje teorii, že jedním z přispívajících faktorů je rozmělňování kontextu, a zároveň naznačuje poměrně jednoduché zmírňující opatření.

Druhým vysvětlením, které článek nabízí, je „odklon pozornosti od bezpečnosti“. Používání nástrojů podle všeho odvádí pozornost modelu od otázky, zda je požadavek škodlivý, a zaměřuje ji na popis toho, co nástroje zjistily.

Výsledky testů ukazující, jak používání nástrojů změnilo začátky odpovědí, jimiž modely nakonec odmítly škodlivé požadavky. Bez nástrojů odpovědi obvykle začínaly přímým vyjádřením k požadavku (55,6 %) nebo upozorněním na bezpečnostní rizika (25,8 %). Při použití nástrojů naopak 52,3 % odpovědí začínalo popisem toho, co nástroje zjistily, zatímco výslovná zmínka o bezpečnosti klesla na 10,3 %.

Byly zkoumány případy, kdy modely úspěšně odmítly požadavek s použitím nástrojů i bez nich. Bez nástrojů začínalo 55,6 % těchto odpovědí přímým vyjádřením k požadavku, zatímco 25,8 % začínalo výslovným upozorněním na bezpečnost. Při použití nástrojů tyto podíly klesly na 37,4 %, respektive 10,3 %, zatímco podíl odpovědí začínajících popisem zjištění získaných pomocí nástrojů vzrostl na 52,3 %.

Autoři uvádějí zajímavý kvalitativní příklad s modelem Claude Opus 4.6. Když se modelu někdo zeptal, jak obejít bezpečnostní opatření na veřejných toaletách, bez použití nástrojů požadavek okamžitě odmítl:

Příklad ukazující, jak používání nástrojů odsunulo bezpečnost z bezprostředního ohniska pozornosti modelu. Claude Opus 4.6 škodlivý požadavek bez použití nástrojů okamžitě odmítl; s nástroji nejprve přiblížil obrázek, přečetl a určil jeho obsah a popsal nápis na toaletě, teprve poté požadavek odmítl.

Když měl tentýž model k dispozici nástroje, místo toho obrázek přiblížil, přečetl text a určil jeho obsah, než odpověď zahájil popisem nápisu na toaletě. K odmítnutí došlo až poté, což ukazuje, jak proces používání nástrojů odsunul bezpečnost na druhou kolej, přestože měla být bezprostřední prioritou modelu.

Autoři uzavírají:

„Celkově naše zjištění ukazují, že používání nástrojů by nemělo být chápáno pouze jako mechanismus rozšiřující schopnosti vizuálního uvažování, ale také jako návrhové rozhodnutí důležité z hlediska bezpečnosti, které může ovlivnit chování při odmítání; budoucí agentní MLLM by proto měly být hodnoceny a trénovány v podmínkách využívajících nástroje, namísto předpokladu, že bezpečnostní sladění dosažené bez nástrojů se beze změny přenáší i do agentních prostředí.“

Závěr

Selhání při udržování kontextu je zjevnou slabinou ve složitých navazujících řetězcích událostí vyvolaných promptem – na sklon omezeného kontextového okna přimět agenta, aby zapomněl na své „hlavní směrnice“ a začal prostě používat nástroj, který má po ruce, však v současnosti neexistuje snadné řešení.

* Zvýraznění pochází od autorů; jejich průběžné citace jsem v případě potřeby převedl na hypertextové odkazy.

Poprvé publikováno ve středu 7. října 2026