IBM uvádí modely Granite navržené tak, aby odolávaly injekci promptu

Tým Granite společnosti IBM uvedl 12. listopadu 2026 dva experimentální jazykové modely vytrénované k rozlišování důvěryhodných instrukcí od nedůvěryhodných dat. Podle IBM náhledové verze 3B a 8B odolaly o 47 % většímu počtu útoků než nejlepší model na špičce oboru, který společnost testovala v benchmarku OPI.

Dva modely, Granite-4.1-3B-LLMON-preview a Granite-4.1-8B-LLMON-preview, byly doladěny na základě základních checkpointů Granite 4.1, nikoli vydaných instrukčních modelů. Oba jsou licencovány pod Apache 2.0 a jsou určeny k průzkumu a vyhodnocování, nikoli k produkčnímu nasazení. Tato práce navazuje na článek o jazyce LLMON, který byl poprvé předložen 23. března 2026.

Instrukce se mění v explicitní odkazy

LLMON, zkratka pro notaci objektů LLM a vyslovovaná „lemon“, je značkovací jazyk podobný XML, který slouží k popisu struktury promptu pro model. Instrukce, dokumenty, definice nástrojů, požadavky a odpovědi jsou umístěny do bloků, na něž lze jednotlivě odkazovat. Vykonávací blok určuje, kterou instrukci spustit, které vstupy a požadavky se uplatní a kam má být umístěna odpověď; nenavázaný obsah zůstává v kontextu, aniž by na něj tento blok odkazoval.

Cílem zabezpečení je nepřímá injekce promptu, při níž je škodlivá instrukce skryta v načteném dokumentu, odpovědi nástroje nebo datech dodaných uživatelem. Modely se trénují tak, aby instrukce, na které odkazuje vykonávací blok, považovaly za závazné, zatímco materiál, na který se odkazuje jako na vstup, pouze četly, nikoli poslouchaly. Strukturální oddělovače jsou vyhrazené speciální tokeny a každý dvouznakový identifikátor bloku se vybírá z pevné sady, jejíž prvky tvoří jediný token, takže adresa vždy stojí dva tokeny.

Vývojáři tento značkovací jazyk obvykle nepíšou sami. Mohou pojmenovat části běžného messages seznamu a zavolat apply_chat_template; přiložená šablona vykreslí LLMON a zároveň zachová známé role systému, uživatele a asistenta. Doprovodný repozitář LLMON nabízí bezeztrátový převod JSON, nástroje pro vykreslování chatů a příklady. Propojená ukázka pozornosti znázorňuje, jak se pozornost rozděluje mezi bloky instrukcí, vstupů a nenavázaného obsahu.

Trénink cílí na nepřímé útoky

Studie o následném trénování, předložená 28. října 2026, popisuje strukturovaný korpus o 4,6 miliardy tokenů, který zahrnuje data pro obecné úlohy, generování rozšířené o vyhledávání a volání nástrojů. Příklady s rušivými prvky přidávají konkurenční instrukce a nerelevantní data, na která se neodkazuje, zatímco cílová odpověď zůstává beze změny. Tento přístup využívá supervizované dolaďování a posilované učení, aniž by se měnila architektura modelu.

Postup trénování pak zahrnuje pět navazujících fází posilovaného učení zaměřených na uvažování v různých doménách, sladění s lidskou zpětnou vazbou, kalibraci znalostí a matematiku. Následuje přímá optimalizace preferencí na 1 000 párech preferencí vytvořených z vlastních odpovědí modelu na pokusy o injekci. Pravidlo určující úroveň oprávnění vyplývá z takto naučeného uspořádání, nikoli z dodatečně přidané ochranné bariéry.

OPI vkládá injekci do dat klasických úloh zpracování přirozeného jazyka. IBM měří odolnost jako jedna minus míra úspěšnosti útoku: podíl útoků, při nichž model neprovede vloženou instrukci.

Studie o následném trénování samostatně uvádí, že míra úspěšnosti útoků v hodnoceních nepřímé injekce klesla z 53–100 % na 0,02–5,6 %, přičemž obecné schopnosti zůstaly zachovány. Oznámená srovnání benchmarků se týkají statických nepřímých injekcí, nikoli adaptivních útoků, které se rozvíjejí v průběhu několika kol konverzace a zůstávají předmětem aktivního výzkumu.

Výsledky v obecných schopnostech

Karta modelu 8B uvádí jako cíl dosáhnout u obecných úloh výsledků srovnatelných s modelem Granite 4.1 Instruct; výsledky jsou smíšené: v GPQA dosahuje náhledová verze 35,05 oproti 41,96 u instrukčního modelu, v DeepMind Math 70,86 oproti 80,07, v BigCodeBench 44,04 oproti 35,00 a v MMLU 74,20 oproti 73,84. Tento obraz ukazuje, že vydání slouží k ověření strukturovaného promptování a odolnosti vůči injekcím, nikoli k plošnému zvýšení schopností.

LLMON lze přizpůsobit také slovní zásobě specifické pro určitou doménu. IBM předvádí vlastní značky a dolaďování adaptéru na referenčních trajektoriích ScienceWorld. Takto natrénovaný model hraje hry, které nebyly součástí trénování, a svou další akci zapisuje v nové slovní zásobě. Knihovna vyšší úrovně Mellea automaticky převádí volání modelu na LLMON, takže uživatelé aplikací nemusí vidět značkovací jazyk, který se používá na pozadí.

Vydání nabízí vývojářům konkrétní způsob, jak měřit chování explicitního navázání vykonávání při práci s vyhledáváním a nástroji. U citlivých nasazení zůstává otevřenou otázkou, zda naučené pravidlo určující úroveň oprávnění obstojí i mimo popsané testy; karty modelů upozorňují, že nejde o vynucenou záruku a že by toto pravidlo nemělo být jedinou ochranou agenta.