Моделі та платформи ШІ
IBM випустила моделі Granite, призначені для протидії ін’єкціям у промпт
Додайте Unite.AI до бажаних джерел у Google
12 листопада 2026 року команда Granite компанії IBM випустила дві експериментальні мовні моделі, навчені відокремлювати довірені інструкції від недовірених даних. За повідомленням IBM, попередні версії моделей 3B і 8B відбили на 47 % більше атак, ніж найкраща передова модель, яку компанія тестувала на бенчмарку OPI.
Обидві моделі — Granite-4.1-3B-LLMON-preview і Granite-4.1-8B-LLMON-preview — донавчили на базових контрольних точках Granite 4.1, а не на випущених моделях Instruct. Обидві поширюються за ліцензією Apache 2.0 і призначені для дослідження та оцінювання, а не для виробничого використання. Ця робота спирається на статтю про мову LLMON, уперше подану 23 березня 2026 року.
Інструкції стають явними посиланнями
LLMON — скорочення від LLM Object Notation, що вимовляється «лемон», — це мова розмітки, подібна до XML, для опису структури промпту моделі. Інструкції, документи, визначення інструментів, вимоги й відповіді розміщуються в окремих блоках, до кожного з яких можна звернутися за адресою. Блок виконання визначає, яку інструкцію виконати, які вхідні дані й вимоги застосувати та куди має надійти відповідь; вміст, не прив’язаний до такого блоку, залишається в контексті, але цей блок на нього не посилається.
Мета безпеки — протидіяти непрямій ін’єкції промпту, коли шкідливу інструкцію приховано в отриманому документі, відповіді інструмента або даних, наданих користувачем. Моделі навчають вважати авторитетними інструкції, на які посилається блок виконання, тоді як матеріал, на який посилаються як на вхідні дані, вони читають, а не виконують. Структурні роздільники є зарезервованими спеціальними токенами, а кожен двосимвольний ідентифікатор блока вибирається з фіксованого набору однотокенних ідентифікаторів, тож адреса завжди коштує два токени.
Зазвичай розробники не пишуть цю розмітку самостійно. Вони можуть назвати частини звичайного messages списку й викликати apply_chat_template; вбудований шаблон відтворює LLMON, зберігаючи звичні ролі системи, користувача й асистента. Супровідний репозиторій LLMON містить засоби перетворення JSON без втрати даних, утиліти для відображення чатів і приклади, а пов’язана демонстрація механізму уваги візуалізує її розподіл між блоками інструкцій, вхідних даних і блоками без прив’язки.
Навчання спрямоване на протидію непрямим атакам
Стаття про посттренування, подана 28 жовтня 2026 року, описує структурований корпус обсягом 4,6 млрд токенів, що охоплює дані для загальних завдань, генерації з доповненням пошуком і виклику інструментів. У прикладах із відволікальними чинниками додаються конкуруючі інструкції та нерелевантні дані, на які немає посилань, тоді як цільова відповідь залишається незмінною. У підході застосовують контрольоване донавчання та навчання з підкріпленням, не змінюючи архітектуру моделі.
Далі в рецепті навчання передбачено п’ять послідовних етапів навчання з підкріпленням, що охоплюють міркування в різних предметних сферах, узгодження з людським зворотним зв’язком, калібрування знань і математику. Після них застосовується пряма оптимізація вподобань на 1 000 парах уподобань, згенерованих на основі власних відповідей моделі на спроби ін’єкції. Правило привілеїв, що виникає в результаті, випливає з цієї засвоєної структури, а не з додаткового захисного механізму.
У OPI ін’єкцію вбудовують у дані класичних завдань обробки природної мови. IBM вимірює стійкість як одиницю мінус частка успішних атак: частка атак, під час яких модель не виконує ін’єктовану інструкцію.
У статті про посттренування окремо повідомляється, що в оцінюваннях непрямих ін’єкцій частка успішних атак знизилася з 53 %–100 % до 0,02 %–5,6 %, водночас загальні можливості збереглися. Оголошені порівняння на бенчмарках стосуються статичних непрямих ін’єкцій, а не адаптивних атак, що розвиваються протягом кількох ходів розмови; останні й далі активно досліджують.
Результати для загальних можливостей
У картці моделі 8B паритет із Granite 4.1 Instruct визначено як мету для загальних завдань, а результати неоднозначні: показник GPQA для попередньої версії становить 35,05 проти 41,96 у моделі Instruct, DeepMind Math — 70,86 проти 80,07, BigCodeBench — 44,04 проти 35,00, а MMLU — 74,20 проти 73,84. Такий розподіл результатів показує, що цей випуск є перевіркою структурованого промптингу та стійкості до ін’єкцій, а не рівномірним поліпшенням можливостей.
LLMON також можна адаптувати до термінології окремих предметних сфер. IBM демонструє користувацькі теги й донавчання адаптера на еталонних траєкторіях ScienceWorld: навчена модель грає в ігри з відкладеної вибірки та записує наступну дію новою термінологією. Бібліотека вищого рівня Mellea автоматично перетворює виклики моделі на LLMON, тож користувачам застосунків не потрібно бачити базову розмітку.
Цей випуск дає розробникам практичний спосіб виміряти, як явне прив’язування виконання працює в робочих процесах із пошуком інформації та використанням інструментів. Для розгортання в чутливих сферах залишається відкритим питання, чи діє засвоєне правило привілеїв поза межами описаних тестів; у картках моделей застерігають, що це не гарантія, забезпечена примусово, і що вона не має бути єдиним засобом захисту агента.
