IBM выпустила модели Granite, разработанные для защиты от внедрения промптов

12 ноября 2026 года команда Granite компании IBM выпустила две экспериментальные языковые модели, обученные отличать доверенные инструкции от недоверенных данных. По данным IBM, предварительные версии моделей на 3 и 8 млрд параметров отбили на 47% больше атак, чем лучшая протестированная компанией передовая модель, на бенчмарке OPI.

Обе модели — Granite-4.1-3B-LLMON-preview и Granite-4.1-8B-LLMON-preview — были дообучены на базовых контрольных точках Granite 4.1, а не на выпущенных инструктивных моделях. Обе распространяются по лицензии Apache 2.0 и предназначены для изучения и оценки, а не для использования в производственной среде. Эта работа развивает идеи, изложенные в статье о языке LLMON, впервые представленной 23 марта 2026 года.

Инструкции становятся явными ссылками

LLMON — сокращение от LLM Object Notation, произносится «лемон», — это язык разметки, похожий на XML и предназначенный для описания структуры промпта модели. Инструкции, документы, описания инструментов, требования и ответы размещаются в отдельных блоках, к которым можно обращаться по отдельности. Блок выполнения указывает, какую инструкцию выполнить, какие входные данные и требования применить и куда поместить ответ; содержимое, не связанное с ним, остается в контексте, но этот блок на него не ссылается.

Модели предназначены для защиты от косвенного внедрения промптов, при котором вредоносная инструкция скрыта в найденном документе, ответе инструмента или данных, предоставленных пользователем. Модели обучены считать авторитетными инструкции, на которые ссылается блок выполнения, тогда как материал, полученный как входные данные, они читают, но не выполняют содержащиеся в нем указания. Структурные разделители — это зарезервированные специальные токены, а каждый двухсимвольный идентификатор блока выбирается из фиксированного набора однотокенных значений, поэтому адрес всегда занимает два токена.

Разработчикам обычно не нужно писать эту разметку самостоятельно. Они могут присваивать имена частям обычного messages списка и вызывать apply_chat_template; встроенный шаблон преобразует их в LLMON, сохраняя привычные роли системы, пользователя и ассистента. В сопутствующем репозитории LLMON доступны преобразование JSON без потери данных, средства визуализации диалогов и примеры; связанная с ним демонстрация работы механизма внимания наглядно показывает, как внимание распределяется между блоками инструкций, входных данных и несвязанного содержимого.

Обучение направлено на защиту от косвенных атак

В статье о дообучении, представленной 28 октября 2026 года, описан структурированный корпус объемом 4,6 млрд токенов, включающий данные общего характера, для генерации с дополнением извлеченной информацией и для вызова инструментов. В примерах-отвлекающих факторах добавляются конкурирующие инструкции и нерелевантные данные, на которые не ссылаются, тогда как целевой ответ остается неизменным. Этот подход сочетает обучение с учителем и обучение с подкреплением, не меняя архитектуру модели.

Затем в процессе обучения последовательно применяются пять этапов обучения с подкреплением: многопрофильное рассуждение, согласование с обратной связью от людей, калибровка знаний и математика. После этого проводится прямая оптимизация предпочтений на 1 000 парах предпочтений, сформированных на основе собственных ответов модели на попытки внедрения инструкций. Правило приоритета возникает благодаря усвоенной структуре, а не добавленному защитному механизму.

В OPI внедренная инструкция помещается в данные классических задач обработки естественного языка. IBM оценивает устойчивость как единицу минус доля успешных атак: доля атак, при которых модель не выполняет внедренную инструкцию.

В статье о дообучении отдельно приводятся показатели успешности атак при оценке защиты от косвенного внедрения: они снизились с 53–100% до 0,02–5,6% при сохранении общих возможностей модели. Заявленные результаты сравнения на бенчмарках относятся к статическим косвенным внедрениям, а не к адаптивным атакам, развивающимся на протяжении нескольких ходов диалога; изучение последних по-прежнему активно продолжается.

Результаты по общим возможностям

В карточке модели 8B равенство с Granite 4.1 Instruct обозначено как цель для задач общего характера, однако результаты неоднозначны: показатель GPQA у предварительной версии составляет 35,05 против 41,96 у инструктивной модели, DeepMind Math — 70,86 против 80,07, BigCodeBench — 44,04 против 35,00, а MMLU — 74,20 против 73,84. Эти результаты показывают, что выпуск служит проверкой структурированных промптов и устойчивости к внедрению инструкций, а не равномерным повышением возможностей модели.

LLMON можно также адаптировать к специализированной терминологии. IBM демонстрирует пользовательские теги и дообучение адаптера на эталонных траекториях ScienceWorld: обученная модель играет в игры, отложенные при обучении, и описывает свое следующее действие с помощью новой терминологии. Библиотека более высокого уровня Mellea автоматически преобразует вызовы модели в LLMON, поэтому пользователям приложений не приходится видеть лежащую в основе разметку.

Этот выпуск дает разработчикам конкретный способ оценить, как явная привязка к блоку выполнения работает в процессах с извлечением данных и использованием инструментов. При развертывании в чувствительных сценариях остается открытым вопрос, сохраняется ли усвоенное правило приоритета за пределами описанных испытаний: в карточках моделей предупреждают, что оно не гарантируется принудительно и не должно быть единственной линией защиты агента.