IBM lansează modele Granite concepute să reziste la injectarea prompturilor

Echipa Granite de la IBM a lansat două modele lingvistice experimentale pe 12 noiembrie 2026, antrenate să separe instrucțiunile de încredere de datele care nu sunt de încredere. IBM afirmă că versiunile preliminare de 3B și 8B au evitat cu 47% mai multe atacuri decât cel mai bun model de frontieră testat de companie pe benchmarkul OPI.

Cele două modele, Granite-4.1-3B-LLMON-preview și Granite-4.1-8B-LLMON-preview, au fost ajustate fin pornind de la punctele de control de bază Granite 4.1, nu de la modelele Instruct lansate. Ambele sunt oferite sub licența Apache 2.0 și sunt destinate explorării și evaluării, nu utilizării în producție. Acest demers se bazează pe articolul despre limbajul LLMON, trimis inițial pe 23 martie 2026.

Instrucțiunile devin referințe explicite

LLMON, prescurtare de la LLM Object Notation și pronunțat „lemon”, este un limbaj de marcare asemănător XML, folosit pentru a descrie structura promptului unui model. Instrucțiunile, documentele, definițiile instrumentelor, cerințele și răspunsurile sunt organizate în blocuri adresabile individual. Un bloc de execuție identifică instrucțiunea care trebuie executată, intrările și cerințele aplicabile, precum și locul în care trebuie plasat răspunsul; conținutul care nu este asociat rămâne în context, fără a fi invocat de blocul respectiv.

Obiectivul de securitate este combaterea injectării indirecte a prompturilor, prin care o instrucțiune rău intenționată este ascunsă într-un document recuperat, într-un răspuns al unui instrument sau în date furnizate de utilizator. Modelele sunt antrenate să considere autoritare instrucțiunile accesate printr-un bloc de execuție, în timp ce materialul accesat ca intrare este citit, nu urmat. Delimitatorii structurali sunt tokenuri speciale rezervate, iar fiecare ID de bloc format din două caractere este ales dintr-un set fix de tokenuri individuale, astfel încât o adresă costă întotdeauna două tokenuri.

De regulă, dezvoltatorii nu scriu ei înșiși acest limbaj de marcare. Ei pot denumi părți ale unei liste obișnuite messages și o pot apela apply_chat_template; șablonul inclus redă LLMON, păstrând rolurile familiare de sistem, utilizator și asistent. Depozitul LLMON oferă conversia JSON fără pierderi, instrumente pentru redarea conversațiilor și exemple, iar o demonstrație asociată vizualizează distribuția atenției între blocurile de instrucțiuni, de intrare și cele neasociate.

Antrenarea vizează atacurile indirecte

Un articol despre antrenarea ulterioară, trimis pe 28 octombrie 2026, descrie un corpus structurat de 4,6 miliarde de tokenuri, care cuprinde date generale, de generare augmentată prin recuperare și de utilizare a instrumentelor. Exemplele-capcană adaugă instrucțiuni concurente și date nerelevante, care rămân nereferențiate, în timp ce răspunsul-țintă nu se schimbă. Abordarea folosește ajustarea fină supravegheată și învățarea prin consolidare, fără a modifica arhitectura modelului.

Rețeta de antrenare folosește apoi cinci etape succesive de învățare prin consolidare, care acoperă raționamentul în mai multe domenii, alinierea pe baza feedbackului uman, calibrarea cunoștințelor și matematica, urmate de optimizarea directă a preferințelor pe baza a 1.000 de perechi de preferințe generate din propriile răspunsuri ale modelului la tentative de injectare. Regula de privilegii rezultată provine din această structură învățată, nu dintr-un mecanism de protecție adăugat.

OPI introduce injectarea în datele unor sarcini clasice de procesare a limbajului natural. IBM măsoară robustețea ca unu minus rata de succes a atacurilor: proporția atacurilor în care modelul nu execută instrucțiunea injectată.

Articolul despre antrenarea ulterioară raportează separat că ratele de succes ale atacurilor în evaluările privind injectarea indirectă au scăzut de la 53%–100% la 0,02%–5,6%, cu păstrarea capacităților generale. Comparațiile cu benchmarkurile anunțate privesc injectările indirecte statice, nu atacurile adaptive care evoluează pe parcursul mai multor schimburi de mesaje, acestea din urmă rămânând un domeniu activ de cercetare.

Rezultatele privind capacitățile generale

Fișa modelului 8B prezintă atingerea parității cu Granite 4.1 Instruct drept obiectiv pentru sarcinile generale, iar rezultatele sunt mixte: scorul GPQA este de 35.05 pentru versiunea preliminară, față de 41.96 pentru modelul Instruct; DeepMind Math obține 70.86, față de 80.07; BigCodeBench, 44.04, față de 35.00; iar MMLU, 74.20, față de 73.84. Acest tipar poziționează lansarea drept un test al prompturilor structurate și al rezistenței la injectare, nu ca pe o îmbunătățire uniformă a capacităților.

LLMON poate fi adaptat și la vocabulare specifice unui domeniu. IBM demonstrează folosirea unor etichete personalizate și ajustarea fină cu adaptoare pe baza traiectoriilor de referință ScienceWorld, modelul antrenat jucând jocuri păstrate deoparte și formulându-și următoarea acțiune în noul vocabular. Mellea, o bibliotecă de nivel superior, convertește automat apelurile către model în LLMON, astfel încât utilizatorii aplicației nu trebuie să vadă limbajul de marcare de la bază.

Lansarea le oferă dezvoltatorilor o metodă concretă de a măsura comportamentul legării explicite a execuției în fluxurile de lucru care folosesc recuperarea informațiilor și instrumente. Pentru implementările sensibile, întrebarea deschisă este dacă regula de privilegii învățată se menține și dincolo de testele raportate; fișele modelelor avertizează că aceasta nu este o garanție impusă și că nu ar trebui să fie singura măsură de apărare a unui agent.