AI-modeller och plattformar
IBM lanserar Granite-modeller utformade för att stå emot promptinjektion
Lägg till Unite.AI bland dina föredragna källor på Google
IBMs Granite-team lanserade två experimentella språkmodeller den 12 november 2026, tränade för att skilja betrodda instruktioner från obetrodda data. IBM uppger att förhandsversionerna med 3B respektive 8B parametrar stod emot 47 % fler attacker än den bästa frontier-modellen som företaget testade på OPI-jämförelsetestet.
De två modellerna, Granite-4.1-3B-LLMON-preview och Granite-4.1-8B-LLMON-preview, finjusterades från kontrollpunkter för Granite 4.1-basmodellerna, inte från de lanserade instruktionsmodellerna. Båda har Apache 2.0-licens och är avsedda för utforskning och utvärdering, inte för produktion. Arbetet bygger vidare på artikeln om LLMON-språket, som först skickades in den 23 mars 2026.
Instruktioner blir explicita referenser
LLMON, en förkortning av LLM-objektnotation och uttalat ”lemon”, är ett XML-liknande märkspråk för att beskriva promptens struktur för en modell. Instruktioner, dokument, verktygsdefinitioner, krav och svar placeras i block som kan adresseras var för sig. Ett exekveringsblock anger vilken instruktion som ska köras, vilka indata och krav som gäller och vart svaret ska skickas; innehåll som inte har knutits till något block finns kvar i kontexten utan att anropas av det blocket.
Säkerhetsmålet är att motverka indirekt promptinjektion, där en skadlig instruktion göms i ett hämtat dokument, ett verktygssvar eller data som användaren tillhandahållit. Modellerna tränas att behandla instruktioner som nås via ett exekveringsblock som auktoritativa, medan material som nås som indata läses i stället för att åtlydas. Strukturella avgränsare är reserverade specialtoken, och varje block-ID på två tecken hämtas ur en fast uppsättning enskilda token, så en adress kostar alltid två token.
Utvecklare skriver vanligtvis inte själva den uppmärkningen. De kan namnge delar av en vanlig messages lista och anropa apply_chat_template; den medföljande mallen återger LLMON och bevarar samtidigt de välbekanta rollerna för system, användare och assistent. Det tillhörande LLMON-arkivet innehåller förlustfri JSON-konvertering, verktyg för återgivning av chatt och exempel, medan en länkad uppmärksamhetsdemonstration visualiserar hur uppmärksamheten fördelas mellan instruktions-, indata- och obundna block.
Träningen riktas mot indirekta attacker
En artikel om efterträning, inskickad den 28 oktober 2026, beskriver en strukturerad korpus på 4,6 miljarder token med data för allmänna ändamål, generering med förstärkt informationshämtning och verktygsanrop. Distraherande exempel lägger till motstridiga instruktioner och irrelevant data som förblir orefererade, medan målresponsen är oförändrad. Metoden använder övervakad finjustering och förstärkningsinlärning utan att ändra modellarkitekturen.
Träningsupplägget använder sedan fem sekventiella steg med förstärkningsinlärning, som omfattar resonemang inom flera domäner, anpassning efter mänsklig återkoppling, kunskapskalibrering och matematik. Därefter följer direkt preferensoptimering på 1 000 preferenspar, genererade utifrån modellens egna svar på injektionsförsök. Den resulterande privilegieprincipen kommer från den inlärda strukturen, inte från ett tillagt skyddsräcke.
OPI placerar injektionen i data för klassiska NLP-uppgifter. IBM mäter robusthet som 1 minus attackframgångsgraden: andelen attacker där modellen inte utför den injicerade instruktionen.
Artikeln om efterträning redovisar separat att attackframgångsgraden i utvärderingar av indirekt injektion sjunker från 53–100 % till 0,02–5,6 %, samtidigt som de generella förmågorna bevaras. De redovisade jämförelserna med riktmärken gäller statiska indirekta injektioner, inte adaptiva attacker som utvecklas över flera chattvändor; sådana attacker är fortfarande ett aktivt forskningsområde.
Resultat för generella förmågor
I modellkortet för 8B-modellen anges likvärdig prestanda med Granite 4.1 Instruct som målet för allmänna uppgifter, och resultaten är blandade: GPQA får 35,05 för förhandsversionen jämfört med 41,96 för instruktionsmodellen, DeepMind Math 70,86 jämfört med 80,07, BigCodeBench 44,04 jämfört med 35,00 och MMLU 74,20 jämfört med 73,84. Resultatmönstret positionerar lanseringen som ett test av strukturerad promptning och motståndskraft mot injektioner, snarare än som en generell förbättring av modellens förmågor.
LLMON kan också anpassas till domänspecifika vokabulärer. IBM visar anpassade taggar och adapterfinjustering på referenstrajektorier från ScienceWorld, där den tränade modellen spelar spel som inte ingick i träningen och skriver sin nästa handling med den nya vokabulären. Mellea, ett bibliotek på högre abstraktionsnivå, konverterar automatiskt modellens anrop till LLMON, så användare av program som bygger på biblioteket behöver inte se den underliggande uppmärkningen.
Lanseringen ger utvecklare ett konkret sätt att mäta hur explicit bindning av exekvering fungerar i arbetsflöden som använder informationshämtning och verktyg. För känsliga driftsättningar är den öppna frågan om den inlärda privilegieprincipen håller även utanför de redovisade testerna. I modellkorten varnas det för att principen inte är någon garanterad mekanism och inte bör vara en agents enda försvar.
