Modele i platformy AI
IBM udostępnia modele Granite zaprojektowane z myślą o odporności na ataki typu prompt injection
Dodaj Unite.AI do preferowanych źródeł w Google
Zespół IBM Granite udostępnił dwa eksperymentalne modele językowe 12 listopada 2026 r. Zostały one wytrenowane tak, aby odróżniać zaufane instrukcje od niezaufanych danych. IBM podaje, że wersje zapoznawcze 3B i 8B uniknęły o 47% większej liczby ataków niż najlepszy testowany przez firmę model czołowy w benchmarku OPI.
Dwa modele — Granite-4.1-3B-LLMON-preview i Granite-4.1-8B-LLMON-preview — dostrojono na podstawie bazowych punktów kontrolnych Granite 4.1, a nie udostępnionych modeli instrukcyjnych. Oba są objęte licencją Apache 2.0 i przeznaczone do eksperymentowania oraz ewaluacji, a nie do zastosowań produkcyjnych. Prace rozwijają wnioski z artykułu poświęconego językowi LLMON, który po raz pierwszy zgłoszono 23 marca 2026 r.
Instrukcje jako jawne odniesienia
LLMON, skrót od LLM Object Notation, wymawiany „lemon”, to język znaczników przypominający XML, służący do opisywania modelowi struktury promptu. Instrukcje, dokumenty, definicje narzędzi, wymagania i odpowiedzi umieszcza się w osobnych blokach, do których można się bezpośrednio odwoływać. Blok wykonawczy wskazuje, którą instrukcję należy wykonać, które dane wejściowe i wymagania mają zastosowanie oraz gdzie należy umieścić odpowiedź; treści, które nie zostały powiązane z blokiem, pozostają w kontekście, ale nie są przez niego wywoływane.
Celem w zakresie bezpieczeństwa jest przeciwdziałanie pośredniemu wstrzykiwaniu instrukcji do promptu, w którym złośliwa instrukcja zostaje ukryta w pobranym dokumencie, odpowiedzi narzędzia lub danych dostarczonych przez użytkownika. Modele są trenowane tak, aby traktować instrukcje wskazane przez blok wykonawczy jako nadrzędne, a treści wskazane jako dane wejściowe — odczytywać, zamiast ich słuchać. Separatory strukturalne są zastrzeżonymi tokenami specjalnymi, a każdy dwuznakowy identyfikator bloku pochodzi ze stałego zestawu pojedynczych tokenów, dzięki czemu adres zawsze kosztuje dwa tokeny.
Deweloperzy zazwyczaj nie piszą tych znaczników samodzielnie. Mogą nadawać nazwy elementom zwykłej messages listy i wywoływać apply_chat_template; dołączony szablon generuje LLMON, zachowując znane role systemu, użytkownika i asystenta. Towarzyszące mu repozytorium LLMON zawiera narzędzia do bezstratnej konwersji JSON, renderowania rozmów oraz przykłady, a powiązana demonstracja mechanizmu uwagi pokazuje, jak rozkłada się ona między blokami instrukcji, danych wejściowych i treści niepowiązanych.
Trening ukierunkowany na ataki pośrednie
Artykuł o dostrajaniu po treningu, zgłoszony 28 października 2026 r., opisuje ustrukturyzowany korpus liczący 4,6 mld tokenów i obejmujący dane ogólne, dane do generowania wspomaganego wyszukiwaniem oraz dane dotyczące wywoływania narzędzi. Przykłady zakłócające wprowadzają konkurencyjne instrukcje i nieistotne dane, do których model się nie odwołuje, a odpowiedź docelowa pozostaje niezmieniona. W podejściu tym stosuje się nadzorowane dostrajanie i uczenie ze wzmocnieniem, nie modyfikując architektury modelu.
Przepis treningowy obejmuje następnie pięć kolejnych etapów uczenia ze wzmocnieniem, dotyczących rozumowania w wielu dziedzinach, dostrajania do informacji zwrotnych od ludzi, kalibracji wiedzy i matematyki. Potem przeprowadza się bezpośrednią optymalizację preferencji na 1000 parach preferencji wygenerowanych na podstawie własnych odpowiedzi modelu na próby wstrzyknięcia instrukcji. Zasada hierarchii uprawnień wynika z wyuczonego układu, a nie z dodatkowego zabezpieczenia.
W benchmarku OPI instrukcje są wstrzykiwane do danych klasycznych zadań NLP. IBM mierzy odporność jako jeden minus wskaźnik skuteczności ataków, czyli odsetek ataków, podczas których model nie wykonuje wstrzykniętej instrukcji.
W artykule o dostrajaniu po treningu osobno podano, że wskaźniki skuteczności ataków w testach pośredniego wstrzykiwania instrukcji spadły z 53%–100% do 0,02%–5,6%, przy zachowaniu ogólnych możliwości modeli. Ogłoszone porównania wyników benchmarków dotyczą statycznych ataków pośrednich, a nie ataków adaptacyjnych, które rozwijają się przez wiele tur rozmowy i nadal stanowią przedmiot badań.
Wyniki w zadaniach ogólnych
W karcie modelu 8B określono, że celem w zadaniach ogólnych jest osiągnięcie wyników porównywalnych z Granite 4.1 Instruct, ale rezultaty są zróżnicowane: w GPQA wersja zapoznawcza uzyskała 35,05, a model instrukcyjny 41,96; w DeepMind Math — odpowiednio 70,86 i 80,07; w BigCodeBench — 44,04 i 35,00; a w MMLU — 74,20 i 73,84. Taki układ wyników wskazuje, że celem udostępnienia jest sprawdzenie ustrukturyzowanego promptowania i odporności na wstrzykiwanie instrukcji, a nie zapewnienie równomiernego wzrostu możliwości.
LLMON można również dostosować do słownictwa charakterystycznego dla danej dziedziny. IBM pokazuje niestandardowe znaczniki i dostrajanie adapterów na podstawie trajektorii referencyjnych ScienceWorld; wytrenowany model rozgrywa gry nieuwzględnione w treningu i zapisuje kolejne działanie w nowym słownictwie. Mellea, biblioteka wyższego poziomu, automatycznie przekształca wywołania modelu na LLMON, dzięki czemu użytkownicy aplikacji nie muszą widzieć znaczników używanych w tle.
Udostępnienie daje deweloperom konkretny sposób na sprawdzenie, jak jawne powiązanie instrukcji z wykonaniem sprawdza się w procesach wykorzystujących wyszukiwanie i narzędzia. W przypadku wdrożeń o podwyższonych wymaganiach bezpieczeństwa pozostaje pytanie, czy wyuczona zasada hierarchii uprawnień sprawdza się także poza opisanymi testami; karty modeli zastrzegają, że nie jest ona egzekwowaną gwarancją i nie powinna stanowić jedynej ochrony agenta.
