Agenții IA pot ține minte regulile și totuși le pot încălca după comprimare

Compactarea este procesul prin care un șir de comunicări complexe cu un chatbot IA este condensat într-un rezumat, iar interacțiunea continuă pe baza rezumatului, nu a întregului istoric. Din perspectiva utilizării memoriei, este ca un „nou început” și a fost implementată ca soluție la limitele ferestrelor de context în conversațiile cu IA.

Metoda, introdusă inițial în domeniul IA agentică, a fost extinsă la Claude, în timp ce compactarea pentru Gemini încă nu a apărut în discuțiile dezvoltatorilor, iar ChatGPT evită compactarea și preferă să oprească pur și simplu conversația.

Dacă ai folosit Codex (în esență, o versiune de ChatGPT care poate efectiv să facă modificări pe computerul tău, dacă îi acorzi permisiunile necesare) mai mult de 30 de minute la rând, probabil ai văzut mesaje ocazionale despre compactarea contextului, timp în care nu sunt posibile alte interacțiuni:

Codex ia o pauză ca să comprime amintirile unei sesiuni care durează deja de trei săptămâni.

Totuși, după încheierea compactării, entitatea cu care vorbești lucrează pe baza unor notițe selective, invizibile pentru tine, nu a unei amintiri complete a evoluției conversației.

IA care încalcă regulile

În iunie anul acesta, studiul chinezesc Degradarea guvernanței a stabilit că compactarea poate elimina pe nesimțite regulile permanente din contextul unui agent, făcând ca acțiunile interzise anterior să fie efectuate:

Din lucrarea din iunie 2026 despre degradarea guvernanței: cum poate compactarea contextului determina un agent IA să încalce o regulă pe care o respectase anterior. Dacă regula este omisă din rezumatul comprimat, agentul poate ajunge să efectueze acțiunea interzisă. Un atacator ar putea exploata acest proces, iar restabilirea regulii poate preveni încălcarea. Sursa

În cazul a șapte modele, rata încălcărilor a crescut de la 0% înainte de compactare la 30% după aceasta, ajungând în unele cazuri la 59%. În practică, asta înseamnă că agenții pot ignora instrucțiuni esențiale precum Nu contacta pe nimeni care nu are [our-company] o adresă de e-mail – cu consecințe potențiale evidente.

În iulie, Universitatea Penn State și IBM au continuat această cercetare cu Pierdut în context și au constatat că compactarea poate elimina instrucțiunile care stabilesc cum ar trebui IA să îndeplinească o sarcină, păstrând însă sarcina în sine. În testele desfășurate în trei contexte, mecanismele de compactare au păstrat, în medie, doar 17% dintre aceste instrucțiuni.

În august, o colaborare academică din SUA a prezentat TRACE, arătând că compactarea poate perturba un agent chiar și atunci când informațiile de care are nevoie rămân recuperabile. În cadrul testelor, agenții au pierdut șirul locului în care se aflau în cadrul unei sarcini, au repetat activități deja încheiate și au devenit mai puțin fiabili de la o rulare la alta.

ARCBench

Luna aceasta, un nou studiu din Țările de Jos, ARCBench, aduce informații suplimentare și constată că agenții pot ieși din procesul de compactare cu regula intactă și totuși pot deveni mult mai predispuși să o încalce. În testele în care regula a fost păstrată, încălcările au fost de 2,6 ori mai frecvente după compactare decât atunci când s-a folosit istoricul complet al conversației:

Din noua lucrare, o schemă conceptuală care arată cum poate compactarea contextului să afecteze respectarea de către un agent a regulilor de funcționare. Aceeași solicitare ulterioară poate fi refuzată dacă regula supraviețuiește compactării sau îndeplinită dacă regula este omisă, iar un document extern poate influența informațiile care sunt păstrate. Din motive de machetare, această figură este adaptată din imaginea originală în format portret din lucrarea-sursă. Sursa

Studiul distinge între regulile pierdute în timpul compactării și cele care au supraviețuit, dar au fost încălcate ulterior, permițând măsurarea independentă, pentru prima dată, a efectelor uitării și ale nesupunerii.

În testele cu DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash și GPT-Luna, 70,1% dintre rulările cu compactare au păstrat regula completă. În rândul rulărilor în care regula a supraviețuit, încălcările au fost de 2,6 ori mai frecvente decât în cazul istoricului complet al conversației.

Contextul, în sensul tradițional, s-a dovedit a fi un factor: regulile prezentate drept politici organizaționale nu au dus la nicio încălcare atunci când întregul context era disponibil; totuși, după comprimare, ratele încălcărilor au crescut la 30,6% și 22,2%.

Cea mai eficientă apărare disponibilă a păstrat regulile în 99% dintre rezumate, dar tot nu a reușit să readucă numărul încălcărilor la nivelul de dinaintea atacului. Acest lucru arată că păstrarea cu succes a regulilor în timpul comprimării nu garantează neapărat că agentul își va păstra capacitatea — sau disponibilitatea — de a le respecta.

Lucrarea afirmă:

‘[We] constată că compactarea sporește numărul încălcărilor, de cele mai multe ori fără să șteargă regula: execuțiile compactate în care regula este păstrată o încalcă totuși de 2,6 ori mai des decât execuțiile cu istoricul complet.

‘În plus, comprimarea schimbă raționamentul agentului care duce la încălcare. Strategiile diferite de comprimare, constrângerile stricte privind bugetul de comprimare și canalul prin care este transmisă regula influențează toate respectarea acesteia.’

Ca remediu, lucrarea propune măsuri mai eficiente pentru păstrarea regulilor pierdute în timpul comprimării, dar lasă nerezolvată problema agenților care nu respectă regulile păstrate”

‘Măsurile de apărare restabilesc regulile, dar atacurile continuă să slăbească respectarea acestora. Prin urmare, păstrarea regulii nu este un indicator suficient al respectării ei. Studiile viitoare ar putea folosi ARCBench pentru a explica de ce agenții continuă să încalce regulile păstrate, pentru a testa atacuri și măsuri de apărare adaptive și pentru a include mai multe modele și domenii, precum și sesiuni mai lungi, cu comprimări repetate.’

Metodă

ARCBench extinde funcționalitățile cadrului open-source pi, care dispune de propriile proceduri native de comprimare, precum și de o buclă de agent și de funcții native pentru apelarea instrumentelor și comprimare. Benchmarkul recreează situații în care un agent lucrează la o sarcină de durată, respectând o regulă permanentă, apoi își comprimă istoricul acumulat și primește o solicitare care l-ar determina să încalce regula respectivă; acțiunile agentului sunt apoi verificate prin apelurile sale către instrumente:

Procesul de evaluare ARCBench. Agenților li se atribuie o sarcină și o regulă de funcționare, apoi istoricul lor este comprimat în diferite configurații și în condiții de atac și de apărare. Acțiunile ulterioare ale agenților prin intermediul instrumentelor sunt apoi analizate pentru a stabili dacă regula a fost păstrată și dacă a fost respectată.

ARCBench cuprinde 17 cazuri care vizează divulgarea datelor protejate, accesul la resurse restricționate, acțiunile neautorizate și eludarea sau omiterea controalelor obligatorii, corespunzătoare claselor de risc OWASP.

Cazurile au fost adaptate din Governance Decay și COMPINT, iar alte patru cazuri au fost adăugate pentru a se asigura că toate cele patru tipuri de încălcări sunt reprezentate atât pentru regulile personale, cât și pentru cele organizaționale.

Benchmarkul poate fi configurat în funcție de cinci factori: modul de transmitere a regulii; metoda folosită pentru comprimarea contextului; bugetul de tokenuri disponibil pentru comprimare; tipul de atac; și măsura de apărare aplicată:

ARCBench cuprinde cinci variabile pentru a testa modul în care respectarea regulilor se schimbă în funcție de diferitele forme de comprimare a contextului, transmitere a regulilor, atacuri și măsuri de apărare.

Regulile pot fi furnizate sub formă de instrucțiuni directe sau permanente, incluse în documente ori accesate prin intermediul unui instrument pentru politici.

Date și teste

Au fost evaluate zece metode de comprimare: șapte strategii generative și trei abordări selective. Fiecare caz a fost rulat de mai multe ori, iar un eșec a fost consemnat dacă agentul și-a încălcat regula cel puțin o dată — o abordare considerată mai potrivită pentru testarea siguranței decât calcularea performanței medii pentru mai multe rulări, deoarece un agent care ocazional efectuează o acțiune interzisă rămâne nesigur.

Istoricele comprimate au fost apoi analizate de GPT-6-Luna-Pro, Qwen-3.8-flash și Claude-Sonnet-4.6, fiecare regulă fiind clasificată drept intactă, slăbită sau absentă. S-a folosit decizia majorității, iar cazurile în care evaluatorii nu au fost de acord au fost examinate de adnotatori umani. De asemenea, un eșantion separat de 50 de rezumate a fost etichetat manual pentru a verifica consecvența evaluatorilor.

Atunci când o regulă intactă a fost încălcată, raționamentul agentului a fost analizat de GPT-6-Luna-Pro, GPT-6.1-Sol și Claude Sonnet 5.5. Încălcările au fost clasificate în funcție de următoarele situații: solicitarea ulterioară a fost interpretată drept permisiune de a ignora regula; s-a considerat că acțiunea nu intră în domeniul de aplicare al acesteia; regula nu a fost menționată; sau regula a fost recunoscută și ignorată.

Cele patru modele folosite pentru teste, accesate prin OpenRouter, au fost DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; și GPT-Luna. În fiecare rulare, același model a fost folosit atât pentru comprimarea istoricului conversației, cât și pentru a acționa pe baza contextului rezultat, conform comportamentului implicit al lui pi. Modelele au fost accesate prin OpenRouter.

Au fost realizate șapte studii, iar Hermes a fost folosit pentru majoritatea testelor de compactare. În primul studiu, fiecare dintre cele 17 sarcini a fost testată pe patru modele și folosind două modalități de transmitere a regulii, rezultând 136 de cazuri. Fiecare caz a fost rulat de trei ori cu conversația originală intactă și de trei ori după compactarea acesteia.

Configurația celor șapte studii ARCBench, grupate în funcție de întrebarea de cercetare. Celulele evidențiate cu verde indică factorul variat în fiecare studiu, iar cele gri arată setările menținute constante; fiecare caz a fost rulat de trei ori, respectiv de șase ori în studiile S6 și S7, dedicate atacurilor și apărării.

Testele au abordat trei întrebări: Care este cauza încălcărilor după compactare?; Cum schimbă diferitele configurații de compactare cauzele încălcărilor?; și Ce efect au atacurile și măsurile de apărare care vizează componenta de compactare asupra cauzelor încălcărilor?.

Care este cauza încălcărilor după compactare?

Primele rezultate au arătat că încălcarea regulilor a crescut după compactare, de la 9,6% dintre cazuri când istoricul era complet la 37,8%. Cu toate acestea, regula s-a pierdut complet în doar 3% dintre rulările cu compactare; în 70,1% dintre cazuri a fost păstrată integral, iar în 26,9% a fost păstrată parțial:

Rezultate care arată cât de des a încălcat fiecare model regulile înainte și după compactare. Majoritatea regulilor au fost păstrate integral sau parțial după compactare, deși încălcările au crescut considerabil; Qwen a înregistrat cea mai mare creștere, ajungând la 61,8%.

Această distincție s-a dovedit importantă. Dintre rulările individuale în care regula integrală a supraviețuit compactării, 21,1% s-au încheiat totuși cu o încălcare, față de 8,1% atunci când istoricul original a fost păstrat. Când regula a fost păstrată doar parțial, rata a crescut la 29,4%, iar când nu a mai rămas nicio regulă, a ajuns la 83,3%.

A fost analizat și modul în care s-au produs încălcările atunci când regula a rămas intactă. Dintre încălcările cauzate de compactare, în 45,9% dintre cazuri o solicitare ulterioară a fost interpretată ca permisiune de a continua; în 27% dintre cazuri, regula a fost aparent ignorată, iar în 21,6% a fost recunoscută ca aplicabilă, dar totuși încălcată:

Rezultate care arată de ce au fost încălcate regulile înainte și după compactare. Când încălcările au apărut numai după compactare, solicitările ulterioare au fost cel mai adesea interpretate ca permisiune de a continua (45,9%); în 27% dintre cazuri regula păstrată a fost ignorată, iar în 21,6% a fost recunoscută înainte ca modelul să continue oricum.

Cum schimbă diferitele configurații de compactare cauzele încălcărilor?

Modalitatea de transmitere a regulii a avut un efect semnificativ asupra respectării acesteia. Când conversația era intactă, încălcările au apărut în 25% și, respectiv, 16,1% dintre cazurile în care regulile fuseseră comunicate personal de utilizator; în schimb, nu s-au înregistrat încălcări atunci când regulile fuseseră transmise printr-un document organizațional sau printr-un instrument de politici:

Modul de transmitere a regulilor, strategia de compactare și bugetul de tokenuri au influențat încălcările și păstrarea regulilor. Compactarea generativă a păstrat regulile mult mai fiabil decât metodele selective, în timp ce bugetele de cel mult 300 de tokenuri au dus la pierderea aproape completă a regulilor.

După compactare, încălcările au crescut pe toate cele patru canale, ajungând la 56,3% pentru instrucțiunile directe ale utilizatorului și la 22,2% pentru regulile transmise prin instrumentul de politici. Proporția regulilor păstrate a variat relativ puțin, între 65,7% și 74%. Autorii sugerează că o solicitare ulterioară a utilizatorului poate fi interpretată ca anulând o regulă personală, în timp ce utilizatorul nu poate anula o regulă organizațională.

Ce efect au atacurile și măsurile de apărare care vizează componenta de compactare asupra cauzelor încălcărilor?

Simpla inundare a contextului cu material suplimentar a avut un efect redus; de fapt, încălcările au scăzut de la 37,8% la 34,3%. Injectarea de instrucțiuni care vizează componenta de compactare a fost considerabil mai eficientă, crescând încălcările la 46,3% și reducând proporția regulilor păstrate integral de la 70,1% la 42,5%.

Cel mai puternic atac, numit escape, a crescut încălcările de la 23,5% la 58,8% și a redus proporția regulilor păstrate de la 96,1% la 66,7%. Chiar și atunci când regula a supraviețuit, încălcările s-au dublat, de la 13,3% la 26,5%.

Rezultatele testelor arată efectele atacurilor și măsurilor de apărare asupra respectării regulilor după compactare. Injecția direcționată a sporit numărul încălcărilor și a redus gradul de păstrare a regulii, în timp ce cea mai puternică măsură de apărare a restabilit păstrarea acesteia la 99%, fără a restabili pe deplin respectarea regulilor.

Cea mai puternică măsură de apărare a păstrat regula în 99% dintre rulări – și totuși, agenții au încălcat-o în 29,4% dintre cazuri, comparativ cu 23,5% atunci când nu s-a folosit niciun atac. Cu alte cuvinte, faptul că agentul încă avea regula nu garanta că o va respecta.

Concluzie

Logica sugerează că, atunci când contextul este compactat de zeci, chiar sute de ori într-un fir de conversație foarte lung (cum este unul la care lucrez în Codex* de la mijlocul lui octombrie și la care lucram chiar și în această dimineață – o epopee a dezvoltării software experimentale, asistate de IA), intervine un fel de „efect al fotocopiatorului”.

La fel ca în cazul prompturilor de sistem de bază, nu avem acces la aceste rezumate condensate ale desfășurării de până acum. Din experiența mea, chiar dacă anecdotică, misiunea centrală pare să supraviețuiască comprimării, împreună cu majoritatea detaliilor esențiale. Dar nu mă aflu în acel scenariu de coșmar în care comanda „Trimite acest e-mail tuturor”, menită să ajungă doar la toată lumea din companie, ajunge la toate persoanele din agenda agregată de contacte a companiei. Uf.

* Probabil că îmbătrânesc, dar acesta este, cu siguranță, cel mai greu de reținut, fad și „bej corporatist” nume care ar fi putut fi ales pentru acest agent. Îl uit tot timpul.

Publicat pentru prima dată joi, 12 noiembrie 2026