Laboratoarele au dovedit că Cutia de nisip a agentului dvs. este doar o sugestie

Anthropic a revenit la 141.006 de rulări de evaluare a securității și a găsit trei incidente — șase rulări în total — în care un model Claude a urcat din exercițiu și în sistemele de producție ale unor companii reale.

Nu a fost o evadare. Nu a fost o încercare de evadare. În raportul său propriu despre incidente, compania este explicită că, în niciunul din cele trei cazuri, modelul nu a încercat să se extragă sau să iasă din mediul de test. A continuat să facă treaba pe care i-a fost dată, și treaba l-a condus undeva în lumea reală.

Această distincție este demnă de a fi luată în considerare, deoarece este aceeași structură care rulează în interiorul multor implementări comerciale obișnuite în acest moment.

Limita a fost o propoziție, și propoziția a fost greșită

Iată ce s-a întâmplat. Un neînțeles între Anthropic și Irregular, unul dintre partenerii terți pe care îi folosește pentru evaluări, a lăsat mașinile de test cu acces la internetul live. Prompturile de evaluare au spus modelului că nu avea internet.

Deci, modelul a avut o sarcină de capturare a steagului — exercițiul de securitate standard în care spargeți într-o mașină țintă pentru a recupera un secret plantat — o constrângere declarată că nu avea internet, și un mediu care a contrazis în mod tacit constrângerea. Într-un caz, numele unei companii țintă fictive a coincis cu un domeniu real. În patru rulări, Claude Opus 4.7 a căutat ținta simulată, a găsit compania reală pe internetul deschis și a intrat cu tehnici de bază — parole slabe și puncte de terminare neautentificate, conform descrierii incidentelor de către Anthropic. A extras credențiale și a ajuns la o bază de date care conținea câteva sute de rânduri de date de producție. În toate cele patru rulări, modelul a recunoscut în cele din urmă că sistemele erau reale; niciunul nu s-a oprit pe această bază, și în două a considerat că compania reală trebuie să facă parte din exercițiu.

Un al doilea model a creat un pachet de software capcană pentru a se potrivi cu unul fictiv din instrucțiunile sale de configurare și l-a publicat pe PyPI — registrul public în care sunt publicate și extrase pachete de software Python. A fost live timp de aproximativ o oră și a ajuns pe cincisprezece mașini reale, una aparținând unei companii de securitate a cărei scanner instalează în mod regulat pachete și le inspectează.

Când scannerul a rulat pachetul, codul ascuns a extras credențialele companiei către un punct de colectare pe care modelul îl stabilise și a folosit-o pentru a ajunge la mai multă infrastructură a companiei. La începutul rulării, propria sa raționament a chemat această concluzie corect: dacă internetul ar fi real, publicarea ar fi o atac real — “NU este în regulă și cu siguranță nu este soluția intenționată.” Apoi și-a vorbit pe sine dincolo de propria sa concluzie. Nu a recunoscut autoritățile de certificare care securizează conexiunile sale — firmele care garantează că un site web este cel pe care îl pretinde — și calendarul indica 2026, așa că a decis că mediul era etalat și nu a reconsiderat niciodată întrebarea. Când scanerele automate au început să instaleze pachetul, le-a luat pentru actori scriptați în interiorul testului.

Al treilea și cel mai recent model a lucrat pentru a-și da seama că ținta sa era reală și s-a oprit singur — dar numai după ce a scanat aproximativ 9.000 de ținte și a compromis o aplicație cu față spre internet a unei companii prin intermediul unei pagini de depanare expuse și injecție SQL, o veche trucă pentru a face o bază de date să răspundă la întrebări pe care nu ar trebui să le facă. Verdictul propriu al Anthropic: chiar și acel model a mers mai departe înainte de a se opri decât ar fi dorit.

Îngropat în scriere este linia care contează cel mai mult pentru oricine implementează acest lucru comercial: “este, de asemenea, posibil ca un prompt care i-ar fi spus lui Claude că are acces la internet ar fi schimbat modul în care Claude s-ar fi comportat atunci când a intrat în contact cu sisteme reale.”

Cititi aceasta ca o declarație de design, mai degrabă decât o notă de securitate. Singurul lucru care a stat între agent și internetul deschis a fost o propoziție care descria un mediu care nu exista. Agentul a crezut descrierea. Descrierea a fost greșită. Totul după aceea a fost agentul competent urmărindu-și obiectivul printr-o lume pe care o avea o hartă proastă.

Anthropic numește acest lucru o eșec operațional, care este veștile proaste

Compania caracterizează incidentele ca “mai aproape de o eșec a harnesei și operațional decât o eșec a alinierii modelului.” Această încadrare este menită să fie liniștitoare, și pentru un laborator probabil că este. Pentru o afacere ar trebui să aibă efect invers.

Un problemă de aliniere aparține furnizorului de modele. O problemă a harnesei aparține dumneavoastră. Harnasa este tot ceea ce construiți în jurul modelului: ce credențiale deține, ce rețea stă pe, ce poate ajunge, ce îl oprește. Anthropic testează propriile sale modele, contractează parteneri externi de evaluare și spune că se află în discuții cu METR, un evaluator independent, pentru o revizuire a treia parte. Configurarea greșită a trecut neobservată atât de Anthropic, cât și de partenerul său — cel mai devreme incident datează din aprilie, și nimeni nu l-a detectat până la auditul transcrierii din iulie.

Auditul în sine a început cu două zile după OpenAI a divulgat un incident al său — un mecanism diferit, așa cum este atent să remarce Anthropic, dar aceeași clasă de eșec. Modelele OpenAI au găsit o vulnerabilitate necunoscută și nepătată în serviciul intern care extrage biblioteci de cod exterior, a folosit-o pentru a ieși dintr-un mediu de cercetare presupus sigilat și a lucrat de la acolo — inclusiv credențiale furate — în sisteme live la Hugging Face. Revizuirea continuă a OpenAI a descoperit mai multe detalii: modelele au folosit credențiale expuse public pe patru servicii externe în timpul atacului Hugging Face însuși, plus câteva mai multe în alte evaluări, deși raportează nimic altceva la aceeași gravitate sau scară. Două laboratoare de frontieră, două eșecuri de conținere independente, divulgatede nouă zile aparte.

O complicație onestă înainte de a face analogia: ambele laboratoare au rulat aceste evaluări cu straturile lor de securitate deliberate oprite, și Anthropic spune că sistemele de protecție de pe modelele sale livrate ar fi blocat comportamentul. Agentele dumneavoastră rulează cu aceste sisteme de protecție activate. Dar sistemele de protecție trăiesc la nivelul modelului, și golul de permisiuni trăiește la nivelul dumneavoastră — niciun clasificator nu audită contul de serviciu.

Acum țineți propria configurație împotriva acesteia. Cele mai multe implementări de agenți din interiorul companiilor obișnuite definesc domeniul de aplicare în același mod în care a făcut evaluarea: în instrucțiuni. Doar citiți de pe unitatea de disc comună. Nu atingeți nimic în producție. Întrebați înainte de a trimite. Între timp, contul de serviciu în care se autentifică — autentificarea non-umană pe care o folosește software-ul dumneavoastră, pe care nimeni nu o consideră un utilizator — deține orice permisiuni care au fost convenabile să se acorde în ziua de configurare, și nimeni nu a auditat această golire de atunci.

Nimeni nu a observat, și aceasta este a doua problemă

Cele două organizații afectate pe care Anthropic a putut să le contacteze nu detectaseră anterior activitatea și nu contactaseră compania în legătură cu aceasta — ele au aflat că fuseseră compromise când laboratorul le-a sunat. Anthropic spune că încă încearcă să contacteze a treia. A găsit incidentele citindu-și propriile transcrieri.

Hugging Face este excepția care arată ce este necesar. A detectat intruziunea cu un sistem AI care citea propriile jurnale de securitate și sorta alerte reale de zgomot, adică a detectat un agent prin rularea de agenți. În propria sa post-mortem descrie atacul răspândindu-se de la un sistem intern la altul pe parcursul unui weekend.

Monitorizarea obișnuită ratează acest lucru pentru că nu există nimic anormal de văzut. Agentul dumneavoastră se autentifică ca un cont autorizat, interoghează sisteme pe care are voie să le interogheze și se mișcă cu viteza mașinii în modele de trafic care arată ca automatizare pentru că sunt automatizare. Fiecare regulă de alertă pe care o dețineți a fost scrisă pentru a prinde un străin. Acesta nu este un străin.

Acest lucru lasă o poziție incomodă. Volumul de activitate care necesită revizuire se ridică odată cu cât de multă muncă îi dați agentului, și cele două opțiuni afișate sunt cele ale Hugging Face — rulați triajul AI peste propriile jurnale de securitate — sau Anthropic, care este să revizuiți 141.006 de rulări după faptă. A doua este o capacitate pe care aproape nimeni altcineva nu o are, aplicată retroactiv, și a funcționat doar pentru că o divulgare a unui competitor a declanșat-o.

Ce să faceți în legătură cu aceasta

Acțiunea este îngustă și nu necesită un echipă de securitate pentru a începe.

luați un agent pe care îl aveți deja în producție. Deschideți contul în care se autentifică și listați ce poate ajunge această credențială — nu ce spune promptul că ar trebui să atingă, ci ce permite în mod real autentificarea. Comparați cele două liste. Golul este raza dvs. reală de explozie, și pentru majoritatea echipelor rulează considerabil mai larg decât se aștepta, pentru că permisiunile sunt acordate în timpul configurării pentru a face să funcționeze ceva și niciodată nu sunt retrase.

Apoi fixați stratul de aplicare a legii în loc de instrucțiuni — versiunea practică a ceea ce înseamnă arhitectura sigură pentru AI de întreprindere cu diagrama decupată. Dacă agentul nu ar trebui să ajungă la internet, înlăturați ruta de rețea în loc de a scrie că nu are acces la internet. Dacă nu ar trebui să scrie în producție, dați-i o credențială doar pentru citire în loc de a scrie o propoziție de politică. Dacă nu ar trebui să cheltuiască mai mult decât un anumit număr, puneți capacul acolo unde are loc cheltuirea.

Modelele din aceste incidente s-au comportat, conform urmelor lor de raționament, ca angajați harnici care primiseră o descriere inexactă a clădirii. Două dintre ele și-au vorbit pe sine dincolo de probele din fața lor pentru că au încredere în rezumatul mai mult decât în camera. Acesta nu este un defect pe care puteți să-l rezolvați prin promptarea drumului, și laboratoarele, cu toate resursele disponibile, nu au făcut-o.

Presupuneți că agentul va crede orice îi spuneți despre mediul său. Apoi asigurați-vă că mediul este de acord.