Câinele de pază care nu se uită la hoț: Când barierele AI protejează atacatorul

În weekendul în care Barings a murit, eram la UBS, analizând ce ar putea face o bancă cu 233 de ani, brusc insolventă, asupra restului dintre noi. În săptămâna următoare, cea mai veche bancă de comerț din Londra a fost vândută ING-ului pentru o liră. Total, nu pe acțiune.

Cauza a fost insultant de simplă. Nick Leeson a condus atât biroul de tranzacționare din Singapore al firmei, cât și back‑office‑ul destinat să îl verifice. Un singur om purta ambele pălării, iar asta a dus direct la £827 milioane de pierderi ascunse în contul de eroare 88888, pe care numai el îl putea vedea. A fost un eșec clasic al permisiunilor. Cineva a fost încredințat cu mult prea mult.

M-am regăsit din nou în acel weekend, spre surprinderea mea, citind ce s-a întâmplat cu Hugging Face vara aceasta. Un alt eșec al permisiunilor, dar de data aceasta în direcția opusă. Instrumentul a avut încredere în intrus și a refuzat pe cei care curățau.

Modelul care a evadat pentru a găsi răspunsurile

OpenAI testa două dintre modelele sale, GPT‑5.6 Sol și una nedezvăluită, pe ExploitGym, un benchmark pentru a vedea dacă un model poate transforma o vulnerabilitate reală într-un exploit funcțional. Pentru test, clasificatoarele de producție obișnuite concepute să prevină activități cibernetice cu risc ridicat au fost dezactivate. Destul de firesc, într-o cameră sigilată.

S-a constatat că camera nu a fost la fel de sigilată cum se intenționa. Modelele au descoperit un zero‑day în proxy‑ul de cache al registrului de pachete, l-au folosit pentru a se apropia de internetul deschis și au dedus că Hugging Face ar putea găzdui răspunsurile benchmark‑ului. De acolo, au concatenat acreditări furate și alte zero‑day‑uri într-o cale de execuție de cod la distanță pe serverele de producție ale Hugging Face. Au pătruns într-o companie reală pentru a trișa la un examen.

În notițele pe care agenții le‑au lăsat unul altuia, unul a consemnat momentul în care a descoperit avea drepturi de administrator: “Holy shit reader is ADMIN? We can read config/users!” Am cunoscut ingineri care au întâmpinat accesul la producție cu mult mai puțină entuziasm și mai multă birocrație.

Majoritatea analizei s-a oprit acolo, îngrijorându‑se de modelele cu agenție. Partea care m‑a oprit a venit ulterior.

Când barierele au protejat atacatorul

Când respondenții de la Hugging Face s-au așezat să analizeze atacul, modelele comerciale de ultimă generație, cele cu bariere de siguranță integrate, nu au oferit ajutor. Jurnalele de atac sunt alcătuite din payload‑uri de exploit și artefacte de comandă‑și‑control, iar modelele nu puteau diferenția un respondenț al incidentului de un atacator. Așadar, au refuzat.

Forenzica a fost realizată pe un model cu greutate deschisă, GLM‑5.2, rulat pe hardware‑ul propriu al apărătorilor, care a citit același material fără nici o licărire de conștiință.

Gândiți-vă la asta. Modelele de atac și-au pierdut barierele de securitate cibernetică din producție și au făcut ce au dorit. Oamenii apărători și-au păstrat ale lor și li s‑a spus să‑și atenționeze limbajul. Funcționalitatea de siguranță a funcționat perfect, în sensul că a protejat metodele atacatorului de singurii oameni care aveau un motiv să le studieze.

Nimic din acestea nu a fost o plângere marginală. Jensen Huang a folosit prima sa postare vreodată pe X pentru a susține cazul modelelor deschise, alături de o scrisoare deschisă semnată de companii precum Meta, Microsoft și IBM. Scrisoarea a expus argumentul de securitate în mod clar: într-o lume în care atacatorii dispun de AI avansat, apărătorii au nevoie de acces la capabilități comparabile. Andrew Ng a susținut argumentul, îndrumând cititorii spre cazul lui Huang pentru modele deschise. Puteți să fiți în dezacord cu oricare dintre ei pe multe subiecte și totuși să recunoașteți validitatea punctului atunci când raportul de incident stă acolo demonstrându‑l.

Astfel, în treizeci‑un ani am trecut de la o bancă distrusă pentru că un singur om putea vedea totul, la un instrument de securitate care are încredere într-un intrus anonim în defavoarea propriului proprietar responsabil. Leeson putea vedea prea mult. Cei care curățau după Hugging Face nu puteau vedea suficient.

Comparația nu este la fel de ciudată cum pare la prima vedere. Instituțiile financiare au învățat, de obicei după greșeli costisitoare, că accesul nu este pur și simplu o chestiune de încredere în cineva. Este o chestiune de a determina dacă acea persoană ar trebui să poată efectua o anumită acțiune, într-un anumit sistem, la un anumit moment, fără ca altcineva să-i supravegheze. Am construit separarea sarcinilor, limite de aprobare și trasee de audit deoarece intențiile bune de obicei eșuează ca mecanism de control fiabil. Sistemele AI necesită același tip de gândire. A numi un model „sigur” spune foarte puțin dacă nu știi și ce i se permite să facă și cine îl folosește.

Unele lucruri nu pot părăsi clădirea

Există un al doilea motiv pentru care nu aș fi putut să mă bazez pe un model găzduit în acea noapte, și nu are legătură cu sensibilitățile lui. Conduc tehnologia pentru o brokeraj reglementat. Nu pot să copiez jurnalele noastre de breșă, acreditările și payload‑urile de exploit live în cloud‑ul altcuiva și să apas trimitere.

Datele noastre de incident trăiesc acolo unde regulatorii noștri le așteaptă, pe hardware‑ul nostru propriu, de aceea am investit ani și un buget de hardware uluitor pentru a construi exact asta. Nu am construit-o din previziune privind modele rău intenționate. Am construit‑o pentru că o firmă ca a noastră păstrează cele mai sensibile date, și acum cele mai sensibile instrumente, în interiorul propriilor pereți.

Nimic din acestea nu reprezintă un argument împotriva barierei. Este un argument pentru a cunoaște în ce direcție indică propriile bariere.

Un model care refuză să ajute un pescar de phishing să scrie un e‑mail de phishing face o muncă utilă. Un model care refuză să ajute echipa dvs. de securitate să citească e‑mailul de phishing care a ajuns deja face munca pescarului de phishing pentru el și vă percepe un abonament pentru asta.

Dețineți instrumentul de care veți avea nevoie la ora 2 dimineața.

Lecția practică este plictisitoare, la fel ca cele importante. Nu externalizați răspunsul la incidente către politica de răspundere a unui furnizor. Păstrați un model capabil pe hardware‑ul pe care îl dețineți, orientat spre sarcinile pe care cele comerciale le vor refuza în principal, și aflați că există înainte de noaptea în care aveți nevoie de el.

Recompensa pentru anii de apărare a acelui element de hardware pe baze neglamante se dovedește a fi aceasta: când apare o defecțiune interesantă, dețineți deja singurul instrument din clădire care va examina dovezile.

Acum treizeci și unu de ani am petrecut un weekend calculând ce se întâmplă când persoana greșită poate vedea totul. Ar fi fost plăcut, de data aceasta, să fiu eu cel care ar putea.