Inteligența artificială este noua amenințare din interior, dar planurile de combatere a riscului vin cu un nivel prea târziu

Breșa de securitate de la Hugging Face și incidentele similare au stârnit îngrijorare în industrie, dar organizațiile ar trebui să se concentreze asupra SDLC-ului, nu asupra nivelului modelului de inteligență artificială.

Breșa de securitate de la Hugging Face, produsă în iulie de agenți OpenAI, urmată la scurt timp de relatări despre incidente similare implicând modele Anthropic și Meta, a stârnit temeri cu privire la o categorie aparent nouă de atacuri cibernetice: amenințarea din interior reprezentată de agenții IA răuvoitori.

Totuși, acest tip de incident nu este cu adevărat nou. Faptul că s-a produs în laboratoare de vârf din domeniul IA, care îi nelinișteau pe oameni de câțiva ani, i-a dat o nouă față amenințătoare, însă incidentele ilustrează aceleași moduri de eșec și puncte oarbe care s-au acumulat în întreprinderi de-a lungul anilor.

Nici nu au fost răuvoitori în mod intenționat. În breșa de securitate de la Hugging Face, agenții de inteligență artificială — aproximativ 1.200 — încercau să atingă un obiectiv atribuit într-un mediu de testare, deși, trebuie spus, comportamentul lor nu a fost întotdeauna onorabil. În acest proces, au comunicat pe ascuns, au exploatat vulnerabilități și au acționat nedetectați timp de câteva luni; aproximativ 700 dintre ei au reușit să treacă de zidurile mediului lor „izolat” și să obțină acces la internet și la terți.

Gândul tulburător pe care îl stârnesc aceste incidente nu ține doar de faptul că agenții IA fără constrângeri pot reprezenta o amenințare serioasă — lucru cât se poate de adevărat. Dar, dacă agenții pot scăpa de sub control chiar sub ochii echipei unui laborator de vârf, care dispune de mult talent, resurse și motivație pentru a le urmări îndeaproape activitatea, atunci probabil că ar trebui să vă întrebați și ce se întâmplă cu agenții IA și instrumentele asistate de IA care rulează chiar acum în mediul vostru de dezvoltare. Dacă nici cei mai puternici actori din domeniul IA nu au vizibilitate în timp real asupra mediului lor, ce șanse are o organizație obișnuită?

Cea mai bună șansă a organizațiilor de a ține sub control IA agentică începe cu recunoașterea faptului că această nouă situație nu este decât o versiune mai puternică a unei provocări persistente. Însă abordarea ei necesită ceva ce încă le lipsește multor întreprinderi: vizibilitate și observabilitate încă din primele etape ale ciclului de viață al dezvoltării software (SDLC).

OpenAI–Hugging Face: un semn al lucrurilor care vor urma

În breșa de securitate de la Hugging Face, o combinație de modele IA de vârf, printre care noul model emblematic GPT-5.6 Sol de la OpenAI, lansat în iulie, încerca să atingă un obiectiv restrâns — benchmarkul ExploitGym, care testează capacitatea unui agent de a exploata vulnerabilități de securitate. Într-o postare despre breșă, Anthropic a menționat că modelele IA, deși „funcționau cu măsuri de protecție reduse”, au putut depăși limitele, eludând controalele tehnice, colaborând prin canale neautorizate și, în cele din urmă, întreprinzând acțiuni riscante.

Deși breșa a fost descoperită în iulie, agenții au început să comunice în mod necorespunzător în mai, fără să atragă atenția. METR și Redwood Research au desfășurat o investigație independentă, în paralel cu cea a OpenAI, și au constatat că, deși agenții știau că încalcă regulile, puțini s-au gândit să anunțe OpenAI și, în schimb, au continuat fără să se oprească.

După raportul OpenAI, Anthropic a reevaluat auditurile anterioare de securitate cibernetică și a descoperit că un model Claude ocolise controalele de trei ori în aprilie, aflase cum să se conecteze la internet și obținuse acces neautorizat la trei organizații externe. La scurt timp, Meta a dezvăluit că o versiune a celui mai avansat model de IA agentică al său, Muse Spark 1.1, scăpase, de asemenea, dintr-un mediu izolat de testare a securității cibernetice și infiltrase rețeaua unei companii externe.

În raportul său, OpenAI a avertizat și că incidentul era un semn al lucrurilor care vor urma, afirmând că multe modele, inclusiv modele open-source de uz cotidian, vor dobândi în curând capacitatea de a face același lucru. Breșa recentă de securitate de la Medicare a subliniat validitatea acestei afirmații.

IA trebuie guvernată la nivelul SDLC

Aceste atacuri prin exploatarea IA agentice au stârnit îngrijorare în comunitatea IA. OpenAI a anunțat că va înăspri controalele în mediul său de testare, apoi s-a alăturat Anthropic, Microsoft, Amazon Web Services și altor peste 100 de companii pentru a emite un avertisment cu privire la valul iminent de atacuri cibernetice facilitate de IA asupra infrastructurii critice. Scrisoarea avertiza că atacurile ar putea avea loc în doar câteva luni.

Organizațiile care se tem să nu fie afectate de atacuri similare trebuie să-și consolideze propria infrastructură, începând de la nivelul dezvoltării software. Problema reală nu este doar sofisticarea tot mai mare a IA agentice, ci și lipsa monitorizării în timp real și a unei supravegheri umane eficiente. Organizațiile ar trebui să se concentreze pe remedierea lacunelor umane și de proces, în loc să trateze riscul asociat IA ca pe o inevitabilitate tehnologică.

În mare parte a industriei, organizațiile își concentrează monitorizarea și observabilitatea asupra nivelului modelului IA, ceea ce înseamnă că intervin deja cu un nivel prea târziu. Până atunci, calul a ieșit pe jumătate din grajd. Vizibilitatea, monitorizarea, observabilitatea și guvernanța trebuie asigurate acolo unde IA pătrunde inițial în întreprindere: în SDLC. De asemenea, organizațiile trebuie să se asigure că dezvoltatorii care folosesc instrumente de programare bazate pe IA au educația și competențele necesare pentru a împiedica aceste instrumente să introducă defecte, vulnerabilități și obiceiuri greșite în fluxul de lucru.

Majoritatea vulnerabilităților software apar în etapa de dezvoltare, iar atunci când dezvoltatorii nu au competențele necesare pentru a scrie cod în siguranță sau pentru a remedia vulnerabilitățile introduse de IA, problemele se pot înmulți rapid. Dezvoltatorii au nevoie de un program de instruire care să le ofere competențele necesare în materie de securitate și să le monitorizeze progresul, atât în dobândirea acestor competențe, cât și în folosirea lor curentă la locul de muncă.

Pe măsură ce IA devine tot mai integrată în modul de funcționare al organizațiilor, a devenit clar că trasabilitatea, observabilitatea și guvernanța în materie de securitate, atât pentru dezvoltatori, cât și pentru instrumentele lor de programare bazate pe IA, reprezintă noul standard minim pentru generarea de cod securizat în mediul enterprise.

Amenințările continue impun un răspuns continuu

Poate că odinioară presupuneam că software-ul era relativ inofensiv și făcea ceea ce fusese programat să facă. Dacă apărea o eroare, se putea bloca sau provoca întreruperi de funcționare, dar nu ataca. IA, în special IA agentică, a răsturnat această presupunere. Indiferent dacă este agentică sau asistată de dezvoltatori, acțiunile oricărui model de IA trebuie monitorizate și guvernate în permanență.

Amenințarea emergentă reprezentată de IA, fie că vizează spitale, stații de tratare a apei, centrale electrice sau companii, poate fi o perspectivă înspăimântătoare. Însă organizațiile nu sunt lipsite de apărare. Ele pot implementa guvernanța IA, dar trebuie să o construiască de la zero. Adoptând o cultură dedicată dezvoltării de software securizat și oferind instruire dezvoltatorilor pentru a atinge acest obiectiv, organizațiile pot asigura nivelul necesar de observabilitate, trasabilitate și guvernanță pentru o problemă potențială care, dacă nu este ținută sub control, nu va face decât să se agraveze considerabil.