De ce apocalipsa este o diversiune și care este adevăratul risc al IA de care ar trebui să ne îngrijorăm

Dacă urmăriți știrile, este greu să ignorați alarmismul tot mai intens din jurul industriei IA și avertismentele apocaliptice. Narațiunea care avertizează cu privire la „riscul existențial” pe care sistemele IA îl reprezintă pentru omenire le-a ușurat mult firmelor de securitate cibernetică să se alăture curentului și să vândă bazându-se pe frică. Totuși, concentrarea asupra „apocalipsei” este greșită, deoarece trece cu vederea riscurile mai imediate pe care IA agentică le prezintă organizațiilor în prezent.

Desigur, agenții IA care acționează independent de mecanismele de control ale unei organizații prezintă riscuri clare. Recent, relatări din Australia și din SUA au arătat că agenții IA ai OpenAI au depășit limitele sarcinilor lor pe sisteme guvernamentale din ambele țări.

Cu toate acestea, amenințarea scenariilor apocaliptice legate de IA este exagerată. În loc să se fixeze asupra unor ipoteze, organizațiile trebuie să înfrunte această nouă realitate și să se asigure că există măsuri de protecție deterministe, care să le asigure reziliența operațională.

Internetul nu are un singur întrerupător de oprire

Cei care aderă la narațiunea apocaliptică cred că, pe măsură ce IA devine mai sofisticată și își extinde raza de acțiune, s-ar putea transforma într-un „comutator al morții” concentrat, un singur punct vulnerabil, a cărui preluare ar permite cuiva să obțină controlul complet și să declanșeze o catastrofă.

Cu toate acestea, internetul este mult mai descentralizat și divers decât presupune teoria comutatorului al morții. Funcționează ca o „rețea de rețele”, alcătuită din miliarde de componente organizate în diferite arhitecturi și apărate de nenumărate echipe de operare, care folosesc standarde și instrumente diferite. Prin urmare, nu există un singur comutator pe care să-l poată acționa cineva, om sau mașină — nici o singură vulnerabilitate sau un lanț de vulnerabilități care să poată fi exploatate cu un asemenea efect catastrofal.

Ideea că IA ar putea crea și elibera un agent patogen conceput în laborator sau ar putea pătrunde în sisteme nucleare izolate de rețea poate oferi subiectul unui film captivant. Totuși, este departe de a fi un scenariu credibil într-o evaluare operațională a amenințărilor.

Ce nu se vede scapă de sub control

Pe măsură ce IA agentică continuă să evolueze, doi factori au schimbat fundamental natura riscurilor pentru întreprinderi.

Pe de o parte, IA le permite acum actorilor rău intenționați să găsească și să exploateze vulnerabilități cibernetice în minute, nu în luni. Până când mecanismele de apărare bazate pe IA probabilistică identifică activitățile suspecte, este adesea prea târziu pentru a răspunde amenințării. Deoarece se bazează pe probabilități statistice, nu pe reguli fixe, chiar și cele mai bune dintre ele vor trece cu vederea unele activități rău intenționate, iar unui atacator îi este suficient să se strecoare o singură dată.

Pe de altă parte, utilizarea de către angajați a „IA din umbră” a făcut mult mai dificil să se știe ce trebuie protejat. Un procent covârșitor de 82% dintre organizații chestionate de Cloud Security Alliance au descoperit în ultimul an agenți IA care funcționau fără știrea echipelor de securitate sau IT, deși 68% au declarat că au multă încredere în capacitatea lor de a vedea ce agenți există. Separat, EY a constatat că un sfert dintre marile companii din SUA care folosesc IA agentică au recunoscut că nu puteau detecta agenții neautorizați care operau în cadrul companiei.

În mod firesc, ambele schimbări pun o presiune operațională considerabilă asupra sistemelor întreprinderilor. Împreună, ele dezavantajează semnificativ organizațiile: acestea sunt prea lente pentru a identifica și remedia vulnerabilitățile expuse și nu știu nici măcar ce sisteme sunt expuse.

Să controlăm ceea ce putem controla

Organizațiile au nevoie de un inventar actualizat în timp real al tuturor agenților care operează în cadrul companiei, autorizați sau nu, fiecare având un responsabil desemnat și un domeniu de acțiune clar definit, care să precizeze ce poate accesa și ce poate face. Acesta este primul pas pentru a controla ceea ce poate fi controlat, deoarece, deși modelele IA pot fi probabilistice, mecanismele de control instituite în jurul lor pot fi deterministe, fixe și clar definite.

În practică, aceasta înseamnă că, de fiecare dată când un agent propune o acțiune, un nivel separat de aplicare a regulilor, independent de modelul însuși, trebuie să verifice dacă acțiunea este permisă și să păstreze o pistă de audit. Cu toate acestea, doar 11% dintre organizații blochează automat acțiunea unui agent atunci când acesta își depășește domeniul de acțiune; majoritatea se bazează pe aprobarea unei persoane sau doar înregistrează acțiunea. Incidentul din Australia arată costul încrederii în sistemul vizat că va spune nu: după ce i s-a refuzat accesul, agentul a găsit o altă cale de intrare. Arhitectura mai amplă de guvernanță trebuie, de asemenea, să poată identifica, autoriza și verifica în permanență toți agenții, pentru a preveni materializarea unor riscuri operaționale neprevăzute. Toate acestea trebuie să se desfășoare rapid, deoarece atacurile care se mișcă cu viteza mașinii au nevoie de reguli care să se miște tot cu viteza mașinii.

De la teama ipotetică la soluții practice

Oricât de convingător ar părea, valul de relatări apocaliptice declanșat de sistemele IA autonome este departe de realitate. Riscul de care merită să ne îngrijorăm este mult mai banal decât o IA care decide să ne distrugă: un agent care acționează în cadrul companiei dumneavoastră mai repede decât poate observa cineva, cu permisiuni pe care nimeni nu i le-a acordat.

Problemele legate de viteză și vizibilitate pot fi rezolvate, atât timp cât sistemele de securitate care guvernează IA sunt deterministe și pot verifica și urmări cu precizie fiecare agent, în ritmul în care acesta operează.

Pentru consiliile de administrație și responsabilii de securitate, totul se reduce la trei întrebări practice: știm care sunt toți agenții care rulează în mediul nostru, are fiecare un responsabil și limite bine definite și putem opri o acțiune neautorizată înainte ca aceasta să fie executată? Ajutându-și clienții să elimine aceste lacune practice, furnizorii de servicii de securitate cibernetică pot contribui mult mai mult la reziliență decât vânzând teama de scenarii ipotetice.