Jungle AI Întunecată: De Ce Aprobarea Unei Platforme Nu Este Același Lucru Cu Securizarea a Ceea Ce Se Construiește Pe Ea

Adoptarea inteligenței artificiale la nivel enterprise este departe de a fi lipsită de fricțiuni. Îngrijorările cu privire la controlul datelor, conformitatea regulamentară și securitatea au însoțit fiecare etapă a călătoriei. Dar pe măsură ce organizațiile își amplifică operațiunile pe platforme majore precum Microsoft, Salesforce și ServiceNow, există o senzație tot mai puternică că cele mai grele întrebări de guvernanță sunt, cel puțin parțial, abordate. Acordurile enterprise sunt în vigoare. Reviziile de securitate au fost finalizate. Platformele sunt aprobate.

Ce această încredere are tendința de a ignora este o întrebare cu totul diferită: nu dacă platforma este securizată, ci ce și cine construiește.

La nivelul tuturor industriilor, o revoluție tăcută este în desfășurare, pe măsură ce angajații non-tehnici utilizează platformele de inteligență artificială enterprise pentru a crea agenți autonomi, fluxuri de lucru automate și aplicații conectate la date, adesea în minute, fără a scrie vreodată o singură linie de cod. Eliberați de timpii de dezvoltare tradiționali și de restricțiile acestora, acești constructori reprezintă un avantaj pentru eficiența organizațională. Dar aceste unelte nu sunt niciodată revizuite de către o echipă de securitate. În multe cazuri, echipele de securitate nu știu nici măcar că există.

Aceste unelte, indiferent dacă sunt clasificate ca aplicații, agenți sau automatizări, fac parte dintr-o problemă în creștere cunoscută sub numele de Inteligență Artificială Întunecată, și reprezintă una dintre cele mai semnificative schimbări în risc enterprise din ultimul deceniu, dintr-un motiv foarte simplu: amenințările s-au mutat acum în interior.

Problema inițială a IT-ului Întunecat a fost relativ simplă: angajații utilizau unelte neautorizate din afara organizației, iar sarcina securității era să le găsească și să le blocheze. Inteligența Artificială Întunecată este o provocare cu totul diferită. Uneltele sunt în interiorul platformelor pe care le-ați aprobat. Oamenii care le construiesc sunt angajații dumneavoastră. Accesul pe care îl utilizează este legitim. Și nimic din toate acestea nu trece prin procesele de securitate proiectate pentru a prinde problemele înainte de a ajunge în producție.

Ceea ce face această problemă deosebit de dificil de abordat este scala. Majoritatea liderilor de securitate subestimează semnificativ cât de mult se construiește în interiorul propriilor medii. Cercetări recente efectuate asupra a peste 200 de CISO și lideri de securitate enterprise au arătat că echipa medie de securitate enterprise poate ține cont de doar 44% din agenții de inteligență artificială, automatizărilor și aplicațiilor pe care utilizatorii de business le-au creat. Acesta nu este un decalaj. Este un punct orb care acoperă majoritatea a ceea ce rulează.

Motivul este simplu: utilizatorii de business depășesc numărul dezvoltatorilor profesioniști cu până la 10 la 1 în unele organizații. Ei construiesc constant în fiecare departament, pe platforme proiectate pentru a face construirea ușoară, și apoi încurajați de către C-suite să construiască. Echipele de securitate sunt orientate spre fluxurile de dezvoltare și depozitele de cod. Ele nu au fost niciodată proiectate pentru a monitoriza acest lucru.

Concepția greșită cea mai comună este credința că aprobarea unei platforme rezolvă problema de securitate. Nu o face, doar o mută. Când o întreprindere semnează un acord cu Microsoft, Salesforce sau UiPath, furnizorul de platforme securizează infrastructura sa. Ce construiesc angajații pe aceasta și cum o configurează este în întregime responsabilitatea întreprinderii.

Problema este că uneltele create de utilizatorii de business nu arată ca software pentru sistemele de securitate tradiționale. Nu există cod de scanat, nu există depozit de monitorizat, nu există flux de inspecționat. Un agent de inteligență artificială construit de un manager de resurse umane prin intermediul unor meniuri și prompturi de text este, din perspectiva majorității instrumentelor de securitate, invizibil.

Și totuși, aceste unelte sunt departe de a fi triviale. Cercetările au arătat că mai mult de jumătate dintre CISO confirmă că aplicațiile construite de business sprijină procese critice de business și au acces la date sensibile ale companiei. Mizele sunt reale, iar supravegherea nu a ținut pasul.

De La Zero La Dezastru

Cazurile de utilizare sunt la fel de diverse pe cât sunt de numeroase și provin din aproape fiecare departament, chiar și din cele care nu ar fi apărut vreodată pentru o echipă de securitate pentru a ține sub observație.

De exemplu, un coordonator de marketing construiește un agent de inteligență artificială cu interfață pentru clienți pe o platformă complet sancționată pentru a răspunde la întrebări despre produse. Într-un timp scurt, aplicația este funcțională, dar ca o persoană fără pregătire în securitate, două mici greșeli de configurare rămân neobservate și lasă agentul cu acces direct la baza de date a companiei și fără limite în ceea ce privește ceea ce poate prelua. În producție, un utilizator solicită să extragă înregistrări ale angajaților. O face. Deoarece agentul are și o capacitate de e-mail, utilizatorul îi dă instrucțiuni să trimită aceste date la o adresă personală. Întreaga secvență durează sub 60 de secunde. Fără acces neautorizat. Fără încălcare a platformei. Fără alertă de securitate.

Acesta nu este un atac sofisticat. Este rezultatul previzibil al unui angajat bine intenționat care construiește ceva pe care nu îl înțelege pe deplin, pe o platformă care a făcut construirea ușoară și guvernanța opțională.

Decalajul De Guvernanță Pe Care Nimeni Nu L-a Prețuit

Pentru majoritatea organizațiilor, problema Inteligenței Artificiale Întunecate rămâne abstractă până când ceva merge prost. Dar riscul de business rulează mai adânc decât răspunsul la încălcări.

Când un agent construit de business scurge date sensibile, întrebarea pe care o va pune consiliul de administrație nu va fi „cum s-a întâmplat eroarea de configurare?” Va fi „cum de nimeni nu știa că uneltele rulează?” Ei nu vor face distincție între o încălcare cauzată de un atacator extern și una cauzată de unelte interne defectuos configurate. Dacă date cu caracter personal au fost expuse și organizația a lipsit de vizibilitate asupra a ceea ce rulează, lipsa de supraveghere în sine este o obligație. „Un angajat a construit-o pe o platformă aprobată” nu este o apărare, este descrierea decalajului.

Urgența este reală, dar intenția și execuția nu sunt același lucru, și pentru majoritatea întreprinderilor, decalajul dintre ele rămâne larg deschis.

Răspunsul nu este să restricționezi cine poate construi. Blocarea dezvoltării cetățenești ar sacrifica câștigurile reale de productivitate și, în practică, nu ar funcționa. Angajații ar găsi ocoliri. Răspunsul este să aduci ceea ce se construiește în vedere și să guvernezi la punctul în care riscul apare cu adevărat: timpul de rulare.

Acest lucru înseamnă a înțelege nu doar ce agenți există, ci și cum se comportă, ce date au acces, ce sisteme ating și dacă acțiunile lor rămân în limitele pe care constructorii le-au intenționat. Acesta înseamnă stabilirea unor limite care funcționează la nivel organizațional, nu doar la punctul de configurare. Și înseamnă a ajunge într-un loc în care echipele de securitate pot răspunde la cele mai de bază întrebări despre orice agent din mediul lor: cine l-a construit, la ce are acces și se comportă conform intențiilor sale de proiectare?

Majoritatea întreprinderilor nu pot răspunde la aceste întrebări astăzi. Organizațiile care ajung acolo primii vor fi cele care pot scala adoptarea inteligenței artificiale cu încredere, pentru că vor ști ce rulează cu adevărat.