Starea securității AI în 2025: Insights cheie din raportul Cisco

Pe măsură ce mai multe companii adoptă tehnologia inteligenței artificiale (AI), înțelegerea riscurilor de securitate ale acesteia a devenit mai importantă ca niciodată. AI reconfigurează industrii și fluxuri de lucru, dar introduce și noi provocări de securitate pe care organizațiile trebuie să le abordeze. Protejarea sistemelor AI este esențială pentru menținerea încrederii, protejarea confidențialității și asigurarea unor operațiuni comerciale fluente. Acest articol rezumă principalele insight-uri din raportul recent al Cisco, “Starea securității AI în 2025“. Acesta oferă o imagine de ansamblu asupra stării actuale a securității AI și a aspectelor pe care companiile ar trebui să le ia în considerare pentru viitor.

O amenințare de securitate în creștere pentru AI

Dacă 2024 ne-a învățat ceva, este că adoptarea AI se desfășoară mai rapid decât multe organizații pot să o securizeze. Raportul Cisco arată că aproximativ 72% dintre organizații utilizează AI în funcțiunile lor de business, dar doar 13% se simt pe deplin pregătite să maximizeze potențialul său în siguranță. Această diferență între adoptare și pregătire este determinată în mare măsură de preocupările legate de securitate, care rămân principala barieră în calea utilizării mai largi a AI în întreprinderi. Ceea ce face această situație și mai îngrijorătoare este faptul că AI introduce noi tipuri de amenințări pe care metodele tradiționale de securitate cibernetică nu sunt pe deplin capabile să le gestioneze. Spre deosebire de securitatea cibernetică convențională, care adesea protejează sisteme fixe, AI aduce amenințări dinamice și adaptive care sunt mai greu de anticipat. Raportul subliniază câteva amenințări emergente de care organizațiile ar trebui să fie conștiente:

• Atacuri asupra infrastructurii: Infrastructura AI a devenit o țintă principală pentru atacatori. Un exemplu notabil este compromiterea toolkit-ului de containere NVIDIA (NVDA ), care a permis atacatorilor să acceseze sisteme de fișiere, să ruleze coduri malice și să escaladeze privilegiile. Similar, Ray, un cadru de inteligență artificială deschis pentru gestionarea GPU-urilor, a fost compromis în una dintre primele atacuri reale asupra unui cadru de AI. Aceste cazuri arată cum slăbiciunile din infrastructura AI pot afecta mulți utilizatori și sisteme.
• Riscuri în lanțul de aprovizionare: Vulnerabilitățile lanțului de aprovizionare AI reprezintă o altă preocupare semnificativă. Aproximativ 60% dintre organizații se bazează pe componente sau ecosisteme de inteligență artificială deschis. Acest lucru creează riscuri, deoarece atacatorii pot compromite aceste unelte larg utilizate. Raportul menționează o tehnică numită “Sleepy Pickle“, care permite adversarilor să interfereze cu modelele de AI chiar și după distribuire. Acest lucru face detectarea extrem de dificilă.
• Atacuri specifice AI: Tehnicile de atac noi evoluează rapid. Metode precum injecția de prompturi, jailbreaking-ul și extragerea datelor de antrenament permit atacatorilor să ocolească controalele de securitate și să acceseze informații sensibile conținute în seturile de date de antrenament.

Vectori de atac care vizează sistemele AI

Raportul subliniază apariția vectorilor de atac pe care actorii malici utilizați pentru a exploata slăbiciunile sistemelor AI. Aceste atacuri pot avea loc la diverse etape ale ciclului de viață al AI, de la colectarea datelor și antrenarea modelului până la implementarea și inferență. Scopul este adesea de a face ca AI să se comporte în moduri neintenționate, să divulge date private sau să efectueze acțiuni dăunătoare.

De-a lungul anilor, aceste metode de atac au devenit mai avansate și mai greu de detectat. Raportul subliniază câteva tipuri de vectori de atac:

• Jailbreaking: Această tehnică implică crearea de prompturi adverse care ocolesc măsurile de securitate ale modelului. În ciuda îmbunătățirilor apărării AI, cercetarea Cisco arată că chiar și jailbreaking-ul simplu rămâne eficient împotriva modelelor avansate, cum ar fi DeepSeek R1.
• Injecția indirectă de prompturi: În contrast cu atacurile directe, acest vector de atac implică manipularea datelor de intrare sau a contextului în care modelul de AI este utilizat în mod indirect. Atacatorii pot furniza materiale sursă compromise, cum ar fi fișiere PDF sau pagini web malice, care determină AI să genereze ieșiri neintenționate sau dăunătoare. Aceste atacuri sunt deosebit de periculoase, deoarece nu necesită acces direct la sistemul AI, permițând atacatorilor să ocolească multe apărări tradiționale.
• Extragerea și otrăvirea datelor de antrenament: Cercetătorii Cisco au demonstrat că bot-urile de chat pot fi păcălite să dezvăluie fragmente din seturile lor de date de antrenament. Acest lucru ridică preocupări serioase cu privire la confidențialitatea datelor, proprietatea intelectuală și conformitatea. Atacatorii pot otrăvi, de asemenea, datele de antrenament prin injectarea de intrări malice. Îngrijorător, otrăvirea doar a 0,01% din seturi de date mari, cum ar fi LAION-400M sau COYO-700M, poate afecta comportamentul modelului, și acest lucru poate fi realizat cu un buget mic (aproximativ 60 USD), făcând aceste atacuri accesibile pentru mulți actori răi.

Raportul subliniază preocupări serioase cu privire la starea actuală a acestor atacuri, cercetătorii obținând un succes de 100% împotriva modelelor avansate, cum ar fi DeepSeek R1 și Llama 2. Acest lucru dezvăluie vulnerabilități de securitate critice și riscuri potențiale asociate cu utilizarea lor. În plus, raportul identifică apariția unor noi amenințări, cum ar fi atacurile de jailbreaking bazate pe voce, care sunt proiectate în mod special pentru a viza modelele de AI multimodale.

Constatări din cercetarea de securitate AI a Cisco

Echipa de cercetare a Cisco a evaluat diverse aspecte ale securității AI și a descoperit câteva constatări cheie:

• Jailbreaking algoritmic: Cercetătorii au demonstrat că chiar și cele mai bune modele de AI pot fi păcălite în mod automat. Utilizând o metodă numită Tree of Attacks with Pruning (TAP), cercetătorii au ocolit protecțiile pe GPT-4 și Llama 2.
• Riscuri în fine-tuning: Multe companii fine-tunează modelele de bază pentru a îmbunătăți relevanța pentru domenii specifice. Cu toate acestea, cercetătorii au descoperit că fine-tuning-ul poate slăbi barajele interne de securitate. Versiunile fine-tuneate au fost de peste trei ori mai vulnerabile la jailbreaking și de 22 de ori mai predispuse să producă conținut dăunător decât modelele originale.
• Extragerea datelor de antrenament: Cercetătorii Cisco au utilizat o metodă de descompunere simplă pentru a păcăli bot-urile de chat să reproducă fragmente de articole, ceea ce le-a permis să reconstruiască sursele materialelor. Acest lucru ridică riscuri pentru expunerea datelor sensibile sau a informațiilor proprietare.
• Otrăvirea datelor: Echipa Cisco demonstrează cât de ușor și ieftin este să otrăvească seturi de date web la scară largă. Pentru aproximativ 60 USD, cercetătorii au reușit să otrăvească 0,01% din seturi de date, cum ar fi LAION-400M sau COYO-700M. Mai mult, ei subliniază că acest nivel de otrăvire este suficient pentru a provoca schimbări semnificative în comportamentul modelului.

Rolul AI în criminalitatea cibernetică

AI nu este doar o țintă, ci devine și un instrument pentru criminalii cibernetici. Raportul menționează că automatizarea și ingineria socială bazată pe AI au făcut atacurile mai eficiente și mai greu de detectat. De la escrocherii de phishing la clonarea vocii, AI ajută criminalii să creeze atacuri personalizate și convingătoare. Raportul identifică, de asemenea, apariția unor unelte malice de AI, cum ar fi “DarkGPT“, proiectate în mod special pentru a ajuta la criminalitatea cibernetică prin generarea de e-mailuri de phishing sau exploatarea vulnerabilităților. Ceea ce face aceste unelte deosebit de îngrijorătoare este accesibilitatea lor. Chiar și criminalii cu abilități reduse pot crea acum atacuri personalizate care ocolesc apărările tradiționale.

Practici recomandate pentru securizarea AI

Având în vedere natura volatilă a securității AI, Cisco recomandă câteva pași practici pentru organizații:

1. Managementul riscurilor de-a lungul ciclului de viață al AI: Este crucial să identifici și să reduci riscurile la fiecare etapă a ciclului de viață al AI, de la sursa datelor și antrenarea modelului până la implementarea și monitorizarea acestuia. Acest lucru include, de asemenea, securizarea componentelor terțe, aplicarea unor garduri solide și controlul strict al punctelor de acces.
2. Utilizarea practicilor de securitate cibernetică stabilite: Deși AI este unic, practicile de securitate cibernetică tradiționale rămân esențiale. Tehnici precum controlul accesului, gestionarea permisiunilor și prevenirea pierderii de date pot juca un rol vital.
3. Concentrarea asupra zonelor vulnerabile: Organizațiile ar trebui să se concentreze asupra zonelor care sunt cel mai probabil să fie țintite, cum ar fi lanțurile de aprovizionare și aplicațiile de AI terțe. Prin înțelegerea locurilor în care se află vulnerabilitățile, companiile pot implementa apărări mai țintite.
4. Educația și instruirea angajaților: Pe măsură ce uneltele de AI devin mai răspândite, este important să se instruiască utilizatorii despre utilizarea responsabilă a AI și conștientizarea riscurilor. O forță de muncă bine informată ajută la reducerea expunerii accidentale de date și a utilizării necorespunzătoare.

Privind spre viitor

Adoptarea AI va continua să crească, iar odată cu aceasta, riscurile de securitate vor evolua. Guvernele și organizațiile din întreaga lume recunosc aceste provocări și încep să construiască politici și reglementări pentru a ghida securitatea AI. Așa cum subliniază raportul Cisco, echilibrul dintre securitatea AI și progresul va defini următoarea eră a dezvoltării și implementării AI. Organizațiile care prioritizează securitatea alături de inovare vor fi cele mai bine echipate pentru a face față provocărilor și a profita de oportunitățile emergente. Politicile și reglementările privind securitatea AI vor juca un rol crucial în ghidarea dezvoltării și implementării tehnologiei, asigurând că beneficiile AI sunt obținute într-un mod care protejează confidențialitatea, securitatea și bunăstarea societății.