Sandy Dunn, CISO la SPLX – Seria de interviuri

Sandy Dunn, CISO la SPLX, este un veteran CISO cu peste 20 de ani de experiență în domeniul sănătății și al startup-urilor, oferind consultanță CISO prin QuarkIQ. Ea conduce OWASP Top 10 pentru Aplicații de Securitate Cibernetică și Listă de Verificare a Guvernanței LLM și contribuie la OWASP AI Exchange, OWASP Top 10 pentru LLM și Cloud Security Alliance. Ca profesor adjunct de securitate cibernetică la Universitatea de Stat Boise, ea este, de asemenea, un vorbitor frecvent, consilier și membru al consiliului de administrație al Institutului pentru Securitate Cibernetică Pervazivă din Boise. Sandy deține o diplomă de master în managementul securității informației de la SANS și numeroase certificări, inclusiv CISSP, multiple credențiale SANS GIAC, Security+, ISTQB și FAIR.

SPLX este o companie de securitate cibernetică care oferă protecție de la capăt la capăt pentru sistemele AI prin testare automată de red team, protecție la runtime, guvernanță, remediere, inspecție a amenințărilor și securitate a modelului. Platforma sa rulează mii de simulări adverse în mai puțin de o oră pentru a identifica vulnerabilitățile, întărește prompturile sistemului înainte de implementare și include Agentic Radar, un instrument open-source pentru cartografierea și analiza riscurilor în fluxurile de lucru AI multi-agente.

Ce v-a atras inițial la intersecția dintre IA și securitatea cibernetică și cum v-a condus această cale către rolul dvs. la SPLX și implicarea în OWASP?

IA a făcut parte din conversațiile despre securitatea cibernetică de ani de zile înainte de ChatGPT, dar adesea a părut că nu și-a îndeplinit așteptările. Așadar, când a fost lansat, m-am așteptat să fiu dezamăgit, dar am avut exact reacția opusă. Când am folosit pentru prima dată ChatGPT, am fost atât uimit de ceea ce putea face, cât și înfricoșat de cât de repede putea fi folosit pentru atacuri adverse sau abuz de confidențialitate. Acest moment a aprins un foc. M-am aruncat cap în cap în LLM, citind fiecare lucrare de cercetare pe care am putut-o găsi, alăturându-mă fiecărei comunități relevante Slack și Discord și efectuând experimente proprii. Am stat ascuns pentru o perioadă în canalul OWASP Top 10 pentru LLM, și când a fost publicată prima listă, am știut că este un moment important. Dar, ca CISO, am simțit că echipele de securitate au nevoie de mai multe informații. Le-am spus oamenilor despre ce ar trebui să se îngrijoreze, dar nu le-am spus ce să facă. M-am adresat lui Steve Wilson, liderul proiectului, despre crearea unei „Liste de verificare a securității LLM pentru CISO”. A devenit apoi primul subproiect OWASP GenAI, care a inspirat multe alte subproiecte.

Prin această lucrare, i-am cunoscut pe Kristian Kamber și Ante Gojsalic (fondatorii SPLX) și am consiliat, de asemenea, numeroase startup-uri de securitate AI, unele cu idei promițătoare, altele mai puțin. La acea vreme, eram CISO la o companie de chatbot B2B, creând un playbook extins de testare adversă AI. Când am văzut demo-ul SPLX, am recunoscut imediat că au rezolvat exact problema cu care mă luptam: cum să operaționalizeze testarea adversă. Când SPLX a avut nevoie de un CISO, am sărit la ocazie pentru a face parte dintr-o companie uimitoare, cu oameni incredibili, care rezolvă provocări importante.

Ca CISO la SPLX, care sunt cele mai noi tehnici de atac pe care le descoperiți, în special în ceea ce privește IA agentică?

Din cauza nuanțelor proiectării sistemelor GenAI, nu este posibil să se elimine vulnerabilitățile și atacurile GenAI care folosesc autonomia și capacitățile agentului. Atacurile de otrăvire a memoriei, cum ar fi MINJA, sunt un exemplu recent al acestui lucru. Cu MINJA, atacatorii pot corupe subtil băncile de memorie ale unui agent prin interacțiuni create, implantând „amintiri” dăunătoare cu prompturi care duc la comportamente înșelătoare sau periculoase mai târziu. Un alt exemplu este atacul de cameră de ecou. Acesta este locul în care un adversar creează bucle conversaționale trimițând un agent contexte malefice repetate. Cercetătorii au reușit să ocolească mecanismele de siguranță, consolidând instrucțiuni dăunătoare de-a lungul mai multor tururi.

Injectarea indirectă și trans-modală a prompturilor este un alt exemplu. Instrucțiunile malefice se ascund în conținut extern, cum ar fi imagini sau documente pe care agenții le consumă. Aceste instrucțiuni pot prelua decizii autonome fără intrări directe de la utilizator.

Atacurile asupra ecosistemului avansat de agenți AI, cum ar fi otrăvirea instrumentelor, necesită o examinare atentă a întregului lanț de aprovizionare pentru implementările de agenți AI. Atacatorii creează instrumente aparent legitime pentru platformele de agenți, dar încorporează instrucțiuni malefice în descrierile și documentația instrumentelor. Când agenții încarcă aceste instrumente, instrucțiunile încorporate devin parte a contextului agentului, permițând acțiuni neautorizate, cum ar fi exfiltrarea datelor sau compromiterea sistemului.

Cum ajută platforma SPLX organizațiile să detecteze și să răspundă la amenințări specifice LLM, cum ar fi injectarea de prompturi sau atacurile de evadare din mediu de testare?

SPLX este o platformă de securitate de la capăt la capăt care protejează aplicațiile și sistemele multi-agente alimentate de LLM pe tot parcursul ciclului de viață al IA, de la dezvoltare până la operare în timp real. Protecția noastră de runtime AI este proiectată pentru a opri aceste amenințări pe măsură ce apar, monitorizând și filtrând continuu intrările și ieșirile. Acționează ca un focar în timp real pentru IA și impune limite de comportament stricte asupra IA. Motorul nostru de detectare dinamică semnalează activitatea malefică în timp real, asigurându-se că sistemele IA răspund în siguranță și rămân în limitele intenționate.

Actualizarea OWASP GenAI Security Top 10 extinde riscuri cheie, cum ar fi scurgerea de prompturi de sistem și vulnerabilitățile bazei de date vectoriale. Cum reflectă aceste noi amenințări peisajul advers evolutiv?

Actualizările OWASP Top 10 din 2025 reflectă o înțelegere evolutivă a modului în care tehnologiile LLM și IA generativă sunt utilizate în scenarii din lumea reală. Este important de remarcat că există mult mai mult de zece amenințări LLM, dar scopul este de a identifica primele 10. Schimbările majore sunt LLM07 Proiectarea plugin-ului nesigur a fost inclusă în lanțul de aprovizionare, iar LLM010 Furarea modelului a fost inclusă în consumul nelimitat pentru lista din 2025, ceea ce a creat spațiu pentru a adăuga:

1. Scurgerea de prompturi de sistem, care identifică amenințarea expunerii promptului de sistem, care poate dezvălui balize, fluxuri logice sau chiar secrete încorporate în prompturile LLM.

2. Vulnerabilitățile bazei de date vectoriale semnalează potențialele probleme de securitate din sistemele RAG, cum ar fi scurgerea de date între chiriași, inversarea încorporării sau documente otrăvite care apar ulterior ieșiri periculoase.

3. Actualizările arată că atacurile bazate pe IA s-au evoluat de la atacuri oportuniste create la atacuri sofisticate care vizează întregul lanț de aprovizionare al IA. Atacurile moderne demonstrează gândire strategică asupra întregului sistem IA, concentrându-se pe persistență, scară și impact sistemic, mai degrabă decât exploatarea unică.

Acoperirea extinsă a arhitecturilor agenților recunoaște o altă evoluție critică. Pe măsură ce sistemele IA capătă o autonomie și capacități de decizie mai mari, consecințele eșecurilor de securitate se multiplică exponențial. Reducerea supravegherii umane, în timp ce se permit aplicații mai puternice, are un efect de compunere care amplifică impactul atacurilor de succes.

În opinia dvs., care sunt cele mai frecvent ignorate vulnerabilități în cadrul întreprinderilor care implementează IA agentică astăzi?

Problema cel mai des ignorată este aceeași provocare pe care o întâmpinăm cu implementările tradiționale de software și sisteme, principiul privilegiului minim. Încă ne luptăm cu privilegiul minim pentru utilizatorii umani și conturile de serviciu, iar acum organizațiile se confruntă cu o nouă provocare, gestionarea identităților non-umane (NIH). Oamenii implementează agenți, în timp ce identitatea și accesul agentului încă nu sunt pe deplin înțelese sau rezolvate. Vedem agenți care primesc permisiuni cuprinzătoare pentru a citi documente, a accesa API-uri externe și chiar a modifica sisteme. Acesta nu este un defect tehnic în modelul însuși, ci o greșeală arhitecturală fundamentală. Un agent compromis cu privilegii excesive poate provoca haos, de la exfiltrarea unei cantități masive de date până la inițierea de tranzacții financiare.

O altă problemă des ignorată sau neglijată este relația de „încredere” dintre agenți. În sisteme agențiale, agenții sunt adesea proiectați pentru a comunica și coopera unii cu alții. Vedem o nouă clasă de atacuri în care un agent compromis poate impersona unul legitim, devenind practic un „Agent în mijloc”. Este ca un cal troian, dar la nivel arhitectural.

Puteți descrie pașii concreți pe care echipele de securitate ale întreprinderilor ar trebui să îi ia atunci când implementează instrumente de IA agentică în medii de producție?

1. Începeți cu planurile de răspuns la incidente. Cum arată cea mai rea zi, apoi lucrați înapoi pentru a vă asigura că controalele de securitate și vizibilitatea sunt în loc. Când are loc o încălcare a securității IA, centrul dvs. de operațiuni de securitate are nevoie de un plan de joc. Cine este notificat? Cum izolați un agent compromis? Care este procesul de revenire la o stare cunoscută bună? Este vital să aveți un plan înainte de a apărea o criză.

2. Inventarul suprafeței de atac și evaluarea amenințărilor. Nu puteți securiza ceea ce nu știți că aveți. Primul pas este să obțineți un inventar complet al tuturor agenților IA, al instrumentelor utilizate și al accesului la date. Ce date atinge? Ce permisiuni are? Ce impact ar avea dacă ar fi compromis? Prioritizați pe baza amenințărilor cu impact ridicat și a celor mai probabile. Apoi, aveți o conversație sinceră cu echipa executivă despre apetitul pentru risc. Un beneficiu al activității accelerate de IA este că CISO-ii, ofițerii de risc, echipele juridice și conducerile executive vor fi forțate să aibă o conversație reală despre obiectivele de afaceri, apetitul pentru risc și bugetele de securitate. În mod istoric, a existat o așteptare de a nu avea incidente cu bugete minime. CISO-ii au (în mare parte) reușit să evite un incident major prin implementarea doar a securității necesare pentru a face organizația lor o țintă mai puțin atractivă decât organizația cu securitate mai slabă. Adversarii IA fac ca această strategie să fie nerealistă acum.

3. Implementați balize, privilegii minime și unelte de monitorizare. Domeniul de aplicare este important pentru orice implementare de agenți. Definiți scopul agentului, limitele și permisiunile sale. Nu acordați unui agent acces la întreaga bibliotecă SharePoint dacă are nevoie doar de o singură foldere. Implementați controale care limitează ce API-uri poate apela și ce acțiuni poate întreprinde. Gândiți-vă la asta ca la un nou, foarte deștept, intern beat. Recunoașteți că are capacități uimitoare, dar nu ați încredința să facă ceva important, ați limita ceea ce ar putea face în cadrul companiei, nu ați da acces la nimic important, ați monitoriza ce face și ați avea sisteme de alarmă în loc dacă ar încerca să facă ceva ce nu ar trebui să facă, cum ar fi accesarea biroului CEO-ului.

4. Implementați o stivă de securitate specifică IA care se integrează cu stiva dvs. de securitate tradițională. Uneltele de securitate tradiționale nu au fost proiectate pentru sisteme GenAI sau agențiale. Trebuie să implementați unelte care sunt proiectate pentru probleme unice ale GenAI, cum ar fi validarea prompturilor, sanitizarea ieșirilor și monitorizarea continuă a comportamentului agentului. Aceste unelte trebuie să poată detecta atacurile subtile, bazate pe semantică, care sunt specifice GenAI și sistemelor agențiale.

5. Integrați testarea de red team IA în pipeline-ul CI/CD. Trebuie să testați continuu agenții pentru vulnerabilități pe baza importanței modificărilor și a apetitului organizației pentru risc. Actualizarea recentă GPT-5 este un exemplu al modului în care pot fi perturbatoare schimbările asupra fluxurilor de lucru agențiale. Faceți testarea automată de red teaming o parte centrală a ciclului de viață al dezvoltării. Acest lucru vă ajută să identificați problemele pe măsură ce actualizați și modificați agenții.

Cum ar trebui organizațiile să incorporeze testarea automată de red team, CIAM, guvernanța RAG și monitorizarea în strategia de gestionare a riscurilor GenAI?

Cheia este integrarea, mai degrabă decât tratarea lor ca inițiative separate. Strategia dvs. de gestionare a riscurilor GenAI trebuie să fie un cadru coerent în care fiecare componentă întărește celelalte.

Începeți cu testarea automată de red team ca fundament. Este important să aveți testare adversă continuă care evoluează odată cu peisajul amenințărilor. Platforma SPLX simulează mii de scenarii de atac din diferite categorii de risc, testând injectarea de prompturi, evadarea din mediu de testare, manipularea contextului și otrăvirea instrumentelor. Aspectul critic este să faceți parte din pipeline-ul dvs. CI/CD, astfel încât fiecare actualizare a agentului să fie validată din punct de vedere al securității înainte de implementare.

CIAM pentru sistemele IA necesită o reevaluare a modelului tradițional de identitate. Agenții IA necesită permisiuni granulare care pot fi ajustate dinamic în funcție de context și niveluri de risc. Implementați controlul accesului bazat pe atribute care ia în considerare nu numai identitatea agentului, ci și datele pe care le prelucrează, instrumentele la care solicită acces și contextul amenințărilor.

Guvernanța RAG este deosebit de crucială. Stabiliți urmărirea liniei de proveniență a datelor pentru tot conținutul încorporat în magazinele vectoriale. Implementați pipeline-uri de validare a conținutului care pot detecta exemple adverse sau instrucțiuni malefice încorporate în documente.

Pentru monitorizare, aveți nevoie de telemetrie care capturează atât indicatorii tehnici, cât și cei comportamentali. Monitorizarea tehnică include analiza intrărilor/ieșirilor, modelele de apeluri API și consumul de resurse. Monitorizarea comportamentală se concentrează pe calitatea deciziilor, modelele de finalizare a sarcinilor și contextele de interacțiune care ar putea indica compromiterea.

Integrarea este importantă. Rezultatele testării de red team ar trebui să informeze politicile CIAM, sistemele de monitorizare ar trebui să se întoarcă în procesele de guvernanță RAG, iar toate acestea trebuie să fie coordonate printr-o platformă centralizată de gestionare a riscurilor care poate corela semnalele de-a lungul tuturor acestor domenii.

Având în vedere că încălcările de securitate legate de IA sunt încă în stadiul incipient, dar sunt pe cale să crească, care sunt tendințele pe care liderii de securitate ar trebui să se pregătească pentru următorii 12-18 luni?

Mă aștept să văd o escaladare semnificativă a atacurilor asupra lanțului de aprovizionare care vizează totul, inclusiv infrastructura IA. Atacurile asupra lanțului de aprovizionare IA otrăvesc seturile de date de antrenament, compromit depozitele de modele sau injectează cod malefic în dependențele software pentru a obține acces persistent la sistemele IA.

Există deja o creștere a ingineriei sociale autonome, cum ar fi incidentele de vishing deepfake, dar ceea ce mă îngrijorează cel mai mult este evoluția către generarea complet autonomă. Agenții IA care gestionează campanii complete de inginerie socială pe multiple platforme simultan, fiecare adaptat la ținte și contexte specifice, creează un efect de multiplicare care apărările tradiționale nu sunt pregătite să facă față.

Cred că vom vedea apariția atacurilor native IA care operează la viteza mașinii. Uneltele de securitate tradiționale și analiștii umani nu pot ține pasul cu un atacator care poate executa exploatații complexe, multietapă în milisecunde.

Cum prevedeți că vor evolua cadrurile de reglementare și conformitate în răspuns la riscurile generate de IA?

Mă aștept la o schimbare majoră în cadrurile de reglementare, care să echilibreze inovația cu accentul pe responsabilitate, transparență, practici de dezvoltare sigure și securitatea lanțului de aprovizionare.

Mă aștept să văd o concentrare pe proveniența și integritatea datelor. Organismele de reglementare vor dori să știe de unde provine datele utilizate pentru a antrena și completa modelele IA. Vor dori să vadă dovezi că datele au fost curățate, că nu conțineau informații sensibile și că nu au fost otrăvite.

În cele din urmă, cred că vom vedea reglementări specifice sectoarelor. Riscurile pentru o instituție financiară care utilizează un agent IA pentru a gestiona tranzacții sunt diferite de cele ale unei companii de sănătate care utilizează unul pentru diagnostic.

Reglementatorii vor începe să definească standarde specifice pentru industrii critice, solicitând lucruri precum testarea automată de red team, supravegherea umană și auditarea strictă a sistemelor IA care ar putea avea consecințe de viață sau de moarte.

Ca profesor adjunct și membru al consiliului de administrație al Institutului pentru Securitate Cibernetică Pervazivă de la Universitatea de Stat Boise, cum pregătiți următoarea generație de profesioniști în securitatea IA și care sunt abilitățile pe care le considerați cel mai importante în peisajul în evoluție de astăzi?

Gândirea critică și rezolvarea problemelor sunt încă cele mai importante abilități pe care studenții le trebuie pentru o carieră excelentă în securitatea cibernetică, dar abilități precum psihologia umană și lingvistica, care erau odată găsite doar în echipele de informații despre amenințări cibernetice, sunt abilități care vor beneficia o varietate de roluri în securitatea cibernetică în viitorul IA.

Abilitățile de comunicare și de lucru în echipă sunt, de asemenea, importante. Securitatea cibernetică este mai mult decât sisteme IT, este vorba despre oameni, despre a ajuta o afacere să-și atingă obiectivele și despre a putea traduce și comunica riscuri tehnice complexe către stakeholderi non-tehnici, astfel încât aceștia să poată lua decizii corecte pentru companie. Viitorul securității cibernetice va depinde de profesioniști care nu sunt doar tehnic inteligenti, ci și comunicatori pricepuți și cu picioarele pe pământ.

În cele din urmă, peisajul securității IA se schimbă atât de repede, încât va fi important să poată învăța și adapta rapid.

Mulțumim pentru interviul excelent și pentru perspectivele detaliate; cititorii care doresc să afle mai multe ar trebui să viziteze SPLX.