Sandy Dunn, CISO la SPLX – Seria de interviuri

Sandy Dunn, CISO la SPLX, este un veteran CISO cu peste 20 de ani de experiență în domeniul sănătății și al startup-urilor, oferind consultanță CISO prin QuarkIQ. Ea conduce lista OWASP Top 10 pentru Aplicații LLM de securitate și guvernanță și contribuie la OWASP AI Exchange, OWASP Top 10 pentru LLM și Cloud Security Alliance. Ca profesor adjunct de securitate cibernetică la Universitatea de Stat din Boise, ea este, de asemenea, un vorbitor frecvent, consilier și membru al consiliului de administrație al Institutului pentru Securitate Cibernetică Pervazivă din Boise. Sandy deține un master în managementul securității informației de la SANS și numeroase certificări, inclusiv CISSP, multiple credențiale SANS GIAC, Security+, ISTQB și FAIR.

SPLX este o companie de securitate cibernetică care oferă protecție de la capăt la capăt pentru sistemele de inteligență artificială prin testare automată de red team, protecție la runtime, guvernanță, remediere, inspecție de amenințări și securitate a modelului. Platforma sa rulează mii de simulări adverse în mai puțin de o oră pentru a identifica vulnerabilitățile, întărește prompturile sistemului înainte de implementare și include Agentic Radar, un instrument open-source pentru cartografierea și analiza riscurilor în fluxurile de lucru AI multi-agent.

Ce v-a atras inițial la intersecția dintre inteligența artificială și securitatea cibernetică, și cum a condus această cale la rolul dvs. la SPLX și implicarea în OWASP?

Inteligența artificială a făcut parte din conversațiile despre securitatea cibernetică de ani de zile înainte de ChatGPT, dar adesea a părut că nu a îndeplinit așteptările. Așadar, când a fost lansat, mă așteptam să fiu dezamăgită, dar am avut exact reacția opusă. Când am folosit pentru prima dată ChatGPT, am fost uimită de ceea ce putea face și în același timp înfricoșată de cât de repede putea fi folosit pentru atacuri adverse sau abuz de confidențialitate. Acest moment a aprins o scânteie. M-am aruncat în LLM-uri, citind fiecare articol de cercetare pe care l-am putut găsi, alăturându-mă fiecărei comunități relevante Slack și Discord și efectuând experimente proprii. Am stat ascunsă pentru o perioadă în canalul OWASP Top 10 pentru LLM-uri, și când a fost publicată prima listă, am știut că este un moment important. Dar, ca CISO, am simțit că echipele de securitate au nevoie de mai multe informații. Le-am spus oamenilor despre ce ar trebui să se îngrijoreze, dar nu ce ar trebui să facă. M-am apropiat de Steve Wilson, liderul proiectului, pentru a crea o “Listă de verificare a securității LLM pentru CISO”. A devenit apoi primul subproiect OWASP GenAI, care a inspirat multe subproiecte suplimentare.

Prin această lucrare, i-am cunoscut pe Kristian Kamber și Ante Gojsalic (fondatorii SPLX), și am consiliat, de asemenea, numeroase startup-uri de securitate AI, unele cu idei promițătoare, altele mai puțin. La acea vreme, eram CISO la o companie de chatbot B2B, creând un playbook extins de testare adversă AI. Când am văzut demo-ul SPLX, am recunoscut imediat că au rezolvat exact problema cu care mă luptam: cum să operaționalizeze testarea adversă. Când SPLX a avut nevoie de un CISO, am sărit la ocazie pentru a face parte dintr-o companie uimitoare, cu oameni incredibili, care rezolvă provocări importante.

Ce sunt cele mai noi tehnici de atac pe care le descoperiți, în special în ceea ce privește inteligența artificială agentică?

Din cauza nuanțelor proiectării sistemelor GenAI, nu este posibil să se elimine vulnerabilitățile și atacurile GenAI care folosesc autonomia și capacitățile agentului. Otrăvirea memoriei, cum ar fi MINJA, este un exemplu recent al acestui lucru. Cu MINJA, atacatorii pot corupe subtil băncile de memorie ale unui agent prin interacțiuni create, implantând “amintiri” dăunătoare care rezultă în comportamente înșelătoare sau periculoase mai târziu. Un alt exemplu este atacul de cameră de ecou. Acesta este locul în care un adversar creează bucle conversaționale trimițând un agent contexte malice repetate. Cercetătorii au reușit să ocolească mecanismele de siguranță, întărirând instrucțiuni dăunătoare pe parcursul mai multor tururi.

Injectarea indirectă și trans-modală a prompturilor este un alt exemplu. Instrucțiunile malice se ascund în conținut extern, cum ar fi imagini sau documente pe care agenții le consumă. Aceste instrucțiuni pot prelua decizii autonome fără intrare directă din partea utilizatorului.

Atacurile asupra ecosistemului agenților AI, cum ar fi otrăvirea instrumentelor, necesită o examinare atentă a întregului lanț de aprovizionare pentru implementările agenților AI. Atacatorii creează instrumente aparent legitime pentru platformele agenților, dar înglobează instrucțiuni malice în descrierile și documentația instrumentelor. Când agenții încarcă aceste instrumente, instrucțiunile înglobate devin parte a contextului agentului, permițând acțiuni neautorizate, cum ar fi exfiltrarea datelor sau compromiterea sistemului.

Cum ajută platforma SPLX organizațiile să detecteze și să răspundă la amenințările specifice LLM, cum ar fi injectarea prompturilor sau atacurile de evadare din închisoare?

SPLX este o platformă de securitate de la capăt la capăt care protejează aplicațiile și sistemele multi-agent LLM pe tot parcursul ciclului de viață AI, de la dezvoltare la exploatare în timp real. Protecția noastră la runtime este proiectată pentru a opri aceste amenințări pe măsură ce apar, monitorizând și filtrând continuu intrările și ieșirile. Acționează ca un focar în timp real pentru AI și impune limite de comportament stricte pentru AI. Motorul nostru de detectare dinamică semnalează activitatea malicioasă în timp real, asigurându-se că sistemele AI răspund în siguranță și rămân în limitele intenționate.

Actualizarea OWASP GenAI Security Top 10 extinde riscuri cheie, cum ar fi scurgerea de prompturi de sistem și vulnerabilitățile bazei de date vectoriale. Cum reflectă aceste noi amenințări peisajul adversar evolutiv?

Actualizările OWASP Top 10 din 2025 reflectă o înțelegere evolutivă a modului în care tehnologiile LLM și AI generative sunt utilizate în scenarii din lumea reală. Este important de remarcat că există mult mai mult de zece amenințări LLM, dar scopul este de a identifica primele zece. Principalele schimbări sunt LLM07 Proiectarea plugin-ului nesigur a fost inclusă în lanțul de aprovizionare, iar LLM010 Furarea modelului a fost inclusă în consumul nelimitat pentru lista din 2025, ceea ce a creat spațiu pentru a adăuga:

1. Scurgerea de prompturi de sistem, care identifică amenințarea expunerii prompturilor sistemului, care poate dezvălui garduri, fluxuri logice sau chiar secrete înglobate în prompturile LLM.

2. Vulnerabilitățile bazei de date vectoriale semnalează potențialele probleme de securitate din sistemele RAG, cum ar fi scurgerea de date între chiriași, inversarea încorporării sau documente otrăvite care apar mai târziu cu ieșiri periculoase.

3. Actualizările arată că atacurile bazate pe AI s-au extins de la atacuri oportuniste create la atacuri sofisticate care vizează întregul lanț de aprovizionare AI. Atacurile moderne demonstrează gândire strategică a întregului sistem AI, concentrându-se pe persistență, scară și impact sistemic, mai degrabă decât exploatarea unică.

Acoperirea extinsă a arhitecturilor agenților recunoaște o altă evoluție critică. Pe măsură ce sistemele AI câștigă autonomie și capacități de luare a deciziilor, consecințele eșecurilor de securitate se multiplică exponențial. Reducerea supravegherii umane, în timp ce se permit aplicații mai puternice, are un efect de compunere care amplifică impactul atacurilor de succes.

Ce sunt cele mai frecvente vulnerabilităti ignorate în cadrul întreprinderilor care implementează inteligența artificială agentică în prezent?

Cea mai frecventă problemă ignorată este aceeași provocare pe care o întâmpinăm și cu implementările tradiționale de software și sisteme, și anume principiul privilegiului minim. Încă ne luptăm cu privilegiul minim pentru utilizatorii umani și conturile de serviciu, iar acum organizațiile se confruntă cu o nouă provocare, și anume gestionarea identităților non-umane (NIH). Oamenii implementează agenți, în timp ce identitatea și accesul agenților încă nu sunt pe deplin înțelese sau rezolvate. Vedem agenți care primesc permisiuni extinse pentru a citi documente, a accesa API-uri externe și chiar a modifica sisteme. Acesta nu este un defect tehnic în modelul însuși, ci o greșeală fundamentală de arhitectură. Un agent compromis cu privilegii excesive poate provoca haos, de la exfiltrarea unor cantități masive de date la inițierea de tranzacții financiare.

O altă problemă des ignorată sau neglijată este “relația de încredere” dintre agenți. În sisteme agențiale, agenții sunt adesea proiectați pentru a comunica și coopera între ei. Vedem o nouă clasă de atacuri în care un agent compromis poate impersona unul legitim, devenind practic un “Agent în mijloc”. Este ca un cal troian, dar la nivel arhitectural.

Ne puteți ghida prin pașii acțiunabili pe care echipele de securitate ale întreprinderilor ar trebui să îi ia atunci când implementează instrumente de inteligență artificială agentică în medii de producție?

1. Începeți cu planurile de răspuns la incidente. Cum arată cea mai rea zi, apoi lucrați înapoi pentru a vă asigura că controalele de securitate și vizibilitatea sunt în ordine. Când are loc o încălcare a securității AI, centrul dvs. de operațiuni de securitate are nevoie de un plan de joc. Cine este notificat? Cum izolați un agent compromis? Care este procesul de revenire la o stare cunoscută bună? Este esențial să aveți un plan înainte de a apărea o criză.

2. Inventarul suprafeței de atac și evaluarea amenințărilor. Nu puteți securiza ceea ce nu știți că aveți. Primul pas este să obțineți un inventar complet al tuturor agenților AI, instrumentelor utilizate și accesului la date. Ce date atinge? Ce permisiuni are? Ce este impactul potențial dacă este compromis? Prioritizați pe baza impactului ridicat și a amenințărilor celor mai probabile. Apoi, aveți o conversație sinceră cu echipa executivă despre pofta de risc. Un beneficiu al activității accelerate AI este că CISO-ii, ofițerii de risc, echipele juridice și conducerea executivă vor fi forțați să aibă o conversație reală despre obiectivele de afaceri, pofta de risc și bugetele de securitate. În mod istoric, a existat o așteptare de a nu avea incidente cu bugete minime. CISO-ii au (în mare parte) reușit să evite un incident major prin implementarea unor măsuri de securitate suficiente pentru a face organizația lor o țintă mai puțin atractivă decât organizația cu securitate mai slabă. Adversarii AI fac această strategie nerealistă acum.

3. Implementați garduri, privilegii minime și unelte de monitorizare. Este important să definiți scopul unui agent, limitele și permisiunile sale. Nu oferiți unui agent acces la întreaga bibliotecă SharePoint dacă are nevoie doar de o singură foldere. Implementați controale care limitează ce API-uri poate apela și ce acțiuni poate întreprinde. Gândiți-vă la asta ca la un nou, foarte deștept, intern beat. Recunoașteți că are capacități uimitoare, dar nu ați încredința niciodată. Ați limita ceea ce ar putea face în cadrul companiei, nu ați oferi acces la nimic important, ați monitoriza ceea ce face și ați avea sisteme de alarmă în loc dacă ar încerca să facă ceva pe care nu ar trebui să-l facă, cum ar fi accesarea biroului CEO-ului.

4. Implementați o stivă de securitate AI-specifică care se integrează cu stiva dvs. de securitate tradițională. Uneltele tradiționale de securitate nu au fost proiectate pentru sisteme GenAI sau agențiale. Trebuie să implementați unelte care sunt proiectate pentru probleme unice ale GenAI, cum ar fi validarea prompturilor, sanitarizarea ieșirilor și monitorizarea continuă a comportamentului agenților. Aceste unelte trebuie să poată detecta atacurile subtile, bazate semantic, care sunt specifice GenAI și sistemelor agențiale.

5. Integrați testarea roșie AI în pipeline-ul dvs. CI/CD. Trebuie să testați continuu agenții dvs. pentru vulnerabilități pe baza semnificației schimbărilor și a poftelor de risc ale organizației. Actualizarea recentă GPT-5 este un exemplu de cum pot fi schimbări perturbatoare pentru fluxurile de lucru agențiale. Faceți testarea roșie automată o parte centrală a ciclului dvs. de dezvoltare. Acest lucru vă ajută să identificați problemele pe măsură ce actualizați și modificați agenții dvs.

Cum ar trebui organizațiile să incorporeze testarea roșie automatizată, CIAM, guvernanța RAG și monitorizarea în strategia lor de gestionare a riscurilor GenAI?

Cheia este integrarea, mai degrabă decât tratarea lor ca inițiative separate. Strategia dvs. de gestionare a riscurilor GenAI trebuie să fie un cadru coerent în care fiecare componentă se întărește pe celelalte.

Începeți cu testarea roșie automatizată ca fundație. Este important să aveți testare adversă continuă care evoluează odată cu peisajul amenințărilor. Platforma SPLX simulează mii de scenarii de atac din diferite categorii de risc, testând injectarea prompturilor, evadarea, manipularea contextului și otrăvirea instrumentelor. Aspectul critic este să faceți parte din pipeline-ul dvs. CI/CD, astfel încât fiecare actualizare a agentului să fie validată din punct de vedere al securității înainte de implementare.

CIAM pentru sisteme AI necesită o reevaluare a modelelor tradiționale de identitate. Agenții AI necesită permisiuni granulare care pot fi ajustate dinamic în funcție de context și niveluri de risc. Implementați controlul accesului bazat pe atribute care ia în considerare nu numai identitatea agentului, ci și datele pe care le prelucrează, instrumentele la care solicită acces și contextul de amenințare.

Pentru guvernanța RAG, este deosebit de importantă. Stabiliți urmărirea liniei de proveniență a datelor pentru toate conținuturile ingerate în magazinele vectoriale. Implementați pipeline-uri de validare a conținutului care pot detecta exemple adverse sau instrucțiuni malice înglobate în documente.

Pentru monitorizare, aveți nevoie de telemetrie care capturează atât indicatori tehnici, cât și comportamentali. Monitorizarea tehnică include analiza intrărilor/ieșirilor, modelele de apeluri API și consumul de resurse. Monitorizarea comportamentală se concentrează pe calitatea deciziilor, modelele de finalizare a sarcinilor și contextele de interacțiune care ar putea indica compromiterea.

Integrarea este importantă. Rezultatele testării roșii ar trebui să informeze politicile CIAM, sistemele de monitorizare ar trebui să se întoarcă în procesele de guvernanță RAG, iar toate acestea ar trebui să fie coordonate printr-o platformă centrală de gestionare a riscurilor la nivel de întreprindere care poate corela semnalele din toate aceste domenii.

În următorii 12-18 luni, ce tendințe ar trebui să se pregătească liderii de securitate, având în vedere că încălcările de securitate legate de AI sunt încă în stadiul incipient, dar sunt pe cale să crească?

Mă aștept să văd o escaladare semnificativă a atacurilor asupra lanțului de aprovizionare care vizează totul, inclusiv infrastructura AI. Atacurile asupra lanțului de aprovizionare AI otrăvesc seturile de date de antrenament, compromit depozitele de modele sau injectează cod malicios în dependențele software pentru a obține acces persistent la sistemele AI.

Există deja o creștere a ingineriei sociale autonome, cum ar fi incidentele de vishing cu deepfake, dar ceea ce mă îngrijorează cel mai mult este evoluția către generarea complet autonomă. Agenții AI care gestionează campanii complete de inginerie socială pe multiple platforme simultan, fiecare adaptată la ținte și contexte specifice, creează un efect de multiplicare care face ca apărările tradiționale să nu fie pregătite.

Cred că vom vedea apariția atacurilor native AI care funcționează la viteza mașinii. Uneltele tradiționale de securitate și analiștii umani nu pot ține pasul cu un atacator care poate executa exploatații complexe, multietapă, în milisecunde.

Cum prevedeți că vor evolua cadrul de reglementare și conformitate în răspuns la riscurile generate de inteligența artificială?

Mă aștept la o schimbare majoră a cadrului de reglementare, care să echilibreze inovația cu accentul pe responsabilitate, transparență, practici de dezvoltare sigure și securitatea lanțului de aprovizionare.

Mă aștept să văd o concentrare pe proveniența și integritatea datelor. Organele de reglementare vor dori să știe de unde provin datele utilizate pentru a antrena și a îmbunătăți modelele AI. Vor dori să vadă dovezi că datele au fost curățate, că nu conțin informații sensibile și că nu au fost otrăvite.

În cele din urmă, cred că vom vedea reglementări specifice sectoarelor. Riscurile pentru o instituție financiară care utilizează un agent AI pentru a gestiona tranzacții sunt diferite de cele ale unei companii de sănătate care utilizează unul pentru diagnosticări.

Reglementatorii vor începe să definească standarde specifice pentru industrii critice, solicitând lucruri cum ar fi testarea roșie automatizată, supravegherea umană și auditarea strictă pentru sistemele AI care ar putea avea consecințe de viață sau de moarte.

Ca profesor adjunct și membru al consiliului de administrație al Institutului pentru Securitate Cibernetică Pervazivă din Boise, cum pregătiți următoarea generație de profesioniști în securitatea AI, și ce abilități considerați că sunt cele mai critice în peisajul în evoluție de astăzi?

Gândirea critică și rezolvarea problemelor sunt încă cele mai importante abilități pe care studenții trebuie să le aibă pentru o carieră excelentă în securitatea cibernetică, dar abilități precum psihologia umană și lingvistica, care erau odată găsite doar în echipele de informații despre amenințări cibernetice, sunt abilități care vor beneficia o varietate de roluri în securitatea cibernetică în viitorul AI.

Abilitățile de comunicare și de lucru cu oamenii sunt, de asemenea, importante. Securitatea cibernetică nu se referă doar la sisteme IT, ci și la oameni, ajutând o afacere să-și atingă obiectivele și fiind capabil să traduce și să comunice riscuri tehnice complexe către stakeholderi non-tehnici, astfel încât aceștia să poată lua decizii corecte pentru companie. Viitorul securității cibernetică va depinde de profesioniști care nu sunt doar tehnici inteligenti, ci și comunicatori pricepuți și cu picioarele pe pământ.

În cele din urmă, peisajul securității AI evoluează atât de rapid, încât va fi important să puteți învăța și adapta rapid.

Mulțumim pentru acest interviu minunat și pentru perspectivele detaliate, cititorilor care doresc să afle mai multe despre SPLX.