Controlul Halucinațiilor: Beneficii și Riscuri ale Utilizării LLM-urilor ca Parte a Proceselor de Securitate

Modelele de Limbaj Mare (LLM) instruite pe cantități uriașe de date pot face ca echipele de operațiuni de securitate să fie mai inteligente. LLM-urile oferă sugestii și îndrumări în linie pentru răspuns, audit, managementul posturii și multe altele. Cele mai multe echipe de securitate experimentează sau utilizează LLM-uri pentru a reduce munca manuală în fluxurile de lucru. Acest lucru poate fi atât pentru sarcinile mundane, cât și pentru cele complexe.

De exemplu, un LLM poate întreba un angajat prin e-mail dacă a intenționat să partajeze un document care era proprietar și să proceseze răspunsul cu o recomandare pentru un specialist în securitate. Un LLM poate fi, de asemenea, însărcinat cu traducerea cererilor pentru a căuta atacuri în lanțul de aprovizionare pe module deschise și pentru a porni agenți concentrați pe condiții specifice — noi contribuitori la biblioteci larg utilizate, modele de cod incorecte — cu fiecare agent pregătit pentru acea condiție specifică.

Cu toate acestea, aceste sisteme AI puternice prezintă riscuri semnificative care sunt diferite de alte riscuri cu care se confruntă echipele de securitate. Modelele care alimentează LLM-urile de securitate pot fi compromise prin injecția de prompturi sau otrăvirea datelor. Buclile de feedback continuu și algoritmii de învățare automată fără îndrumarea suficientă a omului pot permite actorilor răi să sondeze controalele și să inducă răspunsuri slab direcționate. LLM-urile sunt predispuse la halucinații, chiar și în domenii limitate. Chiar și cele mai bune LLM-uri inventează lucruri atunci când nu știu răspunsul.

Procesele de securitate și politicile AI privind utilizarea LLM-urilor și fluxurile de lucru vor deveni mai critice pe măsură ce aceste sisteme devin mai comune în operațiunile de securitate cibernetică și cercetare. Asigurarea faptului că aceste procese sunt respectate și sunt măsurate și contabilizate în sistemele de guvernanță va fi esențială pentru a se asigura că CISO poate oferi o acoperire suficientă GRC (Guvernanță, Risc și Conformitate) pentru a îndeplini noile mandate, cum ar fi Cadru de securitate cibernetică 2.0.

Promisiunea Uriașă a LLM-urilor în Securitatea Cibernetică

CISO și echipele lor se luptă constant pentru a ține pasul cu valul tot mai mare de noi atacuri cibernetice. Conform Qualys, numărul de CVE raportate în 2023 a atins un nou record de 26.447. Acesta este mai mare cu peste 5X față de 2013.

Acestă provocare a devenit și mai dificilă, deoarece suprafața de atac a organizației medii a crescut cu fiecare an. Echipele de securitate a aplicațiilor trebuie să securizeze și să monitorizeze mult mai multe aplicații software. Calculul în cloud, API-urile, tehnologiile multi-cloud și virtualizarea au adăugat complexitate suplimentară. Cu instrumentele și procesele moderne de CI/CD, echipele de aplicații pot expedia mai mult cod, mai rapid și mai frecvent. Microserviciile au fragmentat aplicațiile monolitice în numeroase API și au creat găuri în firewall-urile globale pentru comunicarea cu serviciile externe sau dispozitivele clienților.

LLM-urile avansate oferă o promisiune uriașă de a reduce încărcătura de muncă a echipelor de securitate cibernetică și de a îmbunătăți capacitățile lor. Uneltele de codare bazate pe IA au pătruns pe scară largă în dezvoltarea software. Cercetarea Github a arătat că 92% dintre dezvoltatori utilizează sau au utilizat unelte AI pentru sugestii și completarea codului. Majoritatea acestor unelte „copilot” au capacități de securitate. De fapt, disciplinele programatice cu rezultate binare, cum ar fi codarea (codul va trece sau va eșua testele unitare), sunt bine adaptate pentru LLM-uri. Dincolo de scanarea codului pentru dezvoltarea software și în pipeline-ul CI/CD, IA poate fi valoroasă pentru echipele de securitate cibernetică în mai multe moduri:

• Analiză Îmbunătățită: LLM-urile pot procesa cantități masive de date de securitate (jurnale, alerte, informații despre amenințări) pentru a identifica modele și corelații invizibile pentru oameni. Ele pot face acest lucru în mai multe limbi, non-stop și în numeroase dimensiuni simultan. Acest lucru deschide noi oportunități pentru echipele de securitate. LLM-urile pot reduce stiva de alerte în timp real, marcând cele care sunt cel mai probabil severe. Prin învățarea prin întărire, analiza ar trebui să se îmbunătățească în timp.
• Automatizare: LLM-urile pot automatiza sarcinile echipelor de securitate care în mod normal necesită conversații și schimburi. De exemplu, atunci când o echipă de securitate primește un IoC și are nevoie să întrebe proprietarul unui punct de capăt dacă a semnat într-adevăr pe un dispozitiv sau dacă se află într-un loc din afara zonelor sale de muncă normale, LLM-ul poate efectua aceste operațiuni simple și apoi urma cu întrebări, după cum este necesar, și link-uri sau instrucțiuni. Acesta era un tip de interacțiune pe care un membru al echipei IT sau de securitate trebuia să o desfășoare el însuși. LLM-urile pot oferi, de asemenea, funcționalități mai avansate. De exemplu, un Microsoft Copilot pentru Securitate poate genera rapoarte de analiză a incidentelor și poate traduce codul complex de malware în descrieri în limbaj natural.
• Învățare Continuă și Reglare: În contrast cu sistemele anterioare de învățare automată pentru politici și înțelegere de securitate, LLM-urile pot învăța pe parcurs prin ingestia de evaluări umane ale răspunsului și prin retuning pe noi grupuri de date care nu sunt conținute în fișierele de jurnal interne. De fapt, utilizând același model fundamental, LLM-urile de securitate cibernetică pot fi reglate pentru diferite echipe și nevoi, fluxuri de lucru sau sarcini specifice regiunii sau verticale. Acest lucru înseamnă, de asemenea, că întregul sistem poate fi la fel de inteligent ca modelul, cu modificări care se propagă rapid în toate interfețele.

Riscurile LLM-urilor pentru Securitatea Cibernetică

Ca o tehnologie nouă cu o istorie scurtă, LLM-urile prezintă riscuri grave. Mai rău, înțelegerea întregii extinderi a acestor riscuri este dificilă, deoarece ieșirile LLM-urilor nu sunt 100% previzibile sau programatice. De exemplu, LLM-urile pot „halucina” și pot inventa răspunsuri sau pot răspunde în mod incorect la întrebări, pe baza unor date imaginare. Înainte de a adopta LLM-urile pentru cazuri de utilizare a securității cibernetice, trebuie să se ia în considerare riscurile potențiale, inclusiv:

• Injecția de Prompturi: Atacatorii pot crea prompturi malicioase special pentru a produce ieșiri înșelătoare sau dăunătoare. Acest tip de atac poate exploata tendința LLM-ului de a genera conținut pe baza prompturilor pe care le primește. În cazurile de utilizare a securității cibernetice, injecția de prompturi poate fi cel mai riscantă sub forma unui atac din interior sau a unui atac de către un utilizator neautorizat care utilizează prompturi pentru a altera permanent ieșirile sistemului prin modificarea comportamentului modelului. Acest lucru poate genera ieșiri inexacte sau nevalide pentru alți utilizatori ai sistemului.
• Otrăvirea Datelor: Datele de antrenare pe care se bazează LLM-urile pot fi corupte intenționat, compromițând procesul lor de luare a deciziilor. În mediile de securitate cibernetică, unde organizațiile sunt probabil să utilizeze modele antrenate de furnizorii de unelte, otrăvirea datelor poate apărea în timpul reglării modelului pentru clientul și cazul de utilizare specific. Riscul aici ar putea fi un utilizator neautorizat care adaugă date proaste — de exemplu, fișiere de jurnal corupte — pentru a subverti procesul de antrenare. Un utilizator autorizat poate face acest lucru involuntar. Rezultatul ar fi ieșiri LLM bazate pe date proaste.
• Halucinații: Așa cum s-a menționat anterior, LLM-urile pot genera răspunsuri incorecte din punct de vedere factual, ilogice sau chiar malefice, din cauza neînțelegerii prompturilor sau a defectelor din datele subiacente. În cazurile de utilizare a securității cibernetice, halucinațiile pot duce la erori critice care pot îngreuna inteligența amenințărilor, triajul și remedierea vulnerabilităților și multe altele. Deoarece securitatea cibernetică este o activitate critică pentru misiune, LLM-urile trebuie să respecte un standard mai înalt de gestionare și prevenire a halucinațiilor în aceste contexte.

Pe măsură ce sistemele AI devin mai capabile, implementările lor de securitate a informațiilor se extind rapid. Pentru a fi clar, multe companii de securitate cibernetică au utilizat de multă vreme potrivirea de modele și învățarea automată pentru filtrarea dinamică. Ceea ce este nou în era IA generativă sunt LLM-urile interactive care oferă un strat de inteligență deasupra fluxurilor de lucru și a bazelor de date existente, îmbunătățind ideal eficiența și capacitățile echipelor de securitate cibernetică. Cu alte cuvinte, GenAI poate ajuta inginerii de securitate să facă mai mult cu efort mai mic și cu aceleași resurse, obținând astfel performanțe mai bune și procese accelerate.