Controlul Halucinațiilor: Beneficii și Riscuri ale Utilizării LLM în Procesele de Securitate

Modelele de Limbaj Mare (LLM) antrenate pe cantități uriașe de date pot face ca operațiunile de securitate să fie mai inteligente. LLM oferă sugestii și îndrumări în linie pentru răspuns, audit, managementul posturii și multe altele. Majoritatea echipelor de securitate experimentează sau utilizează LLM pentru a reduce munca manuală în fluxurile de lucru. Acest lucru poate fi atât pentru sarcini banale, cât și pentru sarcini complexe.

De exemplu, un LLM poate întreba un angajat prin e-mail dacă a intenționat să partajeze un document care era proprietar și să proceseze răspunsul cu o recomandare pentru un practician de securitate. Un LLM poate fi, de asemenea, însărcinat cu traducerea cererilor pentru a căuta atacuri de lanț de aprovizionare pe module deschise și pentru a crea agenți care se concentrează pe condiții specifice – noi contribuitori la biblioteci utilizate pe scară largă, modele de cod incorecte – cu fiecare agent pregătit pentru acea condiție specifică.

Cu toate acestea, aceste sisteme AI puternice prezintă riscuri semnificative care sunt diferite de alte riscuri cu care se confruntă echipele de securitate. Modelele care alimentează LLM de securitate pot fi compromise prin injecția de prompturi sau otrăvirea datelor. Bucla de feedback continuă și algoritmii de învățare automată fără îndrumarea umană suficientă pot permite actorilor răi să sondeze controalele și să inducă răspunsuri slab direcționate. LLM sunt predispuse la halucinații, chiar și în domenii limitate. Chiar și cele mai bune LLM inventează lucruri atunci când nu știu răspunsul.

Procesele și politicile de securitate și AI în jurul utilizării LLM și a fluxurilor de lucru vor deveni mai critice pe măsură ce aceste sisteme devin mai comune în operațiunile de securitate și cercetare. Asigurarea faptului că aceste procese sunt respectate și măsurate și contabilizate în sistemele de guvernanță va fi esențială pentru a se asigura că CISO poate oferi o acoperire suficientă GRC (Guvernanță, Risc și Conformitate) pentru a îndeplini noile mandate, cum ar fi Cadrul de securitate cibernetică 2.0.

Promisiunea Uriașă a LLM în Securitatea Cibernetică

CISO și echipele lor se luptă constant să țină pasul cu valul tot mai mare de noi atacuri cibernetice. Conform Qualys, numărul de CVE raportate în 2023 a atins un nou record de 26.447. Acesta este un număr mai mare de peste 5 ori față de 2013.

Acestă provocare a devenit și mai dificilă pe măsură ce suprafața de atac a organizației medii a crescut în fiecare an. Echipele de securitate a aplicațiilor trebuie să securizeze și să monitorizeze mult mai multe aplicații software. Calculul în nor, API-urile, tehnologiile de virtualizare și multe altele au adăugat complexitate suplimentară. Cu instrumentele și procesele moderne de CI/CD, echipele de aplicații pot livra mai mult cod, mai rapid și mai frecvent. Microserviciile au fragmentat aplicațiile monolitice în numeroase API și au creat mai multe găuri în firewall-urile globale pentru comunicarea cu servicii externe sau dispozitive ale clienților.

LLM avansate oferă o promisiune uriașă de a reduce sarcina de muncă a echipelor de securitate cibernetică și de a îmbunătăți capacitățile lor. Instrumentele de codare bazate pe AI au pătruns pe scară largă în dezvoltarea software. O cercetare a Github a arătat că 92% dintre dezvoltatori utilizează sau au utilizat instrumente AI pentru sugestii de cod și completare. Majoritatea acestor instrumente “copilot” au anumite capacități de securitate. De fapt, disciplinele programatice cu rezultate relativ binare, cum ar fi codarea (codul va trece sau va eşua testele unitare), sunt bine adaptate pentru LLM. Dincolo de scanarea codului pentru dezvoltarea software și în pipeline-ul CI/CD, AI ar putea fi valoros pentru echipele de securitate cibernetică în mai multe moduri:

• Analiză Îmbunătățită: LLM pot procesa cantități masive de date de securitate (jurnale, alerte, informații despre amenințări) pentru a identifica modele și corelații invizibile pentru oameni. Ei pot face acest lucru în mai multe limbi, non-stop și în mai multe dimensiuni simultan. Acest lucru deschide noi oportunități pentru echipele de securitate. LLM pot reduce stiva de alerte în timp real, marcând cele care sunt cel mai probabil severe. Prin învățare prin întărire, analiza ar trebui să se îmbunătățească în timp.
• Automatizare: LLM pot automatiza sarcinile echipelor de securitate care în mod normal necesită conversații și schimburi de informații. De exemplu, atunci când o echipă de securitate primește un IoC și are nevoie să întrebe proprietarul unui punct de capăt dacă a semnat într-adevăr pe un dispozitiv sau dacă se află în afara zonelor de lucru normale, LLM poate efectua aceste operațiuni simple și apoi să urmeze întrebări suplimentare și link-uri sau instrucțiuni, după cum este necesar. Acest lucru obișnuia să fie o interacțiune pe care un membru al echipei de securitate sau IT trebuia să o efectueze el însuși. LLM pot oferi, de asemenea, funcționalități mai avansate. De exemplu, un Microsoft Copilot pentru Securitate poate genera rapoarte de analiză a incidentelor și poate traduce codul complex de malware în descrieri naturale.
• Învățare Continuă și Reglare: În contrast cu sistemele anterioare de învățare automată pentru politici și înțelegere de securitate, LLM pot învăța pe parcurs prin înglobarea ratingurilor umane ale răspunsului lor și prin retuning pe noi grupuri de date care nu sunt conținute în fișierele de jurnal interne. De fapt, utilizând același model fundamental, LLM de securitate cibernetică pot fi reglate pentru diferite echipe și nevoi, fluxuri de lucru sau sarcini specifice regionale sau verticale. Acest lucru înseamnă, de asemenea, că întregul sistem poate deveni instantaneu la fel de inteligent ca modelul, cu modificări care se propagă rapid în toate interfețele.

Riscurile LLM pentru Securitatea Cibernetică

Ca o tehnologie nouă cu o istorie scurtă, LLM prezintă riscuri grave. Mai rău, înțelegerea întregului spectru al acestor riscuri este dificilă, deoarece ieșirile LLM nu sunt 100% previzibile sau programatice. De exemplu, LLM pot “halucina” și inventa răspunsuri sau răspunde în mod incorect la întrebări, pe baza unor date imaginare. Înainte de a adopta LLM pentru cazuri de utilizare a securității cibernetice, trebuie luat în considerare potențialele riscuri, inclusiv:

• Injecția de Prompturi: Atacatorii pot crea prompturi specifice pentru a produce ieșiri înșelătoare sau dăunătoare. Acest tip de atac poate exploata tendința LLM de a genera conținut pe baza prompturilor pe care le primește. În cazurile de utilizare a securității cibernetice, injecția de prompturi poate fi cel mai riscantă sub forma unui atac din interior sau a unui atac din partea unui utilizator neautorizat care utilizează prompturi pentru a altera permanent ieșirile sistemului prin schimbarea comportamentului modelului. Acest lucru ar putea genera ieșiri inexacte sau nevalide pentru alți utilizatori ai sistemului.
• Otrăvirea Datelor: Datele de antrenare pe care LLM se bazează pot fi corupte intenționat, compromițând procesul de luare a deciziilor. În mediile de securitate cibernetică, unde organizațiile sunt probabil să utilizeze modele antrenate de furnizori de instrumente, otrăvirea datelor poate apărea în timpul ajustării modelului pentru clientul și cazul de utilizare specific. Riscul aici ar putea fi un utilizator neautorizat care adaugă date proaste – de exemplu, fișiere de jurnal corupte – pentru a subverti procesul de antrenare. Un utilizator autorizat ar putea face acest lucru involuntar. Rezultatul ar fi ieșiri LLM bazate pe date proaste.
• Halucinații: Așa cum s-a menționat anterior, LLM pot genera răspunsuri factice, ilogice sau chiar dăunătoare din cauza neînțelegerii prompturilor sau a defectelor de date subiacente. În cazurile de utilizare a securității cibernetice, halucinațiile pot duce la erori critice care pot paraliza inteligența amenințărilor, triajul și remedierea vulnerabilităților și multe altele. Deoarece securitatea cibernetică este o activitate critică pentru misiune, LLM trebuie să fie ținute la un standard mai înalt de gestionare și prevenire a halucinațiilor în aceste contexte.

Pe măsură ce sistemele AI devin mai capabile, implementările lor de securitate a informațiilor se extind rapid. Pentru a fi clar, multe companii de securitate cibernetică au utilizat de mult timp corespondența șablonului și învățarea automată pentru filtrarea dinamică. Ceea ce este nou în era AI generativă sunt LLM interactivi care oferă o straturi de inteligență deasupra fluxurilor de lucru și bazelor de date existente, îmbunătățind ideal eficiența și îmbunătățind capacitățile echipelor de securitate cibernetică. În alte cuvinte, GenAI poate ajuta inginerii de securitate să facă mai mult cu mai puțin efort și aceleași resurse, obținând o performanță mai bună și procese accelerate.