Kieran Norton, liderul US Cyber AI & Automation de la Deloitte – Seria de interviuri

Kieran Norton este un partener (partner) la Deloitte & Touche LLP și liderul US Cyber AI & Automation pentru Deloitte. Cu peste 25 de ani de experiență extinsă și o bază solidă în tehnologie, Kieran excelează în abordarea riscurilor emergente, oferind clienților insight-uri strategice și practice în ceea ce privește securitatea cibernetică și gestionarea riscurilor tehnologice.

În cadrul Deloitte, Kieran conduce eforturile de transformare a inteligenței artificiale pentru practica US Cyber. El supraveghează proiectarea, dezvoltarea și implementarea soluțiilor de inteligență artificială și automatizare, ajutând clienții să-și îmbunătățească capacitățile de securitate cibernetică și să adopte tehnologii de inteligență artificială și generativă, gestionând în același timp riscurile asociate.

În exterior, Kieran ajută clienții să-și evolueze strategiile de securitate tradiționale pentru a sprijini transformarea digitală, modernizarea lanțurilor de aprovizionare, accelerarea timpului de comercializare, reducerea costurilor și atingerea altor obiective de afaceri critice.

Cum pot agenții malefici manipula modelele de inteligență artificială după implementare și cum pot întreprinderile detecta tamponarea la timp?

Accesul la modelele de inteligență artificială după implementare se obține, de obicei, prin accesarea unei interfețe de programare a aplicațiilor (API), a unei aplicații prin intermediul unui sistem înglobat și/sau prin intermediul unui port-protocol către un dispozitiv de margine. Detectarea la timp necesită lucrări timpurii în ciclul de viață al dezvoltării software (SDLC), înțelegerea tehnicilor de manipulare a modelului relevante, precum și vectori de amenințare prioritizați pentru a concepe metode de detectare și protecție. Unele manipulări ale modelului implică hacking-ul API, manipularea spațiilor de memorie (la timpul de rulare) și otrăvirea lentă/graduală prin derivația modelului. Având în vedere aceste metode de manipulare, unele strategii de detectare la timp pot include utilizarea telemetriei de puncte de capăt/monitorizare (prin Endpoint Detection and Response și Extended Detection and Response), implementarea unor conducte de inferență securizate (de exemplu, calcul confidențial și principii de încredere zero) și activarea marcării modelului / semnăturii modelului.

Injectarea de prompturi este o familie de atacuri asupra modelului care au loc după implementare și poate fi utilizată în scopuri diverse, inclusiv extragerea de date în moduri neintenționate, dezvăluirea de prompturi de sistem care nu sunt destinate utilizatorilor normali și inducerea de răspunsuri ale modelului care pot pune o organizație într-o lumină negativă. Există o varietate de instrumente de protecție pe piață pentru a ajuta la mitigarea riscului de injectare a prompturilor, dar, ca și în restul securității cibernetice, acesta este un război de arme, în care tehnici de atac și contramăsuri defensive sunt actualizate constant.

Cum cad cadrele de securitate cibernetică tradiționale în încercarea de a aborda riscurile unice ale sistemelor de inteligență artificială?

De obicei, asocierile noastre cu „cadrele de securitate cibernetică” includ îndrumări și standarde – de exemplu, NIST, ISO, MITRE etc. Unele dintre organizațiile din spatele acestor cadre au publicat îndrumări actualizate specifice pentru protejarea sistemelor de inteligență artificială, care pot fi foarte utile.

Inteligența artificială nu face aceste cadre ineficiente – aveți nevoie să abordați toate domeniile tradiționale de securitate cibernetică – ceea ce s-ar putea să aveți nevoie este de a actualiza procesele și programele (de exemplu, SDLC) pentru a aborda nuanțele asociate cu sarcinile de lucru de inteligență artificială. Încorporarea și automatizarea (acolo unde este posibil) a controalelor pentru protejarea împotriva amenințărilor nuanțate descrise mai sus este cea mai eficientă și eficace cale de urmat.

La nivel tactic, este important de menționat că gama completă de intrări și ieșiri posibile este adesea mult mai mare decât cea a aplicațiilor non-AI, ceea ce creează o problemă de scară pentru testarea de penetrare tradițională și detectarea bazată pe reguli, de aceea se pune accentul pe automatizare.

Care sunt elementele cheie care ar trebui incluse într-o strategie de securitate cibernetică, special concepută pentru organizațiile care implementează inteligență artificială generativă sau modele de limbaj mare?

Când se dezvoltă o strategie de securitate cibernetică pentru implementarea inteligenței artificiale generative sau a modelelor de limbaj mare, nu există o abordare care să se potrivească tuturor. Multe depind de obiectivele generale de afaceri ale organizației, de strategia IT, de focalizarea industrială, de amprenta regulamentară, de toleranța la risc etc., precum și de cazurile de utilizare specifice de inteligență artificială luate în considerare. O chatbot internă doar pentru uz intern are un profil de risc foarte diferit decât un agent care ar putea afecta rezultatele pentru sănătate ale pacienților, de exemplu.

În orice caz, există aspecte fundamentale pe care fiecare organizație ar trebui să le abordeze:

• Realizați o evaluare a pregătirii – aceasta stabilește o bază a capacităților actuale, precum și identifică posibile lacune, luând în considerare cazurile de utilizare prioritizate ale inteligenței artificiale. Organizațiile ar trebui să identifice unde există controale existente care pot fi extinse pentru a aborda riscurile nuanțate asociate cu inteligența artificială generativă și nevoia de a implementa tehnologii noi sau de a îmbunătăți procesele actuale.
• Stabiliți un proces de guvernanță a inteligenței artificiale – acesta poate fi complet nou în cadrul unei organizații sau o modificare a programelor actuale de gestionare a riscurilor. Acesta ar trebui să includă definirea funcțiilor de implementare a inteligenței artificiale la nivel de întreprindere și atragerea de stakeholderi din întreaga afacere, IT, produs, risc, securitate cibernetică etc. ca parte a structurii de guvernanță. De asemenea, definirea/actualizarea politicilor relevante (politici de utilizare acceptată, politici de securitate a cloud-ului, gestionarea riscurilor tehnologiei terțe, etc.), precum și stabilirea cerințelor de învățare și dezvoltare pentru a sprijini alfabetizarea inteligenței artificiale și securitatea/siguranța în cadrul organizației ar trebui să fie incluse.
• Stabiliți o arhitectură de inteligență artificială de încredere – odată cu crearea platformelor și a mediilor de experimentare a inteligenței artificiale, tehnologia existentă, precum și soluțiile noi (de exemplu, incendii de inteligență artificială, securitate la timpul de rulare, gestionarea ciclului de viață al modelului, capacități de gestionare a identității îmbunătățite etc.) vor trebui să fie integrate în mediile de dezvoltare și implementare într-o manieră repetabilă și scalabilă.
• Îmbunătățiți ciclul de viață al dezvoltării software – organizațiile ar trebui să construiască integrări strânse între dezvoltatorii de inteligență artificială și echipele de gestionare a riscurilor care lucrează pentru a proteja, securiza și construi încrederea în soluțiile de inteligență artificială. Acest lucru include stabilirea unei serii uniforme/standard de practici de dezvoltare de software securizat și cerințe de control, în parteneriat cu echipele mai largi de dezvoltare și adoptare a inteligenței artificiale.

Puteți explica conceptul de “zid de foc al inteligenței artificiale” în termeni simpli? Cum se diferențiază de zidurile de foc tradiționale de rețea?

Un zid de foc al inteligenței artificiale este un strat de securitate conceput pentru a monitoriza și controla intrările și ieșirile sistemelor de inteligență artificială – în special, modelele de limbaj mare – pentru a preveni utilizarea abuzivă, a proteja datele sensibile și a asigura un comportament responsabil al inteligenței artificiale. În contrast cu zidurile de foc tradiționale care protejează rețelele prin filtrarea traficului pe baza adreselor IP, porturilor și amenințărilor cunoscute, zidurile de foc ale inteligenței artificiale se concentrează pe înțelegerea și gestionarea interacțiunilor de limbaj natural. Acestea blochează conținut toxic, scurgeri de date, injecții de prompturi și utilizarea neetică a inteligenței artificiale, aplicând politici, filtre conștiente de context și garduri specifice modelului. În esență, în timp ce un zid de foc tradițional protejează rețeaua dvs., un zid de foc al inteligenței artificiale protejează modelele dvs. de inteligență artificială și ieșirile lor.

Există standarde industriale actuale sau protocoale emergente care guvernează utilizarea zidurilor de foc specifice inteligenței artificiale sau a gardurilor?

Protocolul de comunicare a modelului (MCP) nu este un standard universal, dar câștigă tracțiune în întreaga industrie pentru a ajuta la abordarea creșterii sarcinii de configurare a întreprinderilor care au nevoie să gestioneze diversitatea soluțiilor de inteligență artificială și generativă. MCP guvernează modul în care modelele de inteligență artificială schimbă informații (inclusiv învățarea) și integritatea și verificarea acestora. Putem considera MCP ca fiind stiva de protocol TCP/IP pentru modele de inteligență artificială, care este deosebit de utilă în cazuri centralizate, federate sau distribuite. MCP este, în prezent, un cadru conceptual care se realizează prin diverse instrumente, cercetări și proiecte.

Spațiul se mișcă rapid și putem anticipa că se va schimba considerabil în următorii ani.

Cum transformă inteligența artificială domeniul detectării și răspunsului la amenințări în prezent, comparativ cu acum cinci ani?

Am văzut modernizarea platformelor comerciale de operațiuni de securitate (SOC), care utilizează seturi de date masive de înaltă calitate și modele avansate de inteligență artificială și învățare automată pentru a îmbunătăți detectarea și clasificarea amenințărilor. În plus, acestea utilizează automatizarea, fluxul de lucru și capacitatea de remediere automată pentru a reduce timpul de la detectare la atenuare. De asemenea, unele au introdus capacități de copilot pentru a sprijini mai departe triajul și răspunsul.

În plus, agenții sunt dezvoltați pentru a îndeplini roluri selectate în cadrul SOC. Ca exemplu practic, am construit un „Analist digital” pentru implementarea în oferta noastră de servicii gestionate. Agenția servește ca analist de nivel unu, triind alerte intrate, adăugând context din informații despre amenințări și alte surse și recomandând pași de răspuns (pe baza unei istorii extinse a cazurilor) pentru analiștii noștri umani, care apoi revizuiesc, modifică dacă este necesar și iau măsuri.

Cum vedeți relația dintre inteligența artificială și securitatea cibernetică evoluând în următorii 3-5 ani – va fi inteligența artificială mai mult un risc sau o soluție?

Pe măsură ce inteligența artificială evoluează în următorii 3-5 ani, ea poate ajuta la securitatea cibernetică, dar, în același timp, poate introduce și riscuri. Inteligența artificială va extinde suprafața de atac și va crea noi provocări din perspectiva apărării. În plus, inteligența artificială adversă va crește viabilitatea, viteza și amploarea atacurilor, ceea ce va crea provocări suplimentare. Pe de altă parte, utilizarea inteligenței artificiale în domeniul securității cibernetice prezintă oportunități semnificative de a îmbunătăți eficacitatea, eficiența, agilitatea și viteza operațiunilor cibernetice în majoritatea domeniilor – creând, în final, un scenariu de „luptă cu focul cu foc”.

Mulțumim pentru acest interviu minunat; cititorii pot dori, de asemenea, să viziteze Deloitte.