Jonathan Zanger, Chief Technology Officer la Check Point – Seria de interviuri

Jonathan Zanger, Chief Technology Officer la Check Point, aduce o combinație rară de experiență militară de elită, expertiză profundă în domeniul inteligenței artificiale și conducere operațională în cadrul atât a startup-urilor, cât și a întreprinderilor globale. Înainte de a ocupa actualul post, el a fost CTO la Trigo, unde a condus dezvoltarea sistemelor de inteligență artificială și viziune computerizată de ultimă generație, care permit retailul fără fricțiuni și prevenirea pierderilor la scară largă, în timp ce alinia produsul și cercetarea-dezvoltarea cu implementarea comercială din lumea reală. Mai devreme, el a deținut funcții de conducere în cercetare-dezvoltare la Trigo și a petrecut peste un deceniu în Unitatea 8200 a Israelului, ajungând în cele din urmă să conducă o divizie de cercetare-dezvoltare în domeniul ciberneticii, responsabilă cu inițiativele de inteligență și securitate cibernetică la nivel național, și a primit recunoașterea națională pentru munca sa.

Check Point Software Technologies (CHKP ) este un lider global în domeniul securității cibernetice, oferind soluții de securitate conduse de inteligență artificială și livrate prin cloud, proiectate pentru a proteja întreprinderile și guvernele de amenințările digitale din ce în ce mai sofisticate. Compania deservește peste 100.000 de organizații din întreaga lume, cu o platformă cuprinzătoare care asigură rețele, medii cloud, puncte de acces și utilizatori prin abordarea preventivă, care are ca scop oprirea atacurilor înainte de a apărea. Arhitectura sa integrată utilizează inteligența artificială și informații despre amenințări în timp real, pentru a simplifica operațiunile de securitate, reduce riscul și permite organizațiilor să se extindă în siguranță, pe măsură ce adoptă inteligența artificială, computarea în cloud și sistemele distribuite.

Ați condus inițiative de securitate cibernetică și inteligență artificială la scară largă, ați construit sisteme conduse de inteligență artificială la Trigo și acum supravegheați strategia de inteligență artificială la Check Point. Care sunt modurile specifice de eșec pe care le-ați observat atunci când sistemele de inteligență artificială trec de la medii controlate în producție, în special atunci când li se oferă acces la unelte și date ale întreprinderii?

Două lucruri se schimbă fundamental în producție. În primul rând, scala transformă cazurile marginale în evenimente de zi cu zi. O rată de fals pozitiv de 0,1% sună excelent în laborator, dar atunci când procesați milioane de interacțiuni, aceasta se traduce în mii de incidente care necesită atenție. Valorile statistice neobișnuite în testare devin realități operaționale la scară.

În al doilea rând, producția înseamnă expunere adversă. Într-un mediu controlat, intrările sunt benigne și previzibile. În lumea reală, unii utilizatori și actori maliciți vor încerca activ să păcălească sistemul, folosind fiecare canal de date neîncredere pentru a manipula comportamentul. Trecerea de la demo la producție nu este o problemă de scară. Este o schimbare de la un mediu cooperativ la unul contestat, și aceasta cere ipoteze de proiectare fundamental diferite.

În sisteme agențice, în care modelele pot apela API, executa cod și lanțuri de acțiuni, care sunt cele mai critice suprafețe de atac pe care echipele de securitate nu le instrumentează încă corespunzător?

Suprafața critică pe care majoritatea echipelor o subestimează este datele însele. Sistemele agențice accesează în mod regulat surse de date neîncredere — e-mailuri primite, site-uri web, bilete Jira, cod deschis, documentație externă. Aceste date sunt încorporate și analizate de modele în procesul lor de raționament.

Acest lucru creează două riscuri concrete. În primul rând, otrăvirea memoriei — în care conținutul manipulat modelează subtil răspunsurile și deciziile viitoare ale modelului, fără nicio injecție directă de prompt. În al doilea rând, injecția indirectă de prompt — în care instrucțiunile adversarilor sunt încorporate în aceste date externe și, în esență, eliberează modelul din interior. Atacatorul nu atinge niciodată direct promptul. El plantează pur și simplu instrucțiuni acolo unde agentul le va găsi.

Injecția de prompt este adesea prezentată ca o problemă a modelului, dar în practică devine o problemă la nivel de sistem. Cum ar trebui întreprinderile să-și reproiecteze arhitectura pentru a izola intrările modelului, execuția uneltelor și accesul la date sensibile?

Injecția de prompt nu este o problemă universală cu o soluție universală. Fiecare intrare legitimă sau adversă depinde în întregime de context. A cere unui agent să “schimbe parola administratorului” este perfect legitim dacă este un agent de asistență tehnică. Aceeași solicitare către un chatbot al unui retailer online este un atac.

Acesta este motivul pentru care arhitectura contează mai mult decât orice tehnică de detectare singulară. Sistemele necesită atât mecanisme deterministe, cât și nedeterministe care lucrează împreună. Controalele deterministe gestionează accesul la unelte și date pe baza identității agentului, a identității utilizatorului și a rolului definit al sistemului. Controalele nedeterministe, bazate pe model, adaugă capacitatea de a înțelege limbajul, contextul și intenția. Aveți nevoie de ambele straturi — aplicarea riguroasă a politicii și raționamentul inteligent contextual — pentru că niciuna dintre ele nu este suficientă de ună singură.

Majoritatea agenților inteligenți artificiali se bazează pe generarea augmentată de recuperare și surse de date externe. Care sunt riscurile legate de otrăvirea datelor și manipularea contextului în aceste conducte, și cum pot fi ele atenuate la momentul rulării?

Riscurile diferă în funcție de direcția fluxului de date. Pentru sursele de date interne, riscul principal este scurgerea de date sensibile — expunerea PII, partajarea datelor între clienți, informații interne care sunt aduse la cunoștința părților neautorizate. Pentru sursele de date externe, riscurile includ îmbătrânirea modelului din cauza informațiilor neverificate, injecția indirectă de prompt încorporată în conținutul recuperat și dependența de surse neîncredere sau manipulate.

Atenuarea trebuie să aibă loc la nivelul tranzacției, în timp real. Fiecare interacțiune agențică trebuie să fie securizată în ambele direcții: asigurându-vă că datele sensibile nu sunt scurse din interior spre exterior și asigurându-vă că informațiile otrăvite sau adversarale nu sunt introduse din exterior în sistem sau în model. Nu puteți rezolva acest lucru doar la momentul încorporării, deoarece contextul este dinamic și peisajul amenințărilor se schimbă în mod continuu.

Avionul dvs. de apărare AI introduce un strat de control unificat pentru utilizarea AI de către angajați, aplicații și sisteme agențice. Care au fost cele mai mari provocări arhitecturale în construirea unui sistem care poate observa și impune politici de securitate la scară?

Credem că, în viitorul apropiat, sarcinile agențice vor acoperi puncte de acces, aplicații, servicii SaaS și sarcini de lucru în cloud — toate hyper-conectate în ceea ce numim “Internetul agenților”. Ideea din spatele Avionului de Apărare AI este de a descoperi, guverna și proteja această infrastructură agențică evolutivă a întreprinderii, într-o singură fereastră.

Provocarea arhitecturală de bază este evaluarea dinamică a profilului de risc și a contextului fiecărui agent, în timp ce se dezvoltă protecția în timp real pentru fiecare tranzacție agențică. Acest lucru înseamnă menținerea unor rate de blocare ridicate împotriva amenințărilor reale, în timp ce se minimizează falsurile pozitive — la viteza și scala producției, în multiple medii de rulare. Construirea unui sistem care poate observa și impune politici în mod consecvent la scară, pe o stivă de inteligență artificială fragmentată și în evoluție rapidă, ne-a obligat să reevaluăm modul în care abstragem și evaluăm activitatea inteligenței artificiale la nivel fundamental.

Platforma subliniază luarea deciziilor în timp real la viteza mașinii, la scară și în multiple fluxuri de lucru. Cum echilibrați constrângerile de întârziere cu nevoia de inspecție și control profund al acțiunilor conduse de inteligență artificială în medii de producție?

Dezvoltăm și antrenăm modele de bază special pentru prevenirea amenințărilor, apoi folosim tehnici de distilare pentru a le face extrem de eficiente. Acest lucru ne permite să rulăm inferența rapid și cu minim de calcul — chiar și pe CPU-uri sau GPU-uri de uz general — în timp ce menținem acoperirea multi-limbaj și multi-modală, inclusiv analiza imaginilor și a sunetelor, cu precizie maximă.

Acest abordaj ne permite să inspectăm tranzacțiile agențice în profunzime, fără a deveni un blocaj. Securitatea care introduce întârzieri inacceptabile va fi ocolită. Securitatea care este invizibilă pentru fluxul de lucru, dar impune controale semnificative, este ceea ce se implementează și rămâne implementat.

Agenții inteligenți artificiali operează din ce în ce mai mult cu permisiuni delegate în multiple sisteme. Cum ar trebui organizațiile să reconsidere gestionarea identității și accesului pentru actori non-umani, în special atunci când agenții își extind dinamic sfera de acțiune prin utilizarea uneltelor?

Greșeala pe care o fac majoritatea organizațiilor este tratarea agenților inteligenți artificiali fie ca extensii ale utilizatorilor umani, fie ca conturi de serviciu tradiționale. Niciunul dintre aceste modele nu se potrivește. Să-i considerați angajați digitali — entități cu roluri, responsabilități și limite definite.

Identitatea agentului ar trebui să fie definită de trei dimensiuni: fluxul de lucru specific pe care îl execută agentul, utilizatorul care deține sau a creat agentul și utilizatorul care interacționează cu el în prezent. Toți acești factori influențează ceea ce ar trebui să fie permis agentului. Dincolo de aceasta, organizațiile trebuie să aplice principiile de încredere zero pentru agenți — să nu presupună încredere pe baza originii, să verifice în mod continuu comportamentul și să impună accesul cu privilegii minime la fiecare pas. Fără aceasta, agenții vor acumula în mod tacit mai multă autoritate decât a intenționat cineva.

Majoritatea întreprinderilor au acum utilizarea de inteligență artificială în umbră, prin copiloți, plug-in-uri și scripturi interne. Care ar trebui să fie telemetria pe care echipele de securitate ar trebui să o colecteze pentru a obține o vizibilitate reală asupra modului în care inteligența artificială interacționează cu datele sensibile?

Vizibilitatea trebuie să funcționeze la nivelul tranzacției agențice — nu doar prompturi și răspunsuri, ci și apeluri de unelte, datele returnate de aceste unelte și acțiunile întreprinse ca urmare. Echipele de securitate trebuie să vadă lanțul complet: ce a fost solicitat, ce date au fost accesate, care unelte au fost invocate, care parametri au fost transmiși și ce s-a întâmplat mai departe.

Fără această telemetrie la nivel de tranzacție, nu puteți răspunde la întrebări fundamentale despre expunere, utilizare necorespunzătoare sau impact. Inteligența artificială în umbră nu este periculoasă pentru că există. Este periculoasă pentru că operează fără acest nivel de guvernanță sau perspicacitate.

Testarea de echipă roșie a sistemelor agențice este fundamental diferită de testarea aplicațiilor statice. Cum simulați comportamentul adversar de-a lungul fluxurilor de lucru multi-pași, și care sunt tipurile de exploatare pe care le descoperiți cel mai frecvent?

Funcționăm Gandalf (https://gandalf.lakera.ai), care este cel mai mare exercițiu de testare de echipă roșie pentru inteligență artificială din lume. Este o platformă cu sursă deschisă unde utilizatorii reali încearcă să convingă agenții inteligenți artificiali să-și încalce gardurile. Acest lucru ne oferă un set unic și în continuă creștere de tehnici adversarale reale — nu atacuri teoretice, ci strategiile pe care le folosesc oamenii reali pentru a manipula sistemele de inteligență artificială.

Ne folosim de acest set de date pentru a conduce capacitățile noastre de testare de echipă roșie. Atacurile pe care le vedem cel mai frecvent implică utilizatori care persuadau agenții să-și încalce constrângerile — prin injecția indirectă de prompt, reîncadrarea creativă, manipularea contextului și exploatarea treptată a încrederii, pe parcursul interacțiunilor multi-pași. Aceste probleme sunt invizibile dacă testați doar prompturi individuale. Trebuie să testați secvențe și campanii adversarale susținute.

Pe măsură ce atacatorii încep să utilizeze agenți autonomi pentru a testa sistemele în mod continuu, vă așteptați ca apărarea să se mute către controale adaptive în timp real, conduse de inteligență artificială, și cum arată această arhitectură în practică?

Da. Apărările statice nu pot ține pasul cu atacatorii autonomi care operează în mod continuu. Apărarea trebuie să devină adaptivă, condusă de runtime și automatizată. Acest lucru înseamnă monitorizarea în timp real a comportamentului inteligenței artificiale, evaluarea continuă a riscului și aplicarea imediată a politicilor atunci când acestea sunt încălcate. Viteza și scala atacurilor conduse de inteligență artificială vor fi contracarate doar de apărări la viteza mașinii, în timp real.

În practică, securitatea devine un buclă de feedback, mai degrabă decât un set de reguli. Sistemele de inteligență artificială sunt observate, evaluate și constrânse dinamic, la aceeași viteză și scară la care operează. Această schimbare este esențială dacă organizațiile doresc să implementeze inteligență artificială în siguranță la scară enterprise.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe despre Check Point Software Technologies ar trebui să viziteze site-ul nostru web.