Інтерв’ю
Джонатан Зангер, головний технічний директор Check Point – Серія інтерв’ю
Джонатан Зангер, головний технічний директор Check Point, має рідкісну комбінацію елітного військового інтелекту, глибокої експертизи штучного інтелекту та оперативного лідерства в стартапах і глобальних підприємствах. До своєї поточної посади він обіймав посаду технічного директора в Trigo, де керував розробкою наступного покоління систем штучного інтелекту та комп’ютерного бачення, що забезпечують безперешкодну роздрібну торгівлю та запобігання втратам у масштабі, при цьому узгоджуючи продукт і НДР з реальною комерційною експлуатацією. Раніше він обіймав керівні посади в НДР в Trigo і понад десяти років служив в елітному підрозділі 8200 Ізраїлю, в кінцевому підсумку очоливши підрозділ кібернетичних НДР, відповідальний за національні масштаби розвідки та ініціативи кібербезпеки, і здобув найвище національне визнання за свою роботу.
Check Point Software Technologies є глобальним лідером у сфері кібербезпеки, надаючи рішення з штучним інтелектом, доставлені через хмару, призначені для захисту підприємств і урядів від усе більш складних цифрових загроз. Компанія обслуговує понад 100 000 організацій по всьому світу з комплексною платформою, що захищає мережі, хмарні середовища, кінцеві точки та користувачів через підхід, орієнтований на запобігання, який спрямований на зупинку атак до того, як вони трапляться. Її інтегрована архітектура використовує штучний інтелект і аналіз загроз в реальному часі для спрощення операцій з безпеки, зменшення ризику та надання організаціям можливості масштабуватися безпечно при прийомі штучного інтелекту, хмарних обчислень та розподілених систем.
Ви керували великомасштабними ініціативами з кібербезпеки та штучного інтелекту, побудували системи, керовані штучним інтелектом, в Trigo, і тепер контролюєте стратегію штучного інтелекту в Check Point. Які конкретні режими відмови ви спостерігали, коли системи штучного інтелекту переходять з контрольованих середовищ у виробництво, особливо коли їм надається доступ до інструментів та даних підприємства?
Дві речі фундаментально змінюються у виробництві. По-перше, масштаб перетворює крайні випадки на повсякденні події. Коєфіцієнт хибних спрацьовувань 0,1 відсотка здається відмінним у лабораторії, але коли ви обробляєте мільйони взаємодій, це перекладається у тисячі інцидентів, які потребують уваги. Статистичні аутліери під час тестування стають операційними реаліями у масштабі.
По-друге, виробництво означає ворожу експозицію. У контрольованому середовищі входи є доброзичливими та передбачуваними. У реальному світі деякі користувачі та загрозливі актори будуть активно намагатися обманути систему, використовуючи кожний недовіряний канал даних для маніпулювання поведінкою. Перехід від демонстрації до виробництва не є проблемою масштабу. Це зміна від кооперативного середовища до спірного, і це вимагає фундаментально різних припущень про проектування.
У агентських системах, де моделі можуть викликати API, виконувати код та ланцюжки дій, які є найбільш критичними поверхнями атаки, які команди з безпеки все ще не інструментують належним чином?
Критична поверхня, яку більшість команд недооцінюють, – це самі дані. Агентські системи регулярно доступ themselves до недовіряних джерел даних – вхідні електронні листи, веб-сайти, квитки Jira, відкритий код, зовнішня документація. Ці дані інгеруються та аналізуються моделями як частина їхнього процесу міркування.
Це створює два конкретні ризики. По-перше, отруєння пам’яті – де маніпульований контент тонко формує майбутні відповіді та рішення моделі без будь-якої очевидної ін’єкції запиту. По-друге, непряма ін’єкція запиту – де ворожі інструкції вкладені в ті зовнішні дані та ефективно звільняють модель зсередини. Загрозливий актор ніколи не торкається запиту безпосередньо. Вони просто сажають інструкції, де агент їх знайде.
Ін’єкція запиту часто подається як проблема моделі, але на практиці вона стає системною проблемою. Як підприємства повинні переробити свою архітектуру, щоб ізолювати входи моделі, виконання інструментів та доступ до чутливих даних?
Ін’єкція запиту не є універсальною проблемою з універсальним рішенням. Чи є певний вхід легітимним чи ворожим, залежить повністю від контексту. Запит агента “змінити пароль адміністратора” є абсолютно легітимним, якщо це технічний агент служби підтримки. Такий самий запит до чат-боту онлайн-рітейлера є атакою.
Це пояснює, чому архітектура має значення більше, ніж будь-яка окрема техніка виявлення. Системи потребують як детерміністичних, так і недетерміністичних механізмів, які працюють разом. Детерміністські контролі керують доступом до інструментів та даних на основі ідентифікатора агента, ідентифікатора користувача та визначеної ролі системи. Недетерміністські, модельні контролі додають можливість розуміти мову, контекст та намір. Вам потрібно обидва шари – жорстке забезпечення політики та інтелектуальне контекстне міркування – оскільки жоден з них окремо не є достатнім.
Багато агентів штучного інтелекту покладаються на генерацію, доповнену пошуком, та зовнішні джерела даних. Які ризики існують навколо отруєння даних та маніпулювання контекстом у цих трубопроводах, і як їх можна пом’якшити під час виконання?
Ризики відрізняються залежно від напрямку потоку даних. Для внутрішніх джерел даних основним ризиком є витік чутливих даних – експозиція особистої інформації, спільне використання даних клієнтів, внутрішня інформація, яка подається недозволеним сторонам. Для зовнішніх джерел даних ризики включають зміщення моделі з неверифікованої інформації, непряму ін’єкцію запиту, вкладену в отриманий контент, та залежність від недовіряних або маніпульованих джерел.
Пом’якшення має відбуватися на рівні транзакції, в реальному часі. Кожна агентська взаємодія повинна бути захищена в обидві сторони: забезпечення того, що чутливі дані не витікають зсередини назовні, та забезпечення того, що отруєна чи ворожа інформація не подається ззовні в систему чи модель. Ви не можете вирішити це лише на рівні інгестії, оскільки контекст є динамічним, а ландшафт загроз постійно змінюється.
Ваша площина захисту штучного інтелекту вводить уніфікований рівень контролю по всьому використанню штучного інтелекту працівниками, додатками та агентськими системами. Які були найбільшими архітектурними викликами при будівництві системи, яка може спостерігати та забезпечувати політику по всьому такому фрагментованому стеку штучного інтелекту?
Ми вважаємо, що у найближчому майбутньому агентські робочі навантаження будуть охоплювати кінцеві точки, додатки, сервіси SaaS та хмарні робочі навантаження – все гіперз’єднано в тому, що ми називаємо “Інтернетом агентів”. Ідея площі захисту штучного інтелекту полягає в тому, щоб відкрити, керувати та захистити цю еволюційну підприємницьку агентську інфраструктуру в рамках однієї панелі.
Основним архітектурним викликом є динамічна оцінка профілю ризику та контексту кожного агента під час розробки ефективного захисту у реальному часі для кожної агентської транзакції. Це означає підтримання високих показників блокування проти справжніх загроз при мінімалізації хибних позитивів – на виробничій швидкості та масштабі, по декілька середовищ виконання. Будівництво системи, яка може спостерігати та забезпечувати політику послідовно по всьому такому фрагментованому та швидко еволюційному стеку штучного інтелекту, вимагало від нас переосмислити, як ми абстрагуємо та оцінюємо діяльність штучного інтелекту на фундаментальному рівні.
Платформа підкреслює прийняття рішень у реальному часі на швидкості машини по всіх мовах та робочих процесах. Як ви балансуєте обмеження затримки з потребою у глибокому інспектуванні та контролі дій, керованих штучним інтелектом, у виробничих середовищах?
Ми розробляємо та тренуємо моделі фундаменту конкретно для запобігання загрозам, а потім використовуємо техніки дистиляції, щоб зробити їх надзвичайно ефективними. Це дозволяє нам виконувати висновок швидко та з мінімальними обчисленнями – навіть на ЦП або комодітетних GPU – при збереженні покриття кількох мов та модальностей, включаючи аналіз зображень та аудіо, з максимальною точністю.
Цей підхід дозволяє нам глибоко інспектувати агентські транзакції без того, щоб стати瓶шею. Безпека, яка вводить неприйнятну затримку, буде обходиться. Безпека, яка є невидимою для робочого процесу, але забезпечує значимі контролі, – це те, що фактично розгортається та залишається розгорнутим.
Агенти штучного інтелекту все частіше діють з делегованими дозволами по декілька систем. Як організації повинні переосмислити керування ідентифікацією та доступом для нелюдських акторів, особливо коли агенти динамічно розширюють свій обсяг через використання інструментів?
Помилка, яку більшість організацій роблять, полягає в тому, що вони розглядають агентів штучного інтелекту як розширення людських користувачів або як традиційні сервісні облікові записи. Ні одна з цих моделей не підходить. Спробуйте подумати про них як про цифрових працівників – сутностей з визначеними ролями, відповідальністю та межами.
Ідентифікація агента повинна бути визначена трьома вимірами: конкретним робочим процесом, який агент виконує, користувачем, який володіє або створив агента, та користувачем, який зараз взаємодіє з ним. Всі три фактори формують те, що агент повинен бути дозволений робити. Крім того, організації повинні застосовувати принципи нульового довіри до агентів – ніколи не припускайте довіри на основі походження, постійно верифікуйте поведінку та забезпечуйте мінімальний доступ на кожному етапі. Без цього агенти будуть тихо накопичувати більше влади, ніж хто-небудь намірився.
Більшість підприємств зараз мають використання тіньового штучного інтелекту по всьому супроводу, плагінам та внутрішнім скриптам. Який телеметрія повинні команди з безпеки збирають, щоб здобути реальну видимість того, як штучний інтелект взаємодіє з чутливими даними?
Видимість повинна працювати на рівні агентської транзакції – не тільки запити та відповіді, але також виклики інструментів, дані, повернуті цими інструментами, та дії, вжиті в результаті. Команди з безпеки повинні бачити повний ланцюжок: що було запитано, які дані були доступні, які інструменти були викликані, які параметри були передані, та що відбулося далі.
Без цієї транзакційної телеметрії ви не можете відповісти на базові питання про експозицію, неправильне використання чи вплив. Тіньовий штучний інтелект не є небезпечним, оскільки він існує. Він є небезпечним, оскільки діє без цього рівня керування чи прозорості.
Червоне командування агентськими системами фундаментально відрізняється від тестування статичних додатків. Як ви симулюєте ворожу поведінку по багатокрокових робочих процесах, і які типи експлойтів найчастіше виявляються?
Ми оперуємо Гендальфом (https://gandalf.lakera.ai), який є найбільшим червоним командуванням штучного інтелекту у світі. Це є крауд-сорсинговою платформою, де реальні користувачі намагаються переконати агентів штучного інтелекту порушити свої обмеження. Це дає нам унікальну та постійно зростаючу базу даних фактичних ворожих технік – не теоретичних атак, а стратегій, які реальні люди використовують для маніпулювання системами штучного інтелекту.
Ми використовуємо цю базу даних для керування нашими можливостями червоного командування. Атаки, які ми бачимо найчастіше, включають користувачів, які поступово переконують агентів порушити свої обмеження – через непряму ін’єкцію запиту, творче переформулювання, маніпулювання контекстом та інкрементальну експлуатацію довіри по багатокрокових взаємодіях. Ці питання є невидимими, якщо ви тестиєте тільки окремі запити. Ви повинні тестувати послідовності та тривалі ворожі кампанії.
Як загрозники починають використовувати автономні агенти для безперервного зондування систем, чи очікуєте ви, що захист перейде до адаптивних контролів у реальному часі, керованих штучним інтелектом, і як виглядає така архітектура на практиці?
Так. Статичні захисти не можуть впоратися з автономними загрозниками, які діють безперервно. Захист повинен стати адаптивним, керованим у реальному часі та автоматизованим. Це означає моніторинг поведінки штучного інтелекту у реальному часі, безперервну оцінку ризику та негайне забезпечення політики, коли вони порушуються. Швидкість та масштаб атак, керованих штучним інтелектом, будуть протидіяти лише такими ж швидкими, машинними захистами.
На практиці безпека стає циклом зворотного зв’язку, а не набором правил. Системи штучного інтелекту спостерігаються, оцінюються та обмежуються динамічно, з тією ж швидкістю та масштабом, з яким вони працюють. Ця зміна є суттєвою, якщо організації хочуть розгортати штучний інтелект безпечно у масштабі підприємства.
Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, повинні відвідати Check Point Software Technologies.
