Джонатан Зангер, головний технічний директор Check Point – Інтерв’ю серія

Джонатан Зангер, головний технічний директор Check Point, має унікальне поєднання досвіду військової розвідки, глибокої експертизи в галузі штучного інтелекту та оперативного керівництва в стартапах і глобальних підприємствах. До свого поточного призначення він обіймав посаду технічного директора в Trigo, де керував розробкою наступного покоління систем штучного інтелекту та комп’ютерного зору, що забезпечують безперешкодну торгівлю та запобігання втратам у масштабі, а також узгоджував продукти та дослідження з реальними комерційними розгортаннями. Раніше він обіймав керівні посади в галузі досліджень і розробок в Trigo та понад десяти років служив в елітному підрозділі 8200 Ізраїлю, в кінцевому підсумку очолюючи підрозділ кібернетичних досліджень і розробок, відповідальний за національні ініціативи з питань розвідки та кібербезпеки, і здобув найвищу національну оцінку за свою роботу.

Check Point Software Technologies є глобальним лідером у сфері кібербезпеки, що пропонує рішення з безпеки, керованими штучним інтелектом та доставлені через хмару, призначені для захисту підприємств та урядів від все більш складних цифрових загроз. Компанія обслуговує понад 100 000 організацій по всьому світу з комплексною платформою, що забезпечує мережі, хмарні середовища, кінцеві точки та користувачів за допомогою підходу, орієнтованого на запобігання, який спрямований на зупинку атак до того, як вони трапляться. Її інтегрована архітектура використовує штучний інтелект та аналіз загроз в режимі реального часу для спрощення операцій з безпеки, зменшення ризику та надання організаціям можливості масштабуватися безпечно при прийомі штучного інтелекту, хмарних обчислень та розподілених систем.

Ви керували великомасштабними ініціативами з кібербезпеки та штучного інтелекту, розробляли системи, керованими штучним інтелектом, в Trigo, і тепер керуєте стратегією штучного інтелекту в Check Point. Які конкретні моделі відмов спостерігали ви під час переходу систем штучного інтелекту з контрольованих середовищ у виробництво, особливо коли їм надається доступ до інструментів та даних підприємства?

Дві речі змінюються фундаментально у виробництві. По-перше, масштаб перетворює крайні випадки на повсякденні події. Якість 0,1 відсотка хибних позитивних результатів здається відмінною в лабораторії, але коли ви обробляєте мільйони взаємодій, це перетворюється на тисячі інцидентів, які потребують уваги. Статистичні відхилення під час тестування стають оперативними реаліями у масштабі.

По-друге, виробництво означає ворожу експозицію. У контрольованому середовищі входи є доброзичливими та передбачуваними. У реальному світі деякі користувачі та загрозливі актори будуть активно намагатися обманути систему, використовуючи кожний недовіряний канал даних для маніпулювання поведінкою. Перехід від демонстрації до виробництва не є проблемою масштабу. Це зміна від кооперативного середовища до спірного, і це вимагає фундаментально різних припущень про проектування.

У агентських системах, де моделі можуть викликати API, виконувати код та ланцюжки дій, які є найбільш критичними поверхнями атаки, які команди з безпеки все ще не інструментують належним чином?

Критична поверхня, яку більшість команд недооцінюють, – це самі дані. Агентські системи регулярно звертаються до недовіряних джерел даних – вхідної пошти, веб-сайтів, Jira-квитків, відкритого коду, зовнішньої документації. Ці дані аналізуються моделями як частина їхнього процесу міркування.

Це створює два конкретні ризики. По-перше, отруєння пам’яті – коли маніпульовані вміст тонко формує майбутні реакції та рішення моделі без будь-якої очевидної ін’єкції запиту. По-друге, непряма ін’єкція запиту – коли вороже інструкції вкладені в ті зовнішні дані та ефективно виламують модель зсередини. Нападник ніколи не торкається запиту безпосередньо. Він просто сажає інструкції, де агент їх знайде.

Ін’єкція запиту часто розглядається як проблема моделі, але на практиці це стає системною проблемою. Як підприємства повинні переробити свою архітектуру, щоб ізолювати входи моделі, виконання інструментів та доступ до чутливих даних?

Ін’єкція запиту не є універсальною проблемою з універсальним рішенням. Чи є певний вхід легітимним чи ворогом, залежить повністю від контексту. Запит агента “змінити пароль адміністратора” є цілком легітимним, якщо це технічний агент служби підтримки. Такий самий запит до чат-бота онлайн-рітейлера – це атака.

Це пояснює, чому архітектура має значення більше, ніж будь-яка окрема техніка виявлення. Системи потребують як детермінованих, так і недетермінованих механізмів, що працюють разом. Детерміновані засоби контролю керують доступом до інструментів та даних на основі ідентифікатора агента, ідентифікатора користувача та визначеної ролі системи. Недетерміновані, засновані на моделі засоби контролю додають можливість розуміти мову, контекст та намір. Вам потрібні обидва шари – жорстке виконання політики та інтелектуальне контекстне міркування – оскільки жоден з них окремо не є достатнім.

Багато агентів штучного інтелекту покладаються на генерацію, доповнену пошуком, та зовнішні джерела даних. Які ризики існують навколо отруєння даних та маніпулювання контекстом у цих трубопроводах, і як їх можна пом’якшити під час виконання?

Ризики відрізняються залежно від напрямку потоку даних. Для внутрішніх джерел даних основним ризиком є витік чутливих даних – витік особистих даних, спільне використання даних клієнтів, внутрішня інформація, яка надається неавторизованим сторонам. Для зовнішніх джерел даних ризики включають упередженість моделі через неверифіковану інформацію, непряму ін’єкцію запиту, вкладену в отриманий вміст, та залежність від недовіряних або маніпульованих джерел.

Пом’якшення повинно відбуватися на рівні транзакції, в режимі реального часу. Кожна агентська взаємодія повинна бути захищена в обидва боки: забезпечення того, щоб чутливі дані не витікали зсередини назовні, та забезпечення того, щоб отруєні чи вороже інформація не підживлювалися ззовні в систему чи модель. Ви не можете вирішити це лише на рівні прийому, оскільки контекст є динамічним, а ландшафт загроз змінюється безперервно.

Ваша площина захисту штучного інтелекту вводить уніфікований рівень контролю по всьому використанню штучного інтелекту працівниками, додатками та агентськими системами. Які були найбільшими архітектурними викликами при створенні системи, яка може спостерігати та примусово виконувати політику по всьому такому фрагментованому стеку штучного інтелекту?

Ми вважаємо, що в найближчому майбутньому агентські робочі навантаження будуть охоплювати кінцеві точки, додатки, сервіси SaaS та хмарні робочі навантаження – все гіперз’єднано в тому, що ми називаємо “Інтернетом агентів”. Ідея площі захисту штучного інтелекту полягає в тому, щоб виявити, керувати та захистити цю еволюціонуючу підприємницьку агентську інфраструктуру в рамках одного вікна.

Основним архітектурним викликом є динамічна оцінка профілю ризику та контексту кожного агента при розробці ефективного захисту в режимі реального часу для кожної агентської транзакції. Це означає підтримання високих показників блокування проти справжніх загроз, одночасно мінімізуючи хибні позитиви – на рівні виробництва та масштабу, по всім активним середовищам. Створення системи, яка може спостерігати та примусово виконувати політику послідовно по всьому такому фрагментованому та швидко еволюціонуючому стеку штучного інтелекту, вимагало від нас переосмислити, як ми абстрагуємо та оцінюємо діяльність штучного інтелекту на фундаментальному рівні.

Платформа підкреслює прийняття рішень в режимі реального часу на рівні машин по всіх мовах та робочих процесах. Як ви балансуєте обмеження затримки з необхідністю глибокого інспектування та контролю дій, керованих штучним інтелектом, у виробничих середовищах?

Ми розробляємо та тренуємо базові моделі конкретно для запобігання загрозам, а потім використовуємо техніки дистиляції, щоб зробити їх надзвичайно ефективними. Це дозволяє нам швидко виконувати висновок та мінімальний обчислювальний ресурс – навіть на ЦП або комодітетних GPU – підтримуючи при цьому максимальну точність та багатолінгвальний та багатомодальний покриття, включаючи аналіз зображень та аудіо.

Цей підхід дозволяє нам глибоко інспектувати агентські транзакції без того, щоб стати瓶нем. Безпека, яка вводить недопустиму затримку, буде обійдена. Безпека, яка є невидимою для робочого процесу, але примусово виконує значимі контролю, – це те, що фактично розгортається та залишається розгорнутим.

Агенти штучного інтелекту все частіше діють з делегованими дозволами по декількох системах. Як організації повинні переосмислити керування ідентифікацією та доступом для нелюдських акторів, особливо коли агенти динамічно розширюють свій обсяг через використання інструментів?

Помилка, яку більшість організацій роблять, полягає в тому, що вони розглядають агентів штучного інтелекту як розширення користувачів або як традиційні сервісні облікові записи. Ні одна з цих моделей не підходить. Спробуйте подумати про них як про цифрових працівників – сутності з визначеними ролями, відповідальністю та межами.

Ідентифікація агента повинна бути визначена трьома вимірами: конкретним робочим процесом, який агент виконує, користувачем, який володіє або створив агента, та користувачем, який зараз взаємодіє з ним. Всі три фактори формують те, що агент повинен бути допущений до виконання. Крім того, організації повинні застосовувати принципи нульового довіри до агентів – ніколи не припускайте довіри на основі походження, постійно перевіряйте поведінку та примусово виконуйте мінімальні привілеї доступу на кожному етапі. Без цього агенти будуть тихо накопичувати більше влади, ніж хто-небудь намірявся.

Більшість підприємств зараз мають тіньове використання штучного інтелекту по всьому: копілотам, плагінам та внутрішнім скриптам. Яка телеметрія повинна бути зібрана командами з безпеки, щоб здобути реальну видимість того, як штучний інтелект взаємодіє з чутливими даними?

Видимість повинна функціонувати на рівні агентської транзакції – не тільки запити та відповіді, але й виклики інструментів, дані, повернуті цими інструментами, та дії, виконані в результаті. Команди з безпеки повинні бачити весь ланцюжок: що було запитано, які дані були доступні, які інструменти були викликані, які параметри були передані, і що сталося далі.

Без цієї транзакційної телеметрії ви не можете відповісти на базові питання про вплив, порушення чи вплив. Тіньовий штучний інтелект не є небезпечним, оскільки він існує. Він небезпечний, оскільки діє без такого рівня управління чи інсайту.

Червоне командування агентських систем фундаментально відрізняється від тестування статичних додатків. Як ви симулюєте вороже поведінку по багатокрокових робочих процесах, і які типи експлойтів найчастіше виявляються?

Ми працюємо над Гандальфом (https://gandalf.lakera.ai), який є найбільшим червоним командуванням штучного інтелекту у світі. Це платформа, керована спільнотою, де реальні користувачі намагаються переконати агентів штучного інтелекту порушити їхні обмеження. Це дає нам унікальний і безперервно зростаючий набір фактичних технік атаки – не теоретичних атак, а стратегій, які реальні люди використовують для маніпулювання системами штучного інтелекту.

Ми використовуємо цей набір для підтримки наших можливостей червоного командування. Найбільш поширені атаки, які ми бачимо, включають користувачів, які поступово переконують агентів порушити їхні обмеження – через непряму ін’єкцію запиту, творче переформулювання, маніпулювання контекстом та інкрементальну експлуатацію довіри по багатокрокових взаємодіях. Ці питання невидимі, якщо ви тестиєте лише окремі запити. Вам потрібно тестувати послідовності та тривалі вороже кампанії.

Як нападники починають використовувати автономні агенти для дослідження систем безперервно, чи очікуєте ви, що захист перейде до адаптивних засобів контролю в режимі реального часу, керованих штучним інтелектом, і як виглядає ця архітектура на практиці?

Так. Статичні засоби захисту не можуть впоратися з автономними нападниками, які діють безперервно. Захист повинен стати адаптивним, керованим у режимі реального часу та автоматизованим. Це означає моніторинг поведінки штучного інтелекту в режимі реального часу, безперервну оцінку ризику та негайне примусове виконання, коли політики порушуються. Швидкість та масштаб атак, керованих штучним інтелектом, будуть протидіяти лише засобами захисту, керованими штучним інтелектом, які працюють з такою ж швидкістю.

На практиці захист стає зворотним зв’язком, а не набором правил. Системи штучного інтелекту спостерігаються, оцінюються та обмежуються динамічно, з такою ж швидкістю та масштабом, з яким вони працюють. Ця зміна є суттєвою, якщо організації хочуть розгортати штучний інтелект безпечно у масштабі підприємства.

Дякуємо за велике інтерв’ю. Читачам, які бажають дізнатися більше, рекомендуємо відвідати Check Point Software Technologies.