Роні Охайон, CEO і засновник DeepKeep – Серія інтерв’ю

Роні Охайон, CEO і засновник DeepKeep, – досвідчений підприємець і технологічний спеціаліст з кар’єрою, що охоплює штучний інтелект, кібербезпеку, автономні системи та технології великомасштабного відео. Він заснував і очолював кілька компаній у цих галузях, включаючи ключові ролі у зв’язку автономних транспортних засобів, трансляції відео в прямому ефірі та просунутому інженерстві, а також раніше академічну роботу в галузі комп’ютерної інженерії.

DeepKeep – це платформа безпеки штучного інтелекту, розроблена для допомоги підприємствам у захисті штучного інтелекту, генеративного штучного інтелекту, великомасштабних мовних моделей, комп’ютерного зору та багатомодальних систем на всьому циклі їхнього життя. Компанія зосереджується на визначенні уразливостей, блокуванні загроз, що походять від противників, запобіганні проблемам, таким як витік даних і маніпуляція запитами, підтримці дотримання нормативних вимог та забезпеченні безперервного моніторингу для гарантування надійності, стійкості та захисту розгортань штучного інтелекту.

Ви керували великими інноваціями у сфері передачі відео, зв’язку автономних транспортних засобів та систем штучного інтелекту. Що у вашій кар’єрі переконало вас, що наступною великою проблемою, яку потрібно вирішити, є забезпечення безпеки підприємства штучного інтелекту?

Мене завжди мотивувало бажання вирішувати високоефективні завдання, які змінюють галузі. За роки я помітив повторюваний шаблон, коли нова технологія, особливо штучний інтелект, часто випереджає заходи безпеки, залишаючи критичні уразливості.

Підтримка підприємств штучного інтелекту, особливо з ростом великомасштабних мовних моделей (LLM) і агентського штучного інтелекту, відкрила новий рубіж ризиків, і підприємства часто відчувають себе перегруженими і непідготовленими до використання цих систем безпечно і з впевненістю. Мій досвід у системах штучного інтелекту підкреслив, наскільки важливо інтегрувати безпеку в серцевину цих технологій, щоб вони були не тільки інноваційними, а й безпечними та надійними, забезпечуючи надійні результати для підтримки підприємств проактивно. Це розуміння привело до заснування DeepKeep, з фокусом на забезпеченні безпеки систем штучного інтелекту, щоб підприємства могли з впевненістю приймати штучний інтелект для підвищення продуктивності та бізнес-розвитку, не компрометуючи безпеку чи приватність.

Коли ви та ваш співзасновник запустили DeepKeep у 2021 році, яка конкретна сліпота безпеки штучного інтелекту переконала вас у терміновій необхідності спеціалізованої платформи, і як це бачення сформувало першу напрямок компанії?

Після років роботи зі штучним інтелектом у комп’ютерному зорі, яке вимагало значних зусиль для забезпечення його надійності та стійкості, ми зрозуміли, що час розробити спеціалізоване рішення для забезпечення довіри та безпеки комп’ютерного зору.

У 2021 році, до вибуху великомасштабних мовних моделей, ми запустили DeepKeep, щоб вирішити ці ризики у моделях комп’ютерного зору.

Можете ви розповісти про перший прототип – що він фактично робив, як мала команда була на той час, і як ви підтвердили, що ви на правильному шляху?

Коли ми заснували DeepKeep, фокус все ще був на традиційному штучному інтелекті – комп’ютерному зорі, табличних моделях та ранньому NLP – ще до появи великомасштабних мовних моделей. Наш перший прототип був системою для червоного командування класифікаторів комп’ютерного зору для перевірки їхньої стійкості проти атак противників. Паралельно з цим ми побудували ранню версію брандмауера штучного інтелекту, який міг виявляти та сигналізувати про ці атаки в реальному часі.

Перші випадки використання прийшли з автомобільної, страхової та фінансових послуг, де неправильна поведінка моделі несе реальні операційні ризики. Ми були маленькою командою з близько восьми осіб на той час, що дозволило нам швидко ітеруватися та продукувати функціональний прототип рано.

Ми підтвердили, що ми на правильному шляху, спілкуючись безпосередньо з потенційними клієнтами, які постійно підкреслювали стійкість проти атак противників як виникнутою проблему. Приблизно в той самий час з’явилися рамки, такі як ATLAS від MITRE – вперше випущені у 2021 році, – що було важливим зовнішнім сигналом про те, що галузь безпеки штучного інтелекту та моделювання загроз противників була готова до зростання. Сумістність між відгуком клієнтів та напрямом галузі дала нам впевненість, що ми рухаємося у правильному напрямку.

DeepKeep була розроблена з самого початку для забезпечення безпеки систем штучного інтелекту, а не традиційного програмного забезпечення. Як ви пріоритезували, які типи моделей і поверхні атак потрібно сконцентруватися спочатку?

З самого початку ми знали, що забезпечення безпеки підприємства штучного інтелекту вимагає парадигматичного зрушення. Хоча багато організацій досить розумні, щоб знати, що їм потрібно проводити тестування на проникнення та оцінку для моделей, які вони використовують, ми зрозуміли, що ці дії – лише початок. Реальні ризики виникають у повному екосистемі застосування, а не лише у самих моделях.

Тому, хоча забезпечення безпеки окремих чат-ботів штучного інтелекту з традиційним червоним командуванням було початковою точкою галузі, ми швидко перейшли до розробки рішень, які забезпечують захист спеціалізованих застосунків штучного інтелекту та агентів штучного інтелекту, і будуть розвиватися для забезпечення безпеки наступного кроку, при якому агенти взаємодіють один з одним і існує значна міждомена інтелект.

Ми забезпечуємо сканування моделей усіх типів, але також захищаємо від найбільш термінових загроз, таких як атаки противників, витік даних, порушення системи та підірвання довіри шляхом проведення червоного командування моделей та застосування обмежень, які забезпечують безпеку запитів і відповідей штучного інтелекту.

Найважливіше, що ми також забезпечуємо безпеку “семантичного шару” штучного інтелекту, розуміючи контекст, у якому працюють моделі. Це гарантує, що моделі не можуть бути так легко маніпульовані.

Які були найбільшими технічними чи стратегічними поворотами, які ви зробили між стадією заснування та поточним напрямом продукту DeepKeep?

Одним з найбільших рішень, які ми прийняли, було розширення нашого фокусу за межі традиційної безпеки моделей у сфері безпеки застосунків штучного інтелекту. Спочатку ми зосередилися на забезпеченні безпеки окремих моделей, але оскільки ландшафт штучного інтелекту еволюціонував, ми зрозуміли, що забезпечення безпеки всіх екосистем штучного інтелекту, де перетинаються кілька моделей, агентів та випадків використання, було набагато критичніше. Це змусило нас розширити наш підхід шляхом включення червоного командування, комплексного брандмауера штучного інтелекту для захисту кожного взаємодію з агентами штучного інтелекту, співробітниками та застосунками, а також моніторингу в режимі реального часу.

Іншим ключовим рішенням було забезпечення повної гнучкості розгортання, включаючи рішення, незалежні від хмарних платформ, локальні та ізольовані рішення, що дозволяють підприємствам безпечно розгортати DeepKeep у будь-якому середовищі. Ми також нещодавно інтегрували покращений індустріальний захист особистої ідентифікаційної інформації у нашу платформу, який надав нашим клієнтам ще глибший рівень захисту даних і гарантує, що підприємства можуть дотримуватися глобальних вимог щодо дотримання законодавства при розширенні використання штучного інтелекту.

DeepKeep ставить рівний акцент на безпеці та довірі. На якій стадії цей подвійний фокус став ядром ідентичності компанії?

Фокус на безпеці та довірі став зрозумілим на ранній стадії, особливо коли ми почали формувати глибше розуміння наших клієнтів та їхніх потреб.

При роботі з моделями штучного інтелекту безпека та довіра йдуть рука об руку та грають рівну роль, оскільки в кінцевому підсумку можуть привести до руйнівних результатів. Застосунок не може бути стійким та ненадійним одночасно, і навпаки.

Традиційні інструменти кібербезпеки не були розроблені для ін’єкції запитів, галюцинацій, витоку даних або маніпуляції моделями. Який із цих нових векторів загроз ви бачите, що підприємства найбільш борються, і як ці реальні проблеми вплинули на архітектуру DeepKeep?

З нових загроз ін’єкція запитів і витік даних є найбільш терміновими проблемами, з якими ми бачимо, що підприємства борються. Коли застосунки та агенти штучного інтелекту стають все більш інтегрованими у бізнес-процеси, ризики маніпуляції запитами та випадкового витоку чутливих даних стають більш вираженими. Ці питання змусили нас розробити DeepKeep з фокусом на контекстній безпеці, захищаючи не лише моделі, а весь потік даних та взаємодій у екосистемах штучного інтелекту. Наша інфраструктура була розроблена для проведення тестів на проникнення цих шарів на стадії розробки та захисту під час виконання шляхом забезпечення безпеки кожної взаємодії штучного інтелекту.

Ваша платформа поєднує обмеження, червоне командування та шари захисту даних. З технічної точки зору, яке з цих елементів було найбільш складним для розробки на рівні підприємства, і що ви дізналися під час будівництва системи, яка повинна адаптуватися до швидкозмінних моделей штучного інтелекту?

Кожен шар – обмеження, червоне командування та захист даних – має свої власні інженерні складності, але ми виявили, що складнощі, які мають усі ці шари спільно, були насправді найбільш складними.

Першою є темп змін: нові ризики, втечі та атаки виникають постійно, тому все статичне швидко стає застарілим. Другою є прийняття контексту: у підприємствах підхід “один розмір для всіх” просто не працює, оскільки кожна aplicación має різні політики, чутливість даних та поведінку користувачів.

Для вирішення першої проблеми ми побудували повністю модульну архітектуру з компонентами типу плагінів, що дозволяє нам швидко додавати нові атаки до двигуна червоного командування або нові обмеження до брандмауера без порушення системи.

А для вирішення другої проблеми ми розробили агентську, контекстно-чутливу систему. Вона аналізує середовище застосування та автоматично адаптує відповідні заходи безпеки – що є важливим, коли моделі та випадки використання штучного інтелекту еволюціонують так швидко.

Ці дві можливості, модульність та контекстна чутливість, були ключовими для роботи на рівні підприємства, підтримуючи швидкозмінні системи штучного інтелекту.

Безпека штучного інтелекту – це еволюційна дисципліна. Які пробіли ви бачите всередині підприємств сьогодні – чи то у політиці, інструментуванні, чи розумінні ризиків – які найбільш безпосередньо сформували, як ви розробили стек безпеки DeepKeep та процес налаштування клієнтів?

Пробіли значно варіюються залежно від галузі, розміру компанії та зрілості прийняття штучного інтелекту.

Одним з найбільших пробілів, які ми бачимо у великих підприємствах сьогодні, є відсутність єдиної рішення, яке покриває всі потреби безпеки штучного інтелекту. Багато з цих підприємств знають про свою потребу у рішеннях безпеки штучного інтелекту, але оскільки прийняття зростає, так само зростає вимога додаткового забезпечення безпеки. Ми дізналися на ранній стадії, що існує цінність у потужному, комплексному рішенні, яке включає різні можливості, що працюють у тандемі та з безперешкодною інтеграцією. Клієнти користуються рішенням, де вся сума більша за суму його частин.

Когда ринок дозрів, ми виявили інший пробіл, який полягає у тому, що організації шукають більш спеціалізовані та менш загальні інструменти безпеки для захисту своїх агентів та застосунків. Одним з причин нашого контекстно-чутливого підходу було вирішення цього пробілу, з розумінням того, що кожна aplicación та агент є різними та потребують відповідного захисту.

Якщо ми подивимось вперед на п’ять років, як ви очікуєте, що ризики штучного інтелекту підприємства будуть еволюціонувати – і де, на вашу думку, DeepKeep потрібно бути позиціоновано, щоб залишатися попереду цього майбутнього?

Я очікую, що найбільші ризики штучного інтелекту за наступні п’ять років будуть еволюціонувати разом з досягненнями у сфері автономності штучного інтелекту. Коли агенти стають більш автономними, інтегрованими у кожну бізнес-операцію та здатними виконувати складні завдання, ризик безпеки та зловживання зростатиме. Ми передбачаємо розвиток Інтернету агентів (IoA), у якому агенти взаємодіють один з одним, утворюючи ще більш складну мережу взаємодій штучного інтелекту для захисту.

Щоб залишатися попереду, DeepKeep продовжить еволюціонувати свою платформу для захисту цих усе більш складних систем штучного інтелекту, забезпечуючи захист розгортань штучного інтелекту у режимі реального часу та підтримку зростаючої тенденції до прийняття рішень, підтримуваних штучним інтелектом. Наша мета – бути довіреним партнером, на якого підприємства можуть покладатися для захисту свого цілого екосистеми штучного інтелекту, незалежно від того, наскільки складною вона стає.

Дякуємо за велике інтерв’ю. Читачам, які бажають дізнатися більше, слід відвідати DeepKeep.