Роні Охайон, генеральний директор і засновник DeepKeep – Серія інтерв’ю

Роні Охайон, генеральний директор і засновник DeepKeep, – досвідчений підприємець і технолог з кар’єрою, що охоплює галузі штучного інтелекту, кібербезпеки, автономних систем і великомасштабних відеотехнологій. Він заснував і очолював кілька компаній у цих галузях, включаючи значні ролі у сфері з’єднання автономних транспортних засобів, передачі відео в реальному часі та просунутого інжинірингу, а також ранню академічну роботу в галузі комп’ютерної інженерії.

DeepKeep – це платформа штучного інтелекту з безпеки, розроблена для допомоги підприємствам у захисті штучного інтелекту, генеративного штучного інтелекту, великомасштабних мовних моделей, комп’ютерного зору та.multimodal систем протягом усього їхнього життєвого циклу. Компанія фокусується на виявленні уразливостей, блокуванні шкідливих атак, запобіганні проблемам, таким як витік даних і маніпуляція запитами, підтримці дотримання нормативних вимог та забезпеченні безперервного моніторингу для забезпечення довіри, стійкості та захисту розгортань штучного інтелекту.

Ви очолили значні інновації у сфері передачі відео, з’єднання автономних транспортних засобів та систем штучного інтелекту. Що у вашій кар’єрі переконало вас, що наступним великим викликом, який вам потрібно розв’язати, є забезпечення безпеки підприємства штучного інтелекту?

Мене завжди мотивувало розв’язувати високоефективні завдання, які змінюють галузі. За роки я помітив повторюваний шаблон, коли нова технологія, особливо штучний інтелект, часто випереджає заходи безпеки, залишаючи критичні уразливості.

Підприємства прийняття штучного інтелекту, особливо з ростом великомасштабних мовних моделей (LLM) та агентських штучного інтелекту, відкрили новий фронт ризиків, і компанії часто відчувають себе приголомшеними та непідготовленими до безпечного та впевненого використання цих систем. Мій досвід у системах штучного інтелекту підкреслив, наскільки важливо інтегрувати безпеку в саму суть цих технологій, щоб вони були не тільки інноваційними, але й безпечними та надійними, забезпечуючи надійні результати для підтримки підприємств проактивно. Це розуміння привело до заснування DeepKeep, з фокусом на забезпеченні безпеки систем штучного інтелекту, щоб компанії могли впевнено приймати штучний інтелект для підвищення продуктивності та бізнес-росту, не компрометуючи безпеку чи конфіденційність.

Коли ви та ваш співзасновник запустили DeepKeep у 2021 році, який конкретний сліпий простір безпеки штучного інтелекту переконав вас у терміновій необхідності спеціалізованої платформи, і як це бачення сформувало ранній напрям компанії?

Після років роботи зі штучним інтелектом у комп’ютерному зорі, яке вимагало значних зусиль для забезпечення його надійності та стійкості, ми зрозуміли, що час розробити спеціальне рішення для забезпечення довіри та безпеки комп’ютерного зору.

У 2021 році, до вибуху великомасштабних мовних моделей, ми запустили DeepKeep, щоб вирішити ці ризики у моделях комп’ютерного зору.

Можете ви розповісти про перший прототип – що він фактично робив, як малий був ваш командою та як ви підтвердили, що ви на правильному шляху?

Коли ми заснували DeepKeep, фокус все ще був на традиційному штучному інтелекті – комп’ютерному зорі, табличних моделях та ранньому NLP – ще до появи великомасштабних мовних моделей. Наш перший прототип був системою для тестування класифікаторів комп’ютерного зору на їхню стійкість проти шкідливих атак. Поруч з цим ми побудували ранню версію брандмауера штучного інтелекту, який міг виявляти та сигналізувати про ці атаки в реальному часі.

Перші випадки використання прийшли з автомобільної, страхової та фінансової галузей, де неправильна поведінка моделі несе реальні оперативні ризики. Ми були малим командою з близько восьми осіб на той час, що дозволило нам швидко ітерувати та створювати функціональний прототип.

Ми підтвердили, що ми на правильному шляху, спілкуючись безпосередньо з потенційними клієнтами, які постійно підкреслювали стійкість до шкідливих атак як надходящу проблему. Около того ж часу з’явилися каркаси, такі як ATLAS від MITRE – вперше випущений у 2021 році, – що було важливим зовнішнім сигналом про те, що галузь безпеки штучного інтелекту та моделювання шкідливих атак готується до зростання. Сумістність між відгуками клієнтів та напрямком галузі дала нам впевненість, що ми рухаємося у правильному напрямку.

DeepKeep був розроблений з самого початку для забезпечення безпеки систем штучного інтелекту, а не традиційного програмного забезпечення. Як ви пріоритизували, які типи моделей та поверхні атак слід фокусуватися спочатку?

З самого початку ми знали, що забезпечення безпеки підприємств штучного інтелекту вимагає парадигматичного зсуву. Хоча багато організацій достатньо розумні, щоб знати, що їм потрібно проводити тестування на проникнення та оцінку моделей, які вони використовують, ми зрозуміли, що ці дії – лише початок. Реальні ризики виникають у всьому застосунчому екосистемі, а не лише у самих моделях.

Отже, хоча забезпечення безпеки окремих чат-ботів штучного інтелекту традиційним червоним командуванням було стартовим пунктом галузі, ми швидко перейшли до розробки рішень, які забезпечують безпеку спеціальних застосунків штучного інтелекту та агентів штучного інтелекту, і будуть еволюціонувати для забезпечення безпеки наступного кроку, у якому агенти взаємодіють один з одним та утворюють ще більш складну мережу взаємодій штучного інтелекту.

Ми дозволяємо сканування моделей усіх типів, але також захищаємо від найбільш термінових загроз, таких як шкідливі атаки, витік даних, неправильне використання системи та підтримка довіри шляхом проведення червоного командування моделей та застосування обмежень, які забезпечують безпеку запитів та відповідей штучного інтелекту.

Найважливіше, що ми також забезпечуємо безпеку “семантичного шару” штучного інтелекту, розуміючи контекст, у якому працюють моделі. Це забезпечує, що моделі не можуть бути так легко маніпульовані.

Які були найбільшими технічними чи стратегічними поворотами, які ви зробили між стадією заснування та поточним напрямом продукту DeepKeep?

Одним з найбільших рішень, яке ми прийняли, було розширення наших зусиль за межі традиційної безпеки моделей у сферу безпеки застосунків штучного інтелекту. Спочатку ми фокусувалися на забезпеченні безпеки окремих моделей, але оскільки ландшафт штучного інтелекту еволюціонував, ми зрозуміли, що забезпечення безпеки всього екосистеми штучного інтелекту, де перетинаються кілька моделей, агентів та випадків використання, є набагато критичнішим. Це призвело до того, що ми розширили свій підхід, включивши червоне командування, комплексний брандмауер штучного інтелекту для захисту кожного взаємодії агентів, працівників та застосунків із штучним інтелектом, а також моніторинг у режимі реального часу.

Іншим ключовим рішенням було забезпечення повної гнучкості розгортання, включаючи хмарні, локальні та ізольовані рішення, що дозволяє підприємствам безпечно розгортати DeepKeep у будь-якому середовищі. Ми також нещодавно інтегрували покращений індустріальний захист особистої інформації у нашу платформу, який надав нашим клієнтам ще глибший рівень захисту даних та забезпечив, що підприємства можуть задовольняти глобальні вимоги з дотримання законодавства під час масштабування використання штучного інтелекту.

DeepKeep ставить рівну увагу на безпеку та довіру. На якій стадії цей подвійний фокус став центральним для ідентичності компанії?

Фокус на безпеці та довірі став зрозумілим на ранній стадії, особливо коли ми почали формувати глибше розуміння наших клієнтів та їхніх потреб.

При роботі з моделями штучного інтелекту безпека та довіра йдуть рука об руку та грають рівну роль, оскільки в кінцевому підсумку обидва можуть привести до шкідливих та руйнівних результатів. Застосунок не може бути стійким та ненадійним одночасно, і навпаки.

Традиційні інструменти кібербезпеки не були розроблені для ін’єкції запитів, галюцинацій, витоку даних чи маніпуляції моделями. Який з цих нових векторів загроз ви бачите, що підприємства найбільше борються, і як ці реальні проблеми вплинули на архітектуру DeepKeep?

З нових загроз ін’єкція запитів та витік даних є найбільш терміновими проблемами, з якими ми бачимо, що підприємства найбільше борються. Коли застосунки та агенти штучного інтелекту стають більш інтегрованими у бізнес-процеси, ризики маніпуляції запитами та випадкового витоку конфіденційних даних стають більш вираженими. Ці питання привели нас до розробки DeepKeep з фокусом на контекстній безпеці, захисту не лише моделей, а всього потоку даних та взаємодій у екосистемах штучного інтелекту. Наша інфраструктура була розроблена для проведення тестів на проникнення цих шарів на стадії розробки та захисту під час роботи шляхом забезпечення безпеки кожної взаємодії штучного інтелекту.

Ваша платформа поєднує обмеження, червоне командування та шари захисту даних. З технічної точки зору, яке з них виявилося найскладнішим для інженерії на рівні підприємства, і що ви дізналися під час будівництва системи, яка повинна адаптуватися до швидкозмінних моделей штучного інтелекту?

Кожен шар – обмеження, червоне командування та захист даних – має свої інженерні виклики, але ми виявили, що найбільш складними були саме ті виклики, які мали всі ці шари спільно.

Першим є темп змін: нові ризики, втечі та техніки атак постійно виникають, тому все статичне швидко стає застарілим. Другим є прийняття контексту: у підприємствах підхід “один розмір для всіх” просто не працює, оскільки кожна застосування має різні політики, чутливість даних та поведінку користувачів.

Щоб вирішити перший виклик, ми побудували повністю модульну архітектуру з компонентами типу плагінів, що дозволяє нам швидко додавати нові атаки до двигуна червоного командування або нові обмеження до брандмауера без порушення системи.

А щоб вирішити другий виклик, ми розробили агентську, контекстно-чутливу систему. Вона аналізує середовище застосування та автоматично адаптує відповідні заходи безпеки – що є важливим, коли моделі штучного інтелекту та випадки використання еволюціонують так швидко.

Ці дві можливості, модульність та контекстна чутливість, були ключовими для роботи на рівні підприємства, зберігаючи при цьому здатність слідувати за швидкозмінними системами штучного інтелекту.

Безпека штучного інтелекту – це еволюційна дисципліна. Які пробіли ви бачите всередині підприємств сьогодні – чи то у політиці, інструментуванні, чи розумінні ризиків – що найбільш безпосередньо сформували, як ви розробили стек безпеки DeepKeep та процес налаштування клієнтів?

Пробіли значно різняться залежно від галузі, розміру компанії та рівня прийняття штучного інтелекту.

Одним з найбільших пробілів, які ми бачимо у великих підприємствах сьогодні, є відсутність єдиної рішення, яке покриває всі потреби безпеки штучного інтелекту. Багато з цих підприємств знають про свою потребу у рішеннях безпеки штучного інтелекту, але оскільки прийняття зростає, так само зростає вимога додаткового захисту. Ми дізналися на ранній стадії, що існує цінність у потужному, комплексному рішенні, яке включає різні можливості, що працюють у тандемі та з безперебійною інтеграцією. Клієнти користуються рішенням, де ціле більше за суму його частин.

Когда ринок дозрів, ми виявили ще один пробіл, який полягає у тому, що організації шукають більш персоналізовані та менш загальні інструменти безпеки для захисту своїх агентів та застосунків. Одним з důvodів нашого контекстно-чутливого підходу було вирішення цього пробілу, з розумінням того, що кожна застосування та агент є різними та потребують захисту відповідно.

Якщо ми поглянемо вперед на п’ять років, як ви очікуєте, що ризики підприємства штучного інтелекту будуть еволюціонувати – і де, на вашу думку, DeepKeep повинен бути позиціонований, щоб лишатися попереду цього майбутнього?

Я очікую, що найбільші ризики штучного інтелекту за наступні п’ять років будуть еволюціонувати поряд з досягненнями у сфері автономності. Коли агенти стають більш автономними, інтегрованими у кожну бізнес-операцію та здатними виконувати складні завдання, потенціал для безпеки порушень та неправильного використання зростатиме. Ми передбачаємо розвиток Інтернету агентів (IoA), у якому агенти взаємодіють один з одним, утворюючи ще більш складну мережу взаємодій штучного інтелекту, яку потрібно забезпечити.

Щоб лишатися попереду, DeepKeep продовжить еволюціонувати свою платформу для забезпечення безпеки цих все більш складних систем штучного інтелекту, забезпечуючи захист у режимі реального часу по 여러 моделям штучного інтелекту та підтримуючи зростаючий тренд прийняття рішень на основі штучного інтелекту. Наша мета – бути довіреним партнером, на якого підприємства можуть покластися для забезпечення безпеки всього свого екосистеми штучного інтелекту, незалежно від того, наскільки складним воно стає. Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати DeepKeep.