Рони Охайон, генеральный директор и основатель DeepKeep – Серия интервью

Рони Охайон, генеральный директор и основатель DeepKeep, – опытный предприниматель и технолог с карьерой, охватывающей области ИИ, кибербезопасности, автономных систем и технологий видео. Он основал и возглавлял несколько компаний в этих областях, включая крупные роли в подключении автономных транспортных средств, передаче видео в реальном времени и передовом инжиниринге, а также ранее академическую работу в области компьютерного инжиниринга.

DeepKeep – это платформа безопасности ИИ, предназначенная для помощи предприятиям в защите ИИ, генеративного ИИ, моделей обработки естественного языка, компьютерного зрения и многомодальных систем на протяжении всего их жизненного цикла. Компания фокусируется на выявлении уязвимостей, блокировании враждебных угроз, предотвращении проблем, таких как утечка данных и манипуляция подсказками, поддержке соблюдения нормативных требований и обеспечении непрерывного мониторинга для обеспечения достоверной, устойчивой и защищенной эксплуатации ИИ.

Вы возглавили крупные инновации в области передачи видео, подключения автономных транспортных средств и систем ИИ. Что в вашей собственной карьере убедило вас, что следующей крупной задачей, которую вам нужно решить, является обеспечение безопасности ИИ для предприятий?

Меня всегда мотивировала необходимость решать высокоэффективные задачи, которые меняют отрасли. За годы я заметил повторяющуюся закономерность, когда новые технологии, особенно ИИ, часто опережают меры безопасности, оставляя после себя критические уязвимости.

Принятие ИИ предприятиями, особенно с ростом крупномасштабных моделей обработки языка и агентных ИИ, открыло новую границу рисков, и бизнес часто чувствует себя перегруженным и неподготовленным к безопасной и уверенной эксплуатации этих систем. Мой опыт в системах ИИ подчеркнул, насколько важно интегрировать безопасность в сердце этих технологий, чтобы они были не только инновационными, но и безопасными и достоверными, обеспечивая надежные результаты для поддержки бизнеса проактивно. Это осознание привело к основанию DeepKeep, с фокусом на защите систем ИИ, чтобы бизнес мог уверенно использовать ИИ для повышения производительности и роста бизнеса, не компрометируя при этом безопасность или конфиденциальность.

Когда вы и ваш сооснователь запустили DeepKeep в 2021 году, какой конкретный пробел в безопасности ИИ убедил вас, что существует срочная необходимость в платформе, и как это прозрение сформировало раннюю направленность компании?

После многих лет работы с ИИ в компьютерном зрении, которое требовало значительных усилий для обеспечения его надежности и прочности, мы поняли, что пришло время разработать специальное решение для обеспечения доверия и безопасности компьютерного зрения.

В 2021 году, до взрыва крупномасштабных моделей обработки языка, мы запустили DeepKeep, чтобы решить эти риски в моделях компьютерного зрения.

Можете ли вы рассказать нам о самом раннем прототипе – что он на самом деле делал, как маленькой была команда, и как вы подтвердили, что вы находитесь на правильном пути?

Когда мы основали DeepKeep, фокус все еще был на традиционном ИИ – компьютерном зрении, табличных моделях и ранних моделях обработки естественного языка – задолго до роста крупномасштабных моделей обработки языка. Наш первый прототип был системой для проверки классификаторов компьютерного зрения на их прочность против враждебных атак. Вместе с этим мы построили раннюю версию брандмауэра ИИ, который мог обнаруживать и флагировать эти атаки в реальном времени.

Первые случаи использования пришли из автомобильной промышленности, страхования и финансовых услуг, где неправильное поведение модели несет реальные операционные риски. Мы были небольшой командой из примерно восьми человек, что позволяло нам быстро итерировать и производить функциональный прототип.

Мы подтвердили, что мы находимся на правильном пути, говоря напрямую с потенциальными клиентами, которые последовательно подчеркивали прочность против враждебных атак как возникающую проблему. В то же время фреймворки, такие как ATLAS от MITRE – впервые выпущенные в 2021 году, начали появляться, что было важным внешним сигналом, что область безопасности ИИ и моделирования враждебных угроз вот-вот вырастет. Согласование между обратной связью клиентов и направлением отрасли дало нам уверенность, что мы движемся в правильном направлении.

DeepKeep был разработан с самого начала для защиты систем ИИ, а не традиционного программного обеспечения. Как вы расставили приоритеты в типах моделей и поверхностях атак, на которые необходимо сосредоточиться сначала?

С самого начала мы знали, что защита ИИ предприятий требует парадигмального сдвига. Хотя многие организации достаточно умны, чтобы знать, что им нужно выполнять тестирование на проникновение и оценку для моделей, которые они используют, мы поняли, что эти действия являются только началом. Реальные риски возникают внутри полной экосистемы приложений, а не только в самих моделях.

Итак, хотя защита отдельных чат-ботов ИИ с помощью традиционного красного командования была отправной точкой отрасли, мы быстро перешли к разработке решений, которые защищают пользовательские приложения ИИ и агентов ИИ, и будут развиваться для защиты следующего шага, на котором агенты взаимодействуют друг с другом и существует значительный междоменный интеллект.

Мы обеспечиваем сканирование моделей во всех типах моделей, но также защищаем от наиболее срочных угроз, таких как враждебные атаки, утечка данных, неправильное использование системы и подрыв доверия, проверяя модели и применяя ограничители, которые защищают подсказки и ответы ИИ.

Кроме того, мы защищаем “семантический слой” ИИ, понимая контекст, в котором работают модели. Это гарантирует, что модели не могут быть так легко манипулированы.

Какие были самые большие технические или стратегические повороты, которые вы сделали между стадией основания и текущим направлением продукта DeepKeep?

Одним из самых больших решений, которое мы приняли, было расширение за пределы традиционной безопасности моделей в область безопасности приложений ИИ. Первоначально мы фокусировались на защите отдельных моделей, но по мере эволюции ландшафта ИИ мы поняли, что защита целых экосистем ИИ, где пересекаются несколько моделей, агентов и случаев использования, намного более критична. Это привело нас к расширению нашего подхода путем включения красного командования, комплексного брандмауэра ИИ для защиты каждой взаимодействия агентов, сотрудников и приложений с ИИ, и мониторинга во время выполнения.

Другим ключевым решением было предложение полной гибкости развертывания, включая облачные, локальные и изолированные решения, позволяющие предприятиям безопасно развертывать DeepKeep в любой среде. Мы также недавно интегрировали в нашу платформу улучшенный индустриальный ориентир для защиты личной идентифицирующей информации, который предоставил нашим клиентам еще более глубокий уровень защиты данных и гарантирует, что предприятия могут соответствовать глобальным требованиям соответствия при масштабировании использования ИИ.

DeepKeep уделяет равное внимание безопасности и достоверности. На какой стадии это двойной фокус стал核心ной частью идентичности компании?

Фокус на безопасности и достоверности стал ясным на ранней стадии, особенно когда мы начали формировать более глубокое понимание наших клиентов и их потребностей.

Когда речь идет о моделях ИИ, безопасность и доверие идут рука об руку и играют равные роли, поскольку в конечном итоге могут привести к вредным и разрушительным результатам. Приложение не может быть прочным и в то же время ненадежным, и наоборот.

Традиционные инструменты кибербезопасности не были разработаны для инъекции подсказок, галлюцинаций, утечки данных или манипуляции моделями. Какой из этих возникающих векторов угроз вы видели, что предприятия борются с ним больше всего, и как эти реальные проблемы повлияли на архитектуру DeepKeep?

Из возникающих угроз инъекция подсказок и утечка данных являются наиболее насущными проблемами, с которыми мы видим, что предприятия борются. По мере того, как приложения и агенты ИИ становятся более интегрированными в бизнес-процессы, риски манипуляции подсказками и случайной экспозиции конфиденциальных данных более выражены. Эти проблемы привели нас к разработке DeepKeep с фокусом на контекстной безопасности, защищая не только модели, но и всю поток данных и взаимодействия внутри экосистем ИИ. Наша инфраструктура была построена для тестирования этих слоев на стадии разработки и защиты во время выполнения, защищая каждое взаимодействие ИИ.

Ваша платформа объединяет ограничители, красное командование и слои защиты данных. С технической точки зрения, какой из них оказался наиболее трудным для разработки на уровне предприятия, и что вы узнали, строя систему, которая должна адаптироваться к быстро меняющимся моделям ИИ?

Каждый слой – ограничители, красное командование и защита данных – имеет свои собственные инженерные проблемы, но мы обнаружили, что проблемы, которые все эти слои имеют общими, были на самом деле наиболее трудными.

Первая проблема – это темп изменений: новые риски, взломы и методы атак возникают постоянно, поэтому все, что является статичным, быстро становится устаревшим. Вторая проблема – это принятие контекста: в предприятиях подход “один размер для всех” просто не работает, поскольку каждое приложение имеет разные политики, чувствительность данных и поведение пользователей.

Чтобы решить первую проблему, мы построили полностью модульную архитектуру с компонентами в стиле плагинов, позволяющими нам быстро добавлять новые атаки в двигатель красного командования или новые ограничители в брандмауэр без нарушения системы.

И чтобы решить вторую проблему, мы разработали агентную, контекстно-осведомленную систему. Она анализирует окружающую среду приложения и автоматически адаптирует соответствующие меры безопасности – что является важным, когда основные модели ИИ и случаи использования так быстро эволюционируют.

Эти две возможности, модульность и контекстная осведомленность, были ключевыми для работы на уровне предприятия, сохраняя при этом темп с быстро меняющимися системами ИИ.

Безопасность ИИ – это развивающаяся дисциплина. Какие пробелы вы видите внутри предприятий сегодня – будь то в политике, инструментарии или понимании рисков – которые наиболее напрямую сформировали, как вы разработали стек безопасности и процесс настройки клиентов DeepKeep?

Пробелы значительно варьируются в зависимости от отрасли, размера компании и зрелости принятия ИИ.

Одним из самых больших пробелов, которые мы видим в крупных предприятиях сегодня, является отсутствие единого решения, покрывающего все потребности безопасности ИИ. Многие из этих бизнесов осознают свою потребность в решениях безопасности ИИ, но по мере увеличения принятия ИИ растет и требование дополнительного покрытия безопасности. Мы узнали рано, что существует ценность в прочном, комплексном решении, которое включает в себя различные возможности, работающие в тандеме и с бесшовной интеграцией. Клиенты получают пользу от решения, где целое больше, чем сумма его частей.

По мере того, как рынок созревал, мы определили еще один пробел, который заключается в том, что организации ищут более индивидуализированные и менее генерические инструменты безопасности для защиты своих агентов и приложений. Одна из причин нашей контекстно-осведомленной подхода была решить этот пробел, понимая, что каждое приложение и агент отличается и требует соответствующей защиты.

Если мы посмотрим вперед на пять лет, как вы ожидаете, что риски ИИ для предприятий будут эволюционировать – и где, по вашему мнению, DeepKeep должен быть позиционирован, чтобы оставаться впереди этого будущего?

Я ожидаю, что самые большие риски ИИ в следующие пять лет будут эволюционировать вместе с достижениями в автономности ИИ. По мере того, как агенты становятся более автономными, интегрированными в каждую бизнес-операцию и способными выполнять сложные задачи, потенциал для нарушений безопасности и неправильного использования будет расти. Мы предвидим развитие Интернета агентов (IoA), в котором агенты взаимодействуют друг с другом, образуя еще более сложную сеть взаимодействий ИИ для защиты.

Чтобы оставаться впереди этого будущего, DeepKeep будет продолжать развивать свою платформу для защиты все более сложных систем ИИ, обеспечивая, чтобы мы предоставляли защиту во время выполнения на нескольких моделях ИИ и поддерживали растущую тенденцию принятия решений на основе ИИ. Наша цель – быть доверенным партнером, на которого бизнес может рассчитывать для защиты своей всей экосистемы ИИ, независимо от того, насколько она сложна.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить DeepKeep.