Интервью

Адам Марковиц, генеральный директор и сооснователь Drata — серия интервью

mm
Добавьте Unite.AI в избранные источники в Google
Adam Markowitz, CEO and co-founder of Drata

Адам Марковиц — генеральный директор и сооснователь Drata, где он расширяет деятельность компании в области непрерывного соблюдения требований и укрепления доверия, распространяя её на управление ИИ-агентами. До основания Drata в 2020 году он вместе с Троем Марковицем и Дэниелом Марашлианом основал Portfolium. Опыт работы с опросниками по безопасности, аудитами и проверками на соответствие требованиям помог сформировать подход Drata к автоматизации процессов, с помощью которых организации демонстрируют свою надёжность.

Drata предоставляет платформу для управления, оценки рисков и соблюдения требований, объединяющую автоматизированный сбор подтверждающих материалов, непрерывный контроль мер защиты, управление рисками третьих сторон и рабочие процессы для заполнения опросников по безопасности. Возможности платформы по управлению ИИ-агентами сосредоточены на обнаружении агентов, применении политик до выполнения действий и регистрации решений для возможности аудита. В этом интервью Марковиц рассказывает об угрозах со стороны агентов внутри организации, машинной идентификации, границах безопасности при вызове инструментов и мерах контроля, необходимых компаниям для масштабного внедрения автономных агентов.

До основания Drata в 2020 году вы создали Portfolium. На собственном опыте вы убедились, насколько обременительным может стать соблюдение требований безопасности по мере роста компании. Что убедило вас в том, что эта проблема заслуживает создания совершенно новой компании, и как менялась миссия Drata по мере того, как ИИ преобразовывал ландшафт безопасности?

Руководя Portfolium вместе с моими сооснователями Троем Марковицем и Дэниелом Марашлианом, мы усвоили важный урок: доверие в бизнесе завоёвывают делом, а не словами. Из-за большого объёма конфиденциальной информации о студентах университеты и крупные компании не соглашались на сотрудничество, пока мы не доказывали, что делаем всё необходимое для защиты их данных. Мы поняли, что медленное и мучительное заполнение вручную каждого опросника по безопасности и прохождение каждого аудита и проверки на соответствие требованиям — общая проблема для многих. После приобретения Portfolium мы с Троем и Дэниелом снова объединились и полгода создавали первую версию Drata. Мы беседовали с десятками компаний и аудиторов, чтобы проверить, действительно ли проблема существует, ещё до того, как начали писать код. В первые шесть недель после запуска мы привлекли 100 клиентов, а в течение года — 1 000. Это показало нам, что мы перешли от продажи продукта, который «неплохо иметь», к продукту, без которого люди не могли работать.

С появлением ИИ миссия Drata — обеспечивать непрерывное доверие — не изменилась, но область его применения расширилась. Сначала мы автоматизировали трудоёмкие процессы соблюдения требований, а затем перешли к агентным рабочим процессам, которые могли выполнять оценку рисков третьих сторон и заполнять опросники по безопасности от начала до конца. Но настоящие перемены произошли, когда сами агенты стали объектом управления. Теперь мы расширили платформу, чтобы она помогала управлять ИИ-агентами: обнаруживать их, контролировать, что им разрешено делать, и собирать доказательства, выдерживающие проверку, когда кто-то запросит их.

Вы ввели термин «угроза со стороны агента-инсайдера» для обозначения рисков, которые создают не внешние злоумышленники, а собственные ИИ-агенты организации. Чем такая угроза отличается от традиционной угрозы со стороны инсайдера, к которой команды безопасности готовились десятилетиями?

Традиционные угрозы со стороны инсайдеров связаны с тем, что человек злоупотребляет уже имеющимся у него доступом: это может быть недовольный сотрудник, небрежный работник или просто тот, кто нажал не туда. Команды безопасности десятилетиями выстраивали программы для снижения таких рисков, уделяя особое внимание проверке биографических данных, принципу минимальных привилегий, контрольным спискам при увольнении и другим подобным мерам.

Угроза со стороны агента-инсайдера устроена иначе: агенту изначально не предоставляли доступ. Риск связан уже не со злоупотреблением доступом, а с его получением. Если агенту поставили задачу, но очевидный путь к её выполнению перекрыт, он не станет просто создавать заявку и ждать, как поступил бы человек. Он попытается найти другой способ — учётную запись службы со слабым паролем или конечную точку, которую кто-то забыл закрыть. Агент проникает внутрь, не испытывая злого умысла и не осознавая, что нарушает какие-либо правила. Он делает именно то, о чём его попросили, и поэтому его так трудно обнаружить. Каждый отдельный шаг выглядит разумным, а в конце агент сообщает об успехе.

Мы уже умеем управлять сотрудниками и третьими сторонами, имеющими доступ к конфиденциальным системам. Но агенты — это третья группа, на которую не распространяются инструменты, разработанные для первых двух.

ИИ-агенты могут настойчиво добиваться поставленных целей, работать на машинной скорости и взаимодействовать с несколькими системами, не обладая суждением, которым мог бы руководствоваться сотрудник. Насколько радикально это меняет модель угроз для компании?

Сильнее всего меняются сроки. Человек, который ищет способ проникнуть в систему, рано или поздно заскучает, попадётся или сдастся. Агент — нет. Теперь он находит незамеченную ранее открытую дверь, потому что не устаёт и не прекращает поиски.

И дело не в одной двери. Агент, созданный для выполнения одной задачи, без колебаний обратится к десятку систем, пока будет её выполнять: запросит историю учётной записи в одной системе, проверит базу данных в другой — хотя большая часть этих действий не имеет отношения к тому, о чём его просили. Создавая одну презентацию, он может получить доступ к данным другого клиента, финансовым записям, информации о сотрудниках — ко всему, что встретится на пути. Ничто из этого не будет зарегистрировано как инцидент.

Поэтому модель угроз изменилась. Сегодня команда безопасности должна спросить себя: как далеко зайдут её собственные агенты ради выполнения задачи, если им не указать, где остановиться?

У многих организаций уже внедрены системы управления идентификацией и доступом, управления привилегированным доступом и архитектуры нулевого доверия. Почему этих мер недостаточно для управления автономными ИИ-агентами?

Эти системы создавались для людей и поставщиков — и те и другие способны принимать решения и останавливаются, когда сталкиваются с препятствием. К идентификации агентов нужно применять такой же строгий подход, какой выработан для людей и управления рисками, связанными с третьими сторонами: выявлять агентов, назначать ответственных и предоставлять доказательства, которые аудитор сможет принять. Проблема в том, что пока нет единого стандарта, определяющего, что именно означает «управляемый», когда учётные данные использует агент.

Например, агент, созданный одним из ваших инженеров, может действовать с правами доступа этого инженера — даже в системах, с которыми сам инженер никогда не работает. Системы IAM и PAM исходят из того, что тот, кто использует учётные данные, знает, когда нужно остановиться, но у агентов такой установки нет.

Следует ли предприятиям начать рассматривать каждого ИИ-агента как отдельную машинную идентичность с чётко определёнными ответственным владельцем, правами доступа, областью действия и жизненным циклом? Как должна выглядеть зрелая система управления идентификацией агентов?

Да, но большинство предприятий пока к этому не готовы. Многие из них, как ни удивительно, даже не могут сказать, сколько агентов работает в их инфраструктуре, не говоря уже о том, кто отвечает за каждого из них. Зрелая система начинается с выявления агентов — с полноценного непрерывно обновляемого реестра каждого агента. Затем каждому агенту нужно назначить ответственного владельца, определить, к чему ему разрешено обращаться, и установить правила, которые действительно ограничивают его этой областью. Согласно нашим собственным исследованиям, мы наблюдаем ту же проблему и со стороны поставщиков: три из четырёх организаций переоценивают риски, связанные с третьими сторонами, не чаще одного раза в год, поэтому к моменту любых изменений они опираются уже на устаревшие данные. Для агентов — внутренних или внешних — разовой оценки недостаточно.

Нам нужен единый стандарт для всех агентов, чтобы службы безопасности не приходилось разыскивать и проверять всё, что каждый разработчик создал самостоятельно. Это означает, что правила должны формулироваться простым языком, проверяться на реальных исторических данных о трафике до включения и затем применяться непосредственно при выполнении действий. Так система управления будет сопровождать каждое действие агента, а не просто оставаться на бумаге.

Особенно сложен случай, когда агент нарушает политику безопасности, не действуя злонамеренно. Если агент обнаруживает непредусмотренный путь к конфиденциальным данным просто потому, что пытается выполнить поставленную задачу, как службе безопасности отличить успешную автоматизацию от инцидента безопасности?

Честный ответ на данный момент: никак. Представьте агента поддержки, которому поручено готовить квартальные обзоры бизнеса: ему нужно извлечь историю взаимодействия с клиентом и собрать презентацию. Предусмотренный безопасный путь — экспорт, из которого агент должен получить данные, — оказывается пустым. Человек на этом остановился бы, но агент находит другой способ и считает, что успешно справился с задачей.

Задача была выполнена, но агент обошёл ваши протоколы безопасности и получил доступ к системам, которые не должен был открывать. Главное — выяснить, оставался ли агент в рамках заданной ему области действия. Само по себе выполнение задачи никогда не было предметом вопроса. Это вопрос политики. Нужно настолько чётко определить границы, чтобы впоследствии «успешная автоматизация» и «инцидент безопасности» не выглядели одинаково.

Традиционные средства мониторинга безопасности часто выявляют подозрительную активность уже после того, как она произошла, но автономный агент может выполнить сотни действий, прежде чем человек успеет отреагировать. Требует ли агентный ИИ мер безопасности, работающих непосредственно в процессе выполнения действий, вместо того чтобы полагаться главным образом на оповещения и ретроспективный мониторинг?

Да, безусловно. Если вы обнаруживаете это во время выполнения, значит, уже слишком поздно. К тому времени, когда средство мониторинга отметит действие, оно уже будет выполнено. У вас останется точная запись того, как именно вы оказались уязвимы, но возможности остановить произошедшее уже не будет.

Для процессов, работающих на машинной скорости, подходит только такой подход к управлению, при котором действие проверяется до выполнения, а нарушение блокируется непосредственно в процессе. Мы бы никогда не доверили новому сотруднику самые конфиденциальные данные, просто надеясь, что мониторинг выявит проблемы. К агентам нужно применять такую же строгость — именно в тот момент, когда действие вот-вот будет выполнено. Не после.

Model Context Protocol (MCP) и другие интерфейсы взаимодействия агентов с инструментами предоставляют системам искусственного интеллекта доступ ко всё более мощным внешним возможностям. Какие новые границы безопасности необходимо установить для вызовов инструментов, API, учётных данных и служебных учётных записей по мере того, как предприятия расширяют круг задач, разрешённых своим агентам?

Вызов инструмента — новый периметр безопасности. Каждый раз, когда агент обращается к учетным данным, вызывает API или запускает инструмент, возникает точка принятия решения. Сегодня у большинства предприятий на этом этапе нет границы, которая оценивала бы, следует ли выполнять действие. Именно этого звена и не хватало. Мы видим ту же слепую зону и извне: лишь 37% руководителей служб безопасности уверены, что вообще могут определить, где работает ИИ у поставщиков, с которыми они уже сотрудничают. Если вы не видите этого в продукте поставщика, то не заметите и следующего шага собственного агента. К учетным данным и сервисным учетным записям, на которых все это основано, нужно относиться столь же строго, как и к доступу людей: необходимо знать, кто ими владеет, четко определять область их действия и регулярно проверять их. Агент не должен иметь возможности использовать учетные данные, на предоставление которых ему не давали разрешения, только потому, что они где-то оказались на его пути.

Когда аудитор, регулирующий орган или клиент спрашивает, к каким данным обращался ИИ-агент, какие решения он принимал и куда попали полученные данные, какой уровень отслеживаемости организации должны реально обеспечить? Могут ли журналы аудита действий агентов со временем стать столь же обязательными, как традиционные журналы доступа?

По запросу организации должны быть в состоянии сообщить, к каким данным обращался агент, какие решения он принимал и куда попали полученные данные. Недостаточно ответить на этот вопрос, собирая информацию из журналов задним числом. Необходима непрерывная запись, позволяющая выявить любое вмешательство и уже существующая к моменту, когда задан вопрос. Сейчас большинство компаний в ответ на такие вопросы молчит. Этот пробел не получится объяснить клиенту, а регулирующие органы тоже не примут такое объяснение — в зависимости от того, что именно утекло.

И да, я считаю, что журналы аудита действий агентов вскоре станут столь же необходимыми, как журналы доступа. Уже много лет мы считаем обязательным для систем, используемых людьми, фиксировать, «кто, к чему и когда получил доступ». Нет причин предъявлять к агентам менее строгие требования лишь потому, что нажимал не человек. Такие нормативные документы, как EU AI Act, AIUC-11 и ISO 42001, уже способствуют этому. Отслеживаемость действий агентов должна соответствовать тем же механизмам контроля и принципам документального подтверждения, на которых уже основаны программы соблюдения требований. Если отложить этот вопрос на потом, он неизбежно окажется на втором плане.

Как вы считаете, станет ли управление ИИ-агентами отдельным направлением в сфере безопасности или в конечном счете войдет в существующие платформы для управления, оценки рисков и соблюдения требований, а также платформы управления идентификацией и кибербезопасности? Что, по-вашему, предприятиям необходимо предусмотреть, прежде чем они смогут безопасно развертывать по-настоящему автономных агентов в больших масштабах?

Каждая крупная технологическая волна порождает собственную волну в сфере безопасности: облачные технологии породили Wiz, а защита конечных устройств — CrowdStrike. Сейчас такую волну порождают ИИ-агенты. Поставщики моделей создают консоли и политики для собственных платформ. Это полезно, но ни одно предприятие не работает только с одним поставщиком моделей, одним помощником для программирования и одним набором агентов собственной разработки. Кто-то должен управлять всем этим на основе единого набора политик и единого источника доказательств, а решить эту задачу не под силу ни одной отдельной платформе ИИ. Она для этого и не создавалась. Управление ИИ-агентами уже стало самостоятельным направлением, хотя оно и интегрируется с системами управления, оценки рисков и соблюдения требований (GRC), управления идентификацией и обеспечения соответствия, которые компании уже используют.

Прежде чем предприятия смогут развертывать по-настоящему автономных агентов в больших масштабах, им необходимо обеспечить четыре условия, и пока у большинства нет ни одного из них. Первое — обнаружение в реальном времени: нужно знать о каждом работающем агенте, о том, кто за него отвечает и под какой идентификацией он действует, сразу после его создания.

Далее — применение политик непосредственно перед выполнением действия с предварительной оценкой этого действия. Третье условие — постоянный мониторинг отклонений, поскольку агенты продолжают работать и после завершения сеанса, в котором были созданы, а область их действия может незаметно расширяться. И наконец, необходима запись каждого решения агента, позволяющая выявить любое вмешательство и соотнесенная с нормативными документами, которые признают аудиторы и регулирующие органы. Именно этот уровень мы создаем в Drata. Без него предприятие, развертывающее автономных агентов в больших масштабах, может лишь надеяться, что все обойдется.

Спасибо за прекрасное интервью. Читателям, которые хотят узнать больше об управлении ИИ-агентами, непрерывном соблюдении требований и мерах контроля против угроз со стороны агентов-инсайдеров, стоит посетить Drata.

Антуан — дальновидный лидер и партнёр-основатель Unite.AI, движимый неизменной страстью к формированию и продвижению будущего ИИ и робототехники. Как предприниматель, основавший несколько компаний, он верит, что ИИ изменит общество столь же радикально, как электричество, и часто с воодушевлением говорит о потенциале прорывных технологий и общего искусственного интеллекта (AGI).

Как футуролог, он стремится исследовать, как эти инновации будут формировать наш мир. Кроме того, он основатель Securities.io — платформы, посвящённой инвестициям в передовые технологии, которые переопределяют будущее и преобразуют целые отрасли.