Саймон Эдвардс, генеральный директор и основатель SE Labs — серия интервью

Simon Edwards, генеральный директор и основатель SE Labs, является экспертом по тестированию кибербезопасности с более чем тридцатилетним опытом, охватывающим исследования в области безопасности, оценку продуктов, техническую журналистику и отраслевые стандарты. До основания SE Labs в 2015 году Эдвардс руководил Dennis Technology Labs, где возглавлял инициативы по тестированию безопасности, а ранее многие годы работал технологическим журналистом и редактором. Он также занимал руководящие позиции в Anti-Malware Testing Standards Organization (AMTSO), включая председателя, директора и сопредседателя. Эдвардс тестирует продукты безопасности с середины 1990‑х годов и стал пионером ранних практических подходов к тестированию антивирусного ПО, разработанных для оценки того, как технологии безопасности работают против полных, доставляемых через Интернет атак, а не изолированных образцов вредоносного кода.

SE Labs — независимая компания по тестированию кибербезопасности и консультированию, оценивающая, как технологии безопасности работают против реалистичных атак. Ее исследователи воспроизводят техники злоумышленников по всей цепочке атаки, чтобы оценивать такие продукты, как защита конечных точек, Endpoint Detection and Response (EDR), облачные сервисы безопасности, межсетевые экраны, защита электронной почты и технологии обнаружения в сети. Помимо публичного сравнительного тестирования, SE Labs предоставляет сертификацию, продвинутое тестирование безопасности, валидацию продуктов и консультационные услуги для предприятий и поставщиков кибербезопасности. Компания публикует свои методологии тестирования и рамки эмуляции угроз и имеет сертификаты ISO/IEC 27001:2022 и BS EN ISO 9001:2015 на предоставление тестирования ИТ‑продуктов безопасности.

Ваш опыт охватывает более трех десятилетий в технологической журналистике, консультировании по безопасности, независимом тестировании и руководящих ролях в Anti-Malware Testing Standards Organization (AMTSO). Как этот опыт сформировал ваш подход к отделению реальных достижений в области ИИ‑безопасности от технологий, которые в основном позиционируются как «ИИ» в маркетинговых целях?

Журналистика научила меня ставить под вопрос заявления, а независимое тестирование — тому, что единственный надёжный ответ приходит из доказательств. Компании в сфере кибербезопасности используют машинное обучение и автоматическое принятие решений уже многие годы, поэтому добавление «AI» к названию продукта не обязательно означает технический прорыв.

Три основных вопроса, которые следует учитывать: Что именно делает ИИ? Какой измеримый результат в области безопасности он улучшает? И может ли независимый тестировщик воспроизвести это улучшение?

Если ответ состоит лишь в том, что продукт анализирует большой объём данных или автоматизирует существующий процесс, метка ИИ может быть больше вопросом позиционирования, чем реальной возможности.

Подлинный прорыв демонстрирует хорошую работу против незнакомых или совершенно новых атак, улучшает защиту или реакцию, снижает нагрузку на аналитиков и делает это без введения недопустимых рисков. Всё остальное либо не является улучшением, либо представляет собой откат!

«AI‑driven» стало распространённым заявлением среди продуктов кибербезопасности. Какие ключевые возможности следует независимо протестировать, прежде чем организация примет, что платформа с ИИ действительно предоставляет то, что обещает поставщик?

Я бы не начинал с проверки, содержит ли продукт ИИ. Я бы начал с проверки заявлений о безопасности, которые делаются в его отношении. Меня не особо волнует, как продукт работает, главное — чтобы он работал. Именно этого и требует программа тестирования PIVOT, которая сейчас набирает большую популярность в отрасли.

Тестирование таким образом подразумевает подвержение продукта полным атакам и измерение того, как он реагирует. Он, вероятно, должен обнаружить активность, а затем может попытаться предотвратить дальнейшее развитие атаки. Это зависит от того, как продукт построен и сконфигурирован, а также от маркетинговых заявлений его поставщика.

Нам также необходимо изучить расследовательскую историю, предоставляемую клиенту. Поняла ли система, что произошло, связала ли соответствующие события и сделала ли доказательства видимыми для того, кто должен действовать?

Тест должен включать незнакомые варианты, реалистичные конфигурации клиента и обычную бизнес‑активность. Он также должен измерять количество ложных срабатываний, требования к ресурсам и действия, которые могут считаться потенциально небезопасными. Если система автономна, нам необходимо знать, когда она действует, почему действует, какие разрешения использует и можно ли отменить её решения.

Мы видели несколько новостных историй о том, как ИИ‑безопасность выходит из‑под контроля, превышает свои границы и потенциально нарушает закон. Важный вопрос не в том, выглядит ли платформа интеллектуальной, а в том, обеспечивает ли она постоянно более хорошие и безопасные результаты в области безопасности.

Автономные ИИ‑агенты могут выполнять разведку, эксплуатацию, горизонтальное перемещение и другие стадии атаки значительно быстрее, чем человек‑злоумышленник. Как должно измениться тестирование кибербезопасности, когда атаки начинают происходить со скоростью машин?

Единица тестирования должна перейти от отдельной техники к полной кампании, проводимой под временным давлением. Имеется в виду, что вместо того, чтобы пробовать различные способы атаки в течение утра или недели, проверка определённых мер безопасности должна происходить быстро. В противном случае это нереалистично, а реализм чрезвычайно важен.

Традиционные тесты могут оставлять удобные промежутки между этапами, чтобы каждое событие можно было рассматривать отдельно. Автономный атакующий может сжать разведку, эксплуатацию и боковое перемещение в гораздо более короткий период. Это может выявить уязвимости, которые не видны в более медленных тестах, включая задержки в телеметрии, перегруженные системы и защитные действия, приходящие только после того, как атака достигла своей цели.

Чтобы привести крайне простой пример, если мы взломаем Mac, загрузим все его файлы и украдём пароли учётных записей, это будет мало полезно, если антивирус появится с плохими новостями лишь через день.

Тестирование реакций безопасности на AI‑атакующих поэтому требует высокоразрешённой инструментализации и точного измерения задержек обнаружения и реагирования. Необходимо проверить, ухудшается ли производительность по мере роста объёма и скорости активности, и может ли защита прервать атаку без ожидания человеческого решения на каждом этапе.

Атака также может адаптироваться к обнаруженному. Тестирование должно отражать это, сохраняя достоверные данные, доказательства и возможность воспроизведения. Скорость машин не должна означать отказ от контролируемой методологии. Нам необходимо продолжать разрабатывать контролируемые тесты, способные работать и измерять события с той же скоростью, что и оцениваемые системы.

SE Labs использует реалистичные сценарии атак, основанные на тактике и техниках групп угроз, таких как Scattered Spider. Как вы воссоздаёте этих противников в контролируемой среде, обеспечивая при этом, чтобы тест отражал реальное развитие атаки, а не просто проверку по заранее определённому чек‑листу?

Мы начинаем с целей противника, известных его поведений и вероятных решений, а не рассматриваем его техники как список покупок.

Тест следует реалистичной цепочке атак, проходя через разведку, первоначальный доступ, исполнение, повышение привилегий, пост‑компрометированную активность и боковое перемещение. Важно, что тестировщик может использовать только информацию, действительно обнаруженную во время разведки и атаки. Мы не предоставляем атакующему знания, которые недоступны в реальном взаимодействии.

Сценарий ограничен и тщательно контролируется, но это не просто последовательность заранее заданных нажатий кнопок. Если один путь блокируется, атакующий может выбрать правдоподобную альтернативу в рамках правил теста. Это позволяет продукту безопасности влиять на развитие сценария.

В то же время каждое важное действие и результат фиксируются, чтобы мы могли объяснить итог и справедливо сравнить продукты. Контролируемый не обязательно означает жёстко прописанный сценарий. Это должно означать безопасный, наблюдаемый и подкреплённый доказательствами процесс.

Продукты кибербезопасности традиционно оцениваются в первую очередь по их способности обнаруживать угрозы. Почему организациям всё чаще следует обращать внимание на защиту, сдерживание и реагирование на инциденты при оценке систем безопасности, управляемых ИИ?

Обнаружение не равно защите. Платформа может генерировать точное оповещение, позволяя при этом атакующему достичь цели. Именно поэтому программа тестирования PIVOT включает как обнаружение, так и защиту как совместные и отдельные части общего тестирования.

Обнаружение в кибербезопасности можно сравнить с камерой видеонаблюдения. Оно должно фиксировать вторжение и предоставлять подсказки о произошедшем, но не может физически остановить злоумышленника. Защита в кибербезопасности гораздо активнее. Она может выгнать или иным способом нейтрализовать атакующего, предотвращая вред.

Организациям необходимо знать, предотвратил ли продукт начальную активность, прервал цепочку атаки, ограничил боковое перемещение, защитил важные активы и поддержал восстановление. Если атака удалась, последующие вопросы касаются того, насколько быстро её сдержали и получил ли клиент достаточно надёжной информации для эффективного реагирования.

Это особенно важно для систем, управляемых ИИ, поскольку, хотя они могут создавать очень убедительные резюме произошедшего, убедительное объяснение не заменяет защиту. Объяснение должно подкрепляться доказательствами и приводить к соответствующим действиям.

Поэтому мы измеряем обнаружение и защиту отдельно. Мы также проверяем, было ли заявленное обнаружение действительно видимым и полезным для клиента. В конечном счёте ценность системы безопасности заключается в изменении результата атаки, а не лишь в её наблюдении.

По мере того как платформы безопасности внедряют автономные агенты, способные расследовать оповещения и предпринимать действия по исправлению, как независимым лабораториям следует тестировать весь процесс взаимодействия человека и ИИ, а не только оценивать базовую технологию обнаружения в изоляции?

Тест должен охватывать весь процесс от первой вредоносной активности до конечного результата безопасности, который может заключаться в полной остановке атаки, её полном успехе или где‑то между этими вариантами.

Нужно проанализировать, что наблюдал агент, к какому выводу пришёл, что он рекомендовал или предпринял, что было показано оператору‑человеку и как он отреагировал (или какие варианты ему были предложены). Это включает качество доказательств, ясность передачи, затраченное время, количество вмешательств и возможность человека понять, оспорить или отменить решение агента.

Различные режимы работы также имеют значение. Агент, который рекомендует действие для одобрения, представляет иной риск по сравнению с тем, который может автоматически изолировать системы, отключать учётные записи или изменять настройки безопасности.

Система не считается успешной лишь потому, что её базовый детектор обнаружил атаку. Если она создаёт непонятную очередь, скрывает важные доказательства, рекомендует неверный ответ или предпринимает деструктивное действие, общий рабочий процесс проваливается. Независимое тестирование должно измерять совокупную эффективность технологии, её автономных компонентов и людей, которые предполагается использовать её.

Один из рисков стандартизированных критериев безопасности заключается в том, что поставщики могут оптимизировать продукты специально под тест. Как независимое тестирование может оставаться воспроизводимым и справедливым, одновременно вводя достаточную непредсказуемость, чтобы раскрыть, как продукты работают против незнакомых атак?

Воспроизводимость не требует предоставления участникам вопросов экзамена заранее.

Авторитетный тест должен публиковать свою методологию, среду, принципы оценки, конфигурацию продукта и требования к доказательствам. Поставщики должны понимать правила и иметь справедливую возможность проверить, что их продукты работают корректно. Однако конкретная кампания атак, полезные нагрузки и некоторые пути атак должны оставаться неизвестными до проведения теста.

Например, в PIVOT мы не раскрываем, какие группы атак мы собираемся воспроизвести, пока тестирование не завершено. Реальные цели не получают предупреждения до начала атаки!

Мы можем сочетать стандартное ядро, поддерживающее сравнение во времени, с незнакомыми вариациями, проверяющими общие возможности. Базовая линия и скрытый тихий период позволяют установить, как продукт ведёт себя до атаки. Затем конфигурацию следует контролировать, сохранять журналы и проверять любые утверждения на соответствие собственным доказательствам тестировщика.

Справедливость подразумевает применение одинаковых правил и стандартов доказательств к каждому участнику. Это не означает повторять атаку настолько предсказуемо, чтобы поставщик мог распознать критерий, а не угрозу.

Кроме того, радикальная прозрачность помогает поставщикам воспроизводить атаки, что важно, если они хотят исправить возникшие проблемы, например, неспособность обнаружить или защитить от угрозы. SE Labs по сути обучает своих клиентов, когда те сталкиваются с проблемами.

Автономные агенты безопасности вводят другую категорию риска, поскольку ошибочное решение может вызвать ненужное или даже деструктивное действие по исправлению. Как тестирование должно измерять ложные срабатывания, неверные выводы и потенциально вредные автономные действия наряду с традиционной точностью обнаружения?

Традиционное тестирование ложных срабатываний — лишь первый уровень. При наличии автономного агента необходимо различать ложное оповещение, необоснованный вывод и неправильное действие. Каждое из них имеет разный потенциальный эффект.

Тесты должны подвергать систему легитимной активности, напоминающей злонамеренное поведение, а также неполным, неоднозначным или вводящим в заблуждение доказательствам. Если агент обрабатывает недоверенный контент, тестирование также должно проверять, может ли этот контент неправильно влиять на его решения.

Логика должна оцениваться по тому, подкреплен ли вывод доступными доказательствами, а не по тому, насколько правдоподобным или уверенным звучит объяснение. Для автономных действий следует измерять масштаб, пропорциональность, использование разрешений, контроль одобрения, возможность аудита и обратимости.

Оценка должна отражать последствия. Ненужное оповещение неудобно; отключение важной учётной записи или изоляция критической системы могут нарушить работу организации. Поэтому полезная мера безопасности должна учитывать как частоту ошибок, так и ущерб, который каждая ошибка может нанести.

Тем не менее, иногда клиент выбирает политику, вызывающую проблемы. Это не обязательно вина поставщика безопасности.

Генеративный ИИ и всё более мощные модели с открытым исходным кодом снижают порог автоматизации частей процесса атаки. Ожидаете ли вы, что ИИ сделает кибератаки фундаментально более изощрёнными, или же большая опасность в том, что злоумышленники смогут действовать в значительно большем масштабе и скорости?

Я считаю, что более непосредственная опасность заключается в масштабе, скорости и снижении стоимости.

ИИ может помогать злоумышленникам собирать информацию, персонализировать социальную инженерию, изменять код и координировать части кампании. Некоторые атаки станут более изощрёнными, особенно когда ИИ помогает соединять существующие техники или адаптировать их к конкретной цели. Однако ИИ не устраняет необходимость в доступе, учётных данных, уязвимостях или ошибках со стороны защитников.

ИИ также не очень хорош в создании надёжных эксплойтов, что уже сложно даже для квалифицированного человека. Поэтому, по моему твёрдому мнению, это снижает вероятность фундаментально более изощрённых атак.

Более существенное изменение состоит в том, что действия, ранее требовавшие времени, навыков или команды людей, теперь можно выполнять быстрее и на гораздо большем числе целей. ИИ может повысить компетентность относительно обычных злоумышленников, позволяя опытным атакующим проводить одновременно больше операций.

Это значимо, даже если базовые методы атак не являются революционными. Опасность заключается не обязательно в полностью новой форме кибератаки. Речь идет о знакомых атаках, которые становятся быстрее, дешевле, более персонализированными и гораздо более многочисленными.

По мере того как защитные и атакующие AI‑агенты становятся более автономными, каким должно быть достоверное окружение для тестирования кибербезопасности, чтобы идти в ногу с ними? Сможем ли мы в конечном итоге достичь того, что продукты безопасности будут постоянно подвергаться вызовам со стороны адаптивных AI‑противников, а не оцениваться преимущественно через периодические тесты?

Достоверное окружение должно напоминать живую организацию, а не набор изолированных целей. Оно должно включать конечные точки, системы идентификации, электронную почту, сети, облачные сервисы, реалистичных пользователей и обычную бизнес‑активность. Кроме того, оно должно обеспечивать полную инструментализацию, чтобы каждое решение и его последствия можно было восстановить.

Адаптивным противникам можно задать цели и ограничения, а затем позволить им выбирать пути в зависимости от того, что они обнаружат и как реагирует защитный продукт. Тест всё равно потребует контролируемых начальных условий, надёжного описания фактического хода событий и возможности воспроизвести важные эпизоды. Без этих элементов адаптивное тестирование может выглядеть впечатляюще, но будет научно слабым.

Я действительно ожидаю, что тестирование станет более непрерывным, особенно когда продукты, модели и политики могут часто изменяться. Однако непрерывный вызов должен дополнять, а не заменять периодическое сравнительное тестирование. Организациям нужны оба подхода: контролируемые бенчмарки, такие как PIVOT, обеспечивающие подотчётность и сравнение, и постоянная адаптивная оценка, раскрывающая, как системы ведут себя по мере изменения угроз и самих продуктов.

Я считаю, что нам следует больше беспокоиться о том, что относительно неквалифицированные люди могут взламывать системы и сети, а не о роботах, создающих следующее поколение технологий кибератак.

Спасибо за отличное интервью, читатели, желающие узнать больше, должны посетить SE Labs.