Саймон Едвардс, генеральний директор та засновник SE Labs – Серія інтерв’ю

Simon Edwards, генеральний директор та засновник SE Labs, є експертом у тестуванні кібербезпеки з більш ніж тридцятирічним досвідом, що охоплює дослідження безпеки, оцінку продуктів, технічну журналістику та галузеві стандарти. До заснування SE Labs у 2015 році Едвардс керував Dennis Technology Labs, де він очолював ініціативи з тестування безпеки, а раніше багато років працював технологічним журналістом і редактором. Він також займав високі керівні посади в Anti-Malware Testing Standards Organization (AMTSO), включаючи ролі голови, директора та співголови. Едвардс тестує продукти безпеки з середини 1990‑х років і став піонером ранніх реальних підходів до тестування антивірусного ПЗ, спрямованих на оцінку того, як технології безпеки працюють проти повних, інтернет‑доставлених атак, а не лише ізольованих зразків шкідливого ПЗ.

SE Labs — це незалежна компанія з тестування та консультування у сфері кібербезпеки, яка оцінює, як технології безпеки працюють проти реалістичних атак. Її дослідники відтворюють техніки нападників протягом усього ланцюжка атаки, щоб оцінювати продукти, включаючи захист кінцевих точок, Endpoint Detection and Response (EDR), хмарні сервіси безпеки, міжмережеві екрани, безпеку електронної пошти та технології виявлення в мережі. Окрім публічних порівняльних тестів, SE Labs надає сертифікацію, розширене тестування безпеки, валідацію продуктів та консультаційні послуги для підприємств і постачальників кібербезпеки. Компанія публікує свої методології тестування та рамки емуляції загроз і має сертифікати ISO/IEC 27001:2022 та BS EN ISO 9001:2015 на проведення тестування ІТ‑продуктів безпеки.

Ваша кар’єра охоплює понад три десятиліття у технологічній журналістиці, консультуванні з безпеки, незалежному тестуванні та керівних ролях в Anti-Malware Testing Standards Organization (AMTSO). Як цей досвід сформував ваш підхід до розрізнення справжніх досягнень у галузі кібербезпеки, що використовує ШІ, від технологій, які в основному позиціонуються як «ШІ» в маркетингових цілях?

Журналістика навчила мене ставити під сумнів заяви, а незалежне тестування показало, що єдина надійна відповідь походить з доказів. Компанії з кібербезпеки використовують машинне навчання та автоматизоване прийняття рішень протягом багатьох років, тому додавання “AI” до назви продукту не обов’язково означає технічний прогрес.

Три базові питання, які варто розглянути: що саме робить ШІ? Який вимірюваний результат у безпеці він покращує? І чи може незалежний тестувальник відтворити це покращення?

Якщо відповідь полягає лише в тому, що продукт аналізує великий обсяг даних або автоматизує існуючий процес, мітка ШІ може бути більше про позиціонування, ніж про реальну можливість.

Справжній прогрес добре працює проти незнайомих або нових атак, підвищує захист або реакцію, зменшує навантаження на аналітиків і робить це без створення неприпустимих ризиків. Усе інше — це або відсутність покращення, або погіршення!

«AI-driven» стало поширеною заявою серед продуктів кібербезпеки. Які найважливіші можливості слід незалежно протестувати, перш ніж організація прийме, що платформа безпеки на базі ШІ дійсно доставляє те, що обіцяє постачальник?

Я б не починав з тестування, чи містить продукт ШІ. Я б почав з перевірки безпекових заяв, які робляться щодо нього. Мене не хвилює, як саме працює продукт, доки він працює. Це саме мета тестової програми PIVOT, яка зараз набирає значної популярності в галузі.

Тестування таким чином означає піддавання продукту повним атакам і вимірювання того, як він реагує. Він, ймовірно, має виявляти активність, а потім можливо запобігати подальшому просуванню атаки. Це залежить від того, як продукт створений і налаштований, а також від маркетингових заяв його постачальника.

Нам також потрібно розглянути розслідувальну історію, яку представлено клієнту. Чи зрозуміла система, що сталося, чи з’єднала відповідні події та чи зробила докази видимими для особи, яка повинна вжити дії?

Тест має включати незнайомі варіації, реалістичні конфігурації клієнта та звичайну бізнес‑активність. Він також повинен вимірювати хибнопозитивні спрацьовування, вимоги до ресурсів та дії, які можуть вважатися потенційно небезпечними. Якщо система автономна, нам потрібно знати, коли вона діє, чому діє, які дозволи використовує і чи можна скасувати її рішення.

У новинах ми бачили кілька історій про те, як ШІ‑безпека вийшла з-під контролю, перевищила свої межі та потенційно закон. Важливе питання — не чи виглядає платформа інтелектуальною, а чи вона забезпечує послідовно кращі та безпечніші результати безпеки.

Автономні агенти ШІ можуть потенційно виконувати розвідку, експлуатацію, латеральний рух та інші етапи атаки значно швидше, ніж людський нападник. Як має змінитися тестування кібербезпеки, коли атаки починають працювати на швидкості машин?

Одиниця тестування має змінитися з окремої техніки на повну кампанію, що діє під тиском часу. Це означає, що замість випробовування різних способів атаки протягом ранку чи тижня, тестування певних заходів безпеки має відбуватися швидко. Інакше це не реалістично, а реалістичність дуже важлива.

Традиційні тести можуть залишати зручні проміжки між етапами, щоб кожну подію можна було розглядати окремо. Автономний нападник може стиснути розвідку, експлуатацію та латеральний рух у значно коротший проміжок часу. Це може виявити слабкі місця, які не помітні під час повільніших тестів, включаючи затримки в телеметрії, перевантажені системи та захисні дії, які надходять лише після того, як атака досягла своєї мети.

Щоб навести надзвичайно простий приклад, якщо ми зламаємо Mac, завантажимо всі його файли та вкрадемо паролі облікових записів, це мало б мало користі, якщо антивірус повідомить про це лише через день.

Тестування реакцій безпеки на AI‑нападників тому потребує високороздільної інструментації та точного вимірювання затримки виявлення та реагування. Потрібно перевірити, чи погіршується продуктивність у міру зростання об’єму та швидкості активності, і чи може захист перервати атаку без очікування людського рішення на кожному етапі.

Атака може також адаптуватися до того, що вона виявляє. Тестування має це відображати, зберігаючи достовірність даних, докази та можливість повтору. Швидкість машин не повинна означати відмову від контрольованої методології. Нам потрібно продовжувати розробляти контрольовані тести, які можуть працювати і вимірювати події з тією ж швидкістю, що й оцінювані системи.

SE Labs використовує реалістичні сценарії атак, засновані на тактиці та техніках загрозливих груп, таких як Scattered Spider. Як ви відтворюєте цих противників у контрольованому середовищі, забезпечуючи, щоб тест відображав, як реальна атака розвивається, а не просто перевіряв за заздалегідь визначеним чек‑лістом?

Ми починаємо з цілей противника, відомих поведінкових моделей та ймовірних рішень, а не розглядаємо його техніки як список покупок.

Тест слідує реалістичному ланцюгу атаки через розвідку, первинний доступ, виконання, підвищення привілеїв, пост‑компромісну активність та латеральний рух. Важливо, що тестувальник може використовувати лише інформацію, яку дійсно виявлено під час розвідки та атаки. Ми не надаємо нападнику знань, які не були б доступні у реальному сценарії.

Сценарій обмежений і ретельно контрольований, проте це не просто послідовність заздалегідь визначених натискань кнопок. Якщо один шлях заблоковано, нападник може обрати реалістичну альтернативу в межах правил тесту. Це дозволяє продукту безпеки впливати на те, як розгортається сценарій.

Водночас кожна важлива дія та результат фіксуються, щоб ми могли пояснити результат і справедливо порівняти продукти. Контрольований не обов’язково означає жорстко прописаний сценарій. Це має означати безпечний, спостережуваний та підкріплений доказами процес.

Традиційно продукти кібербезпеки оцінювали в першу чергу за їх здатністю виявляти загрози. Чому організаціям все більше варто звертати увагу на захист, локалізацію та реагування на інциденти при оцінці систем безпеки, що працюють на базі ШІ?

Виявлення не те саме, що захист. Платформа може генерувати точне сповіщення, одночасно дозволяючи нападнику досягти мети. Ось чому програма тестування PIVOT включає як виявлення, так і захист як спільні та окремі складові загального тестування.

Ви можете порівняти виявлення в кібербезпеці з камерою відеоспостереження. Воно повинно помічати вторгнення і надавати підказки про те, що сталося, але не зупиняє зловмисника фізично. Захист у кібербезпеці набагато активніший. Він може вигнати або іншим чином нейтралізувати нападника, запобігаючи шкоді.

Організації повинні знати, чи продукт запобіг початковій активності, перервав ланцюг атаки, обмежив латеральний рух, захистив важливі активи та підтримав відновлення. Якщо атака успішна, наступні питання стосуються того, наскільки швидко її локалізували і чи отримав клієнт достатньо достовірної інформації для ефективного реагування.

Це стає особливо важливим для систем, що працюють на базі ШІ, оскільки, хоча вони можуть створювати дуже переконливі підсумки подій, переконливе пояснення не замінює захисту. Пояснення має бути підкріплене доказами і вести до відповідних дій.

Тому ми вимірюємо виявлення та захист окремо. Ми також перевіряємо, чи заявлене виявлення було дійсно видимим і корисним для клієнта. Зрештою, цінність системи безпеки полягає у зміні результату атаки, а не лише у її спостереженні.

Коли платформи безпеки впроваджують автономні агенти, здатні розслідувати сповіщення та виконувати дії з усунення, як незалежні лабораторії мають тестувати весь робочий процес людина‑і‑ШІ, а не лише оцінювати базову технологію виявлення окремо?

Тест має охоплювати весь процес від першої зловмисної дії до кінцевого результату безпеки, яким може бути зупинка атаки, її повна успішність або щось посередині.

Потрібно проаналізувати, що агент спостерігав, які висновки він зробив, що він рекомендував або виконав, що було показано оператору‑людині і як оператор відреагував (або які варіанти йому були запропоновані). Це включає якість доказів, чіткість передачі, необхідний час, кількість втручань та те, чи може людина зрозуміти, оскаржити або скасувати рішення агента.

Різні режими роботи також мають значення. Агент, який рекомендує дію для затвердження, створює інший ризик, ніж той, який може автоматично ізолювати системи, вимикати облікові записи або змінювати засоби безпеки.

Система не вважається успішною лише тому, що її базовий детектор виявив атаку. Якщо вона створює незрозумілу чергу, приховує важливі докази, рекомендує неправильну реакцію або здійснює деструктивну дію, загальний робочий процес зазнав невдачі. Незалежне тестування має оцінювати сумарну ефективність технології, її автономних компонентів та людей, які мають їх використовувати.

Один ризик стандартизованих показників безпеки полягає в тому, що постачальники можуть оптимізувати продукти спеціально під тест. Як незалежне тестування може залишатися відтворюваним і справедливим, одночасно вводячи достатньо непередбачуваності, щоб виявити, як продукти працюють проти незнайомих атак?

Відтворюваність не вимагає надання учасникам питань іспиту заздалегідь.

Авторитетний тест має опублікувати свою методологію, середовище, принципи оцінювання, конфігурацію продукту та вимоги до доказів. Постачальники повинні розуміти правила і мати справедливу можливість перевірити, що їхні продукти працюють коректно. Однак конкретна кампанія атак, корисні навантаження та деякі шляхи атак мають залишатися невідомими до проведення тесту.

Наприклад, у PIVOT ми не розкриваємо, які групи атак будемо відтворювати, доки тестування не завершиться. Реальні цілі не отримують попередження перед початком атаки!

Ми можемо поєднати стандартне ядро, яке підтримує порівняння у часі, з незнайомими варіаціями, що тестують загальну спроможність. Базове рівняння та прихований період спокою можуть встановити, як продукт поводиться до атаки. Потім конфігурація повинна бути контрольованою, журнали збереженими, а будь‑які заяви перевіреними проти власних доказів тестувальника.

Справедливість означає застосування однакових правил і стандартів доказів до кожного учасника. Це не означає повторювати атаку настільки передбачувано, щоб постачальник міг розпізнати лише еталон, а не загрозу.

Крім того, радикальна прозорість допомагає постачальникам відтворювати атаки, що важливо, якщо вони хочуть виправити виниклі проблеми, наприклад, неспроможність виявити чи захиститися від загрози. SE Labs по суті навчає своїх клієнтів, коли ті стикаються з проблемами.

Автономні агенти безпеки вводять іншу категорію ризику, оскільки хибне рішення може спровокувати непотрібну або навіть деструктивну коригувальну дію. Як тестування має вимірювати хибнопозитивні результати, неправильне мислення та потенційно шкідливі автономні дії разом із традиційною точністю виявлення?

Традиційне тестування хибнопозитивних результатів — лише перший рівень. При автономному агенті нам потрібно розрізняти хибне сповіщення, необґрунтоване висновок та неправильну дію. Кожен має різний потенційний вплив.

Тести повинні піддавати систему легітимній активності, що нагадує зловмисну поведінку, а також неповним, неоднозначним або вводячим в оману доказам. Якщо агент споживає недовірений вміст, тестування має також перевіряти, чи може цей вміст неправильно впливати на його рішення.

Міркування слід оцінювати за тим, чи підкріплює доступна доказова база висновок, а не за тим, наскільки правдоподібним чи впевненим звучить пояснення. Для автономних дій ми повинні вимірювати масштаб, пропорційність, використання дозволів, контроль схвалення, аудитність та можливість відкату.

Оцінка повинна відображати наслідки. Непотрібне сповіщення є незручним; вимкнення важливого облікового запису або ізоляція критичної системи може порушити роботу організації. Тому корисний захисний захід має враховувати як частоту помилок, так і шкоду, яку кожна помилка може спричинити.

Попри все, іноді клієнт обирає політику, що викликає проблеми. Це не обов’язково провина постачальника безпеки.

Генеративний ШІ та все більш потужні моделі з відкритим кодом знижують бар’єр до автоматизації частин процесу атаки. Чи очікуєте ви, що ШІ зробить кібератаки принципово більш складними, чи більша небезпека полягає в тому, що зловмисники просто зможуть діяти в значно більшому масштабі та швидкості?

Я вважаю, що найбільш негайна небезпека — це масштаб, швидкість та зниження вартості.

ШІ може допомогти зловмисникам збирати інформацію, персоналізувати соціальну інженерію, модифікувати код та координувати частини кампанії. Деякі атаки стануть більш складними у результаті, особливо коли ШІ допомагає поєднувати існуючі техніки або адаптувати їх під конкретну ціль. Проте ШІ не усуває потребу у доступі, облікових даних, вразливих слабкостях чи помилках захисників.

ШІ також не дуже добре створює надійні експлойти, що вже важко досягти навіть досвідченому людині. Тому, на мою переконливу думку, це знижує ймовірність принципово більш складних атак.

Головна зміна полягає в тому, що дії, які раніше вимагали часу, навичок або команди людей, тепер можна здійснювати швидше і на значно більшій кількості цілей. ШІ може підвищити компетентність відносно звичайних зловмисників, дозволяючи досвідченим атакувальникам одночасно проводити більше операцій.

Це суттєво, навіть якщо базові техніки атак не є революційними. Небезпека не обов’язково полягає у зовсім новій формі кібератаки. Це знайомі атаки, які стають швидшими, дешевшими, більш персоналізованими та значно численнішими.

У міру того, як захисні та наступальні AI‑агенти стають більш автономними, яким має бути достовірне середовище тестування кібербезпеки, щоб йти в ногу з часом? Чи можемо ми зрештою дійти до того, що продукти безпеки будуть постійно піддаватися випробуванням адаптивних AI‑противників, а не оцінюватися переважно за допомогою періодичних тестів безпеки?

Достовірне середовище має нагадувати живу організацію, а не сукупність ізольованих цілей. Воно повинно включати кінцеві точки, системи ідентифікації, електронну пошту, мережі, хмарні сервіси, реальних користувачів та звичайну бізнес‑активність. Також необхідно забезпечити повне інструментальне забезпечення, щоб кожне рішення та його наслідок можна було відтворити.

Адаптивним противникам можна задати цілі та межі, а потім дозволити обирати шляхи відповідно до того, що вони виявлять, і як реагуватиме захисний продукт. Тест все одно потребуватиме контрольованих початкових умов, достовірного опису того, що сталося, та можливості відтворити важливі події. Без цих елементів адаптивне тестування може виглядати вражаюче, але залишатися науково слабким.

Я очікую, що тестування стане більш безперервним, особливо коли продукти, моделі та політики часто змінюються. Однак безперервний виклик має доповнювати, а не заміняти періодичне порівняльне тестування. Організаціям потрібні обидва підходи: контрольовані еталони, такі як PIVOT, що забезпечують підзвітність і порівняння, та постійна адаптивна оцінка, яка показує, як системи поводяться під впливом змін загроз і самих продуктів.

Я вважаю, що нас варто більше турбувати той факт, що відносно некваліфіковані люди можуть проривати системи та мережі, а не роботи, які створюють наступне покоління технологій кібератак.

Дякуємо за чудове інтерв’ю, читачі, які хочуть дізнатися більше, повинні відвідати SE Labs.