Simbian Запускає Бенчмарк Кіберзахисту, Показує Велику Пропасть У Можливостях Безпеки Штучного Інтелекту

Новий бенчмарк, випущений компанією Simbian, викликає один із найбільш поширених припущень у сфері штучного інтелекту: те, що ті самі моделі, які здатні виявляти уразливості, також можуть захистити від них.

Нова система Кіберзахисту Бенчмарк компанії, розроблена лабораторією Simbian Research Lab, оцінює, як добре ведуть себе провідні великомасштабні моделі мови (LLM) у реальних сценаріях кіберзахисту. Результати вражаючі. Хоча сучасні системи штучного інтелекту все більше ефективні у виявленні та експлуатації слабкостей, вони суттєво борються, коли їм доручають ідентифікувати та зупинити активні атаки.

Моделі На Передовому Краї Не Здатні Достігнути Мінімального Рівня Захисту

Бенчмарк тестував провідні моделі, включаючи Claude Opus 4.6, GPT-5, Gemini 3.1 Pro та інші у симульованих корпоративних середовищах.

Жодна з моделей не досягла проходного балу.

Claude Opus 4.6, найсильніший виконавець у тесті, виявив лише частину доказів атак через MITRE ATT&CK тактики, тоді як багато моделей не змогли ідентифікувати цілі категорії зловмисної діяльності. Незалежні академічні дослідження, що підтверджують ці висновки, показують, що навіть топ-моделі борються з відкритим полюванням на загрози, виявляючи лише малий відсоток зловмисних подій у реалістичних сценаріях.

Ця пропасть підкреслює критичну обмеження. Системи штучного інтелекту сьогодні можуть excелувати у відповідях на структуровані питання або вирішенні ізольованих проблем, але вони слабшають, коли їм потрібно розслідувати складні, еволюційні ланцюги атак без керівництва.

Перехід До Реалістичних, Агент-Заснованих Оцінок

Що відрізняє цей бенчмарк, це його дизайн.

На відміну від попередніх тестів кібербезпеки, які покладаються на питання з多ма вибором або статичні набори даних, підхід Simbian використовує реальні телеметричні дані та розміщує моделі в агентському циклі розслідування. Замість того, щоб їм казали, що шукати, штучний інтелект повинен досліджувати журнали, формувати гіпотези та ідентифікувати загрози самостійно.

Це відображає, як діють люди-аналітики безпеки в реальних Центрах операцій з безпеки.

Бенчмарк включає десятки технік атак на різних стадіях, змушуючи моделі зв’язувати сигнали у часі та системах. Використовуючи мутацію контексту та детерміністичне оцінювання, він також зменшує ризик того, що моделі просто запам’ятовують шаблони.

Цей перехід до реалізму суттєвий. У розробці штучного інтелекту створення бенчмарку, який точно відображає реальну складність, часто є першим кроком до вирішення самої проблеми.

Розростання Пропасті Між Захисним І Нападальним Штучним Інтелектом

Висновки підкреслюють ширшу тенденцію, що з’являється в галузі.

Штучний інтелект швидко покращується у нападальних кібер-задачах. Нещодавні дослідження показують, що моделі на передовому краї вже можуть виконувати багатокрокові атаки у симульованих середовищах і все частіше роблять це з мінімальними інструментами. В той же час, захисні можливості відстають.

Ця дисбаланс створює розширювану асиметрію. Нападники можуть використовувати автоматизацію та масштаб, тоді як захисники все ще сильно залежать від людської експертизи та фрагментованого інструментарію. Навіть коли штучний інтелект виявляє уразливість, він може неправильно інтерпретувати її серйозність або не діяти належним чином, підкреслюючи пропасть між виявленням та розумінням.

Чому “З коробки” Штучний Інтелект Не Достає

Висновок Simbian полягає не в тому, що штучний інтелект не може захистити системи, а в тому, що він не може зробити цього сам.

Бенчмарк свідчить про те, що великомасштабні моделі мови (LLM) потребують того, що компанія описує як “софістикований харнес” – поєднання зовнішньої інтелекту, структурованих робочих процесів та системної інтеграції – для ефективної роботи в середовищах безпеки.

Це відповідає більш широким дослідженням, які показують, що додавання інструментів, пам’яті та контексту суттєво покращує продуктивність штучного інтелекту у задачах кібербезпеки.

У виробничих середовищах Simbian стверджує, що досягла суттєво вищої точності виявлення, поєднавши моделі з додатковими шарами. Імплікація очевидна: сує здатність моделі є тільки однією частиною пазла.

Нова Категорія Бенчмарку Для Безпеки Штучного Інтелекту

Випуск Кіберзахисту Бенчмарк ставить важливий крок у тому, як системи штучного інтелекту оцінюються для реального розгортання.

Фокусуючись на доказах, пов’язаних з полюванням на загрози, а не на відповідях на питання, він переформулює проблему з інтелекту на виконання. Він також вводить вартість як вимірювану фактор, підкреслюючи компроміси між продуктивністю та ефективністю серед моделей.

Оскільки штучний інтелект продовжує змінювати кібербезпеку, бенчмарки, подібні до цього, можуть стати необхідними інструментами для розуміння не тільки того, що можуть зробити моделі, але й де вони провалюються – і чому.

Наразі висновок простий. Навіть попри швидкий прогрес у сфері штучного інтелекту, повністю автономний кіберзахист залишається недосяжним. Наступна фаза інновацій, ймовірно, залежатиме менше від створення більших моделей та більше від розробки систем, які поєднують штучний інтелект із структурованою інтелектуальністю, контекстом та людським наглядом.