Стан безпеки штучного інтелекту в 2025 році: ключові висновки з доповіді Cisco

Щодо того, як все більше підприємств приймають штучний інтелект, розуміння ризиків його безпеки стало більш важливим, ніж будь-коли. Штучний інтелект змінює галузі та робочі процеси, але він також вводить нові ризики безпеки, яких організації повинні звернути увагу. Захист систем штучного інтелекту є важливим для підтримання довіри, захисту конфіденційності та забезпечення безперебійного ведення бізнесу. Ця стаття підсумовує ключові висновки з недавньої доповіді Cisco “Стан безпеки штучного інтелекту в 2025 році“. Вона пропонує огляд того, де зараз знаходиться безпека штучного інтелекту, і чого компанії повинні враховувати в майбутньому.

Розростання загрози безпеки штучному інтелекту

Якщо 2024 рік навчив нас чогось, то це те, що прийняття штучного інтелекту відбувається швидше, ніж багато організацій можуть його захистити. Доповідь Cisco стверджує, що близько 72% організацій зараз використовують штучний інтелект у своїх бізнес-функціях, однак лише 13% відчувають себе повністю готовими до безпечного використання його потенціалу. Ця розрив між прийняттям і готовністю в основному викликана проблемами безпеки, які залишаються основною перешкодою для ширшого використання штучного інтелекту в підприємствах. Що робить цю ситуацію ще більш тривожною, це те, що штучний інтелект вводить нові типи загроз, з якими традиційні методи кібербезпеки не повністю оснащені для боротьби. На відміну від традиційної кібербезпеки, яка часто захищає стаціонарні системи, штучний інтелект вводить динамічні та адаптивні загрози, які важче передбачити. Доповідь підкреслює кілька нових загроз, про які організації повинні бути поінформовані:

• Атаки на інфраструктуру: Інфраструктура штучного інтелекту стала основною мішенню для атакувальників. Видатним прикладом є компрометація інструментарію контейнерів NVIDIA, який дозволив атакувальникам отримати доступ до файлових систем, виконувати зловмисний код та підвищувати привілеї. Аналогічно, Ray, відкритий каркас штучного інтелекту для управління GPU, був компрометований в одному з перших реальних атак на каркас штучного інтелекту. Ці випадки показують, як слабкості в інфраструктурі штучного інтелекту можуть вплинути на багатьох користувачів та системи.
• Ризики ланцюга поставок: Вразливості ланцюга поставок штучного інтелекту становлять ще одну значну проблему. Близько 60% організацій покладаються на відкриті компоненти штучного інтелекту або екосистеми. Це створює ризик, оскільки атакувальники можуть компрометувати ці широко використовувані інструменти. Доповідь згадує техніку під назвою “Sleepy Pickle“, яка дозволяє противникам втручатися в моделі штучного інтелекту навіть після їх розповсюдження. Це робить виявлення надзвичайно складним.
• Атаки, специфічні для штучного інтелекту: Нові техніки атак розвиваються швидко. Методи, такі як ін’єкція запиту, джейлбрейкінг та витягування даних тренування, дозволяють атакувальникам обходити засоби безпеки та отримувати доступ до конфіденційних даних, що містяться у тренувальних наборах даних.

Вектори атак, що націлюються на системи штучного інтелекту

Доповідь підкреслює появу векторів атак, які зловмисні актори використовують для використання слабкостей у системах штучного інтелекту. Ці атаки можуть відбуватися на різних стадіях життєвого циклу штучного інтелекту, від збору даних та тренування моделей до розгортання та висновку. Метою часто є те, щоб змусити штучний інтелект поводитися непередбачуваним чином, витікати приватні дані або виконувати шкідливі дії.

За останні роки ці методи атак стали більш просунутими та важчими для виявлення. Доповідь підкреслює кілька типів векторів атак:

• Джейлбрейкінг: Ця техніка полягає у створенні протилежних запитів, які обходять заходи безпеки моделі. Незважаючи на покращення засобів захисту штучного інтелекту, дослідження Cisco показують, що навіть прості джейлбрейки залишаються ефективними проти просунутих моделей, таких як DeepSeek R1.
• Непряма ін’єкція запиту: На відміну від прямої атаки, цей вектор атаки полягає у маніпулюванні вхідними даними або контекстом, який використовує модель штучного інтелекту непрямо. Атакувальники можуть постачати компрометовані джерельні матеріали, такі як шкідливі PDF-файли або веб-сторінки, що спричиняє генерацію штучним інтелектом непередбачуваних або шкідливих виходів. Ці атаки особливо небезпечні, оскільки вони не вимагають прямого доступу до системи штучного інтелекту, дозволяючи атакувальникам обходити традиційні засоби захисту.
• Витягування та отруєння даних тренування: Дослідники Cisco продемонстрували, що чат-боти можуть бути обмануті, щоб розкрити частини своїх тренувальних даних. Це викликає серйозні побоювання щодо конфіденційності даних, інтелектуальної власності та дотримання вимог. Атакувальники також можуть отруїти дані тренування, впроваджуючи шкідливі вхідні дані. Стурбує те, що отруєння лише 0,01% великих наборів даних, таких як LAION-400M або COYO-700M, може вплинути на поведінку моделі, і це можна зробити з малим бюджетом (близько 60 доларів США), що робить ці атаки доступними для багатьох зловмисників.

Доповідь підкреслює серйозні побоювання щодо поточного стану цих атак, з результатами досліджень, які досягли 100% успіху проти просунутих моделей, таких як DeepSeek R1 та Llama 2. Це розкриває критичні уразливості безпеки та потенційні ризики, пов’язані з їхнім використанням. Крім того, доповідь ідентифікує появу нових загроз, таких як голосові джейлбрейки, які спеціально розроблені для націлювання на мультимодальні моделі штучного інтелекту.

Висновки з досліджень безпеки штучного інтелекту Cisco

Команда дослідників Cisco оцінила різні аспекти безпеки штучного інтелекту та викрила кілька ключових висновків:

• Алгоритмічний джейлбрейкінг: Дослідники показали, що навіть найкращі моделі штучного інтелекту можуть бути обмануті автоматично. Використовуючи метод під назвою Дерево атак з обрізанням (TAP), дослідники обходили засоби захисту на GPT-4 та Llama 2.
• Ризики на етапі налаштування: Багато підприємств налаштовують базові моделі для покращення відповідності конкретним галузям. Однак дослідники виявили, що налаштування може ослабити внутрішні засоби безпеки. Налаштовані версії були більш ніж у три рази більш вразливі до джейлбрейкінгу та у 22 рази більш схильні до генерації шкідливого вмісту порівняно з оригінальними моделями.
• Витягування даних тренування: Дослідники Cisco використали простий метод декомпозиції, щоб обманути чат-боти та змусити їх відтворити фрагменти статей, що дозволяє їм реконструювати джерела матеріалів. Це становить ризик для розкриття конфіденційних або власних даних.
• Отруєння даних: Команда Cisco демонструє, як легко та дешево отруїти великомасштабні веб-дані. За близько 60 доларів дослідники змогли отруїти 0,01% наборів даних, таких як LAION-400M або COYO-700M. Крім того, вони підкреслюють, що цей рівень отруєння достатній для спричинення помітних змін у поведінці моделі.

Роль штучного інтелекту в кіберзлочинності

Штучний інтелект не лише є мішенню – він також стає інструментом для кіберзлочинців. Доповідь зазначає, що автоматизація та інженерія соціальних мереж, керованих штучним інтелектом, зробили атаки більш ефективними та важчими для виявлення. Від фішингових атак до клонування голосу штучний інтелект допомагає злочинцям створювати переконливі та персоналізовані атаки. Доповідь також ідентифікує появу шкідливих інструментів штучного інтелекту, таких як “DarkGPT“, розроблених спеціально для допомоги кіберзлочинності шляхом генерації фішингових електронних листів або використання уразливостей. Що робить ці інструменти особливо тривожними, це їх доступність. Навіть низькокваліфіковані злочинці тепер можуть створювати високоперсоналізовані атаки, які обходять традиційні засоби захисту.

Найкращі практики для захисту штучного інтелекту

Ураховуючи волатильний характер безпеки штучного інтелекту, Cisco рекомендує кілька практичних кроків для організацій:

1. Керуйте ризиками на всіх етапах життєвого циклу штучного інтелекту: Важливо ідентифікувати та зменшити ризики на кожному етапі життєвого циклу штучного інтелекту, від джерела даних та тренування моделей до розгортання та моніторингу. Це також включає захист компонентів третьої сторони, застосування сильних засобів безпеки та тісний контроль над точками доступу.
2. Використовуйте встановлені практики кібербезпеки: Хоча штучний інтелект унікальний, традиційні практики кібербезпеки все ще важливі. Техніки, такі як контроль доступу, управління дозволами, запобігання втраті даних, можуть відігравати важливу роль.
3. Сконцентруйтеся на вразливих областях: Організації повинні сконцентруватися на областях, які найбільш ймовірно будуть націлені, таких як ланцюги поставок та програми штучного інтелекту третьої сторони. Поняття про те, де лежать уразливості, дозволяє підприємствам реалізовувати більш націлені захисти.
4. Освіть та навчіть працівників: По мірі того, як інструменти штучного інтелекту стають більш поширеними, важливо навчати користувачів про відповідальне використання штучного інтелекту та осведомленість про ризики. Поінформована робоча сила допомагає зменшити випадковий витік даних та неправильне використання.

Погляд у майбутнє

Прийняття штучного інтелекту буде продовжуватися, а разом з ним і ризики безпеки. Уряди та організації по всьому світу визнають ці виклики та починають створювати політики та нормативні акти для забезпечення безпеки штучного інтелекту. Як підкреслює доповідь Cisco, баланс між безпекою та прогресом штучного інтелекту визначить наступну епоху розвитку та розгортання штучного інтелекту. Організації, які пріоритезують безпеку поряд з інноваціями, будуть найкраще підготовлені до подолання викликів та використання нових можливостей.