Імператив безсекретності: чому традиційні моделі безпеки ламаються, коли агенти штучного інтелекту торкаються коду

У квітні 2023 Samsung виявила, що її інженери витікли конфіденційну інформацію до ChatGPTАле це було випадково. А тепер уявіть, якби ці репозиторії коду містили навмисно підкинуті інструкції, невидимі для людей, але оброблені штучним інтелектом, призначені для вилучення не лише коду, а й кожного ключа API, облікових даних бази даних та токена служби, до яких штучний інтелект міг отримати доступ. Це не гіпотетично. Дослідники безпеки вже продемонстрували Ці атаки «невидимих ​​інструкцій» працюють. Питання не в тому, чи це станеться, а коли.

Кордон, якого більше не існує

Протягом десятиліть ми будували безпеку на фундаментальному припущенні: код є код, а дані є дані. SQL-ін'єкції навчили нас параметризувати запити. Міжсайтовий скриптинг навчив нас уникати виводу. Ми навчилися будувати стіни між тим, що роблять програми, і тим, що вводять користувачі.

З агентами штучного інтелекту ця межа зникла.

На відміну від детермінованого програмного забезпечення, яке рухається передбачуваними шляхами, великі мовні моделі (Large Language Models) – це ймовірнісні чорні скриньки, які не можуть розрізняти легітимні інструкції розробника та шкідливі вхідні дані. Коли зловмисник передає запит асистенту кодування зі штучним інтелектом, він не просто надає дані. Він, по суті, перепрограмує програму на льоту. Вхідні дані стають самою програмою.

Це являє собою фундаментальний розрив з усім, що ми знаємо про безпеку програм. Традиційні брандмауери на основі синтаксису, які шукають шкідливі шаблони, такі як DROP TABLE або tags, fail completely against natural language attacks. Researchers have demonstrated “semantic substitution” techniques where replacing “API keys” with “apples” in prompts allows attackers to bypass filters entirely. How do you firewall intent when it’s disguised as harmless conversation?

Реальність нульового кліку, про яку ніхто не говорить

Ось чого не розуміють більшість команд безпеки: для впровадження запиту не потрібно нічого вводити. Це часто експлойти з нульовим кліком. Агент штучного інтелекту, який просто сканує репозиторій коду для виконання рутинного завдання, переглядає запит на зняття коду або читає документацію API, може спровокувати атаку без будь-якої взаємодії з людиною.

Розглянемо цей сценарій, виходячи з методи, які дослідники вже довелиЗловмисник вбудовує невидимі інструкції в HTML-коментарі в документації популярної бібліотеки з відкритим кодом. Кожен помічник штучного інтелекту, який аналізує цей код, будь то GitHub Copilot, Amazon CodeWhisperer чи будь-який інший помічник з програмування для підприємств, стає потенційним збирачем облікових даних. Одна скомпрометована бібліотека може означати тисячі викритих середовищ розробки.

Небезпека полягає не в самій LLM, а в владі, яку ми їй надаємо. Щойно ми інтегрували ці моделі з інструментами та API, дозволивши їм отримувати дані, виконувати код і отримувати доступ до секретів, ми перетворили корисних помічників на ідеальні вектори атаки. Ризик масштабується не разом з інтелектом моделі, а разом з її зв'язком.

Чому нинішній підхід приречений на провал

Наразі галузь одержима «узгодженням» моделей та створенням кращих брандмауерів для швидкого реагування. OpenAI додає більше захисних бар'єрів. Anthropic зосереджується на конституційному ШІ. Усі намагаються створити моделі, які неможливо обдурити.

Це програшна битва.

Якщо ШІ достатньо розумний, щоб бути корисним, він достатньо розумний, щоб його можна було обдурити. Ми потрапляємо в те, що я називаю «пасткою санітарної обробки»: припускаємо, що краща фільтрація вхідних даних нас врятує. Але атаки можуть бути приховані як невидимий текст у HTML-коментарях, заховані глибоко в документації або закодовані способами, яких ми ще не уявляли. Ви не можете санітарно очистити те, що не можете зрозуміти контекстуально, і саме контекст робить LLM потужними.

Галузь повинна прийняти гірку правду: швидке введення буде успішним. Питання в тому, що станеться, коли це станеться.

Архітектурний зсув, який нам потрібен

Зараз ми перебуваємо на «фазі виправлення», відчайдушно додаючи фільтри вхідних даних та правила перевірки. Але так само, як ми врешті-решт зрозуміли, що для запобігання SQL-ін'єкціям потрібні параметризовані запити, а не краще екранування рядків, нам потрібне архітектурне рішення для безпеки штучного інтелекту.

Відповідь криється в принципі, який звучить просто, але вимагає переосмислення того, як ми будуємо системи: агенти штучного інтелекту ніколи не повинні володіти секретами, які вони використовують.

Йдеться не про краще керування обліковими даними чи вдосконалені рішення для сховищ. Йдеться про розпізнавання агентів ШІ як унікальних, перевірених ідентичностей, а не користувачів, яким потрібні паролі. Коли агенту ШІ потрібен доступ до захищеного ресурсу, він повинен:

1. Автентифікувати за допомогою перевіреної особи (не збереженого секрету)

2. Отримуйте своєчасні облікові дані, дійсні лише для цього конкретного завдання

3. Зробіть ці облікові дані автоматичним закінченням терміну дії протягом кількох секунд або хвилин

4. Ніколи не зберігайте і навіть не «бачте» довговічні секрети

З'являється кілька підходів. Ролі AWS IAM для сервісних облікових записів, Ідентифікатор робочого навантаження Google, Динамічні секрети сховища HashiCorp, а спеціально розроблені рішення, такі як Zero Trust Provisioning від Akeyless, вказують на це безсекретне майбутнє. Деталі впровадження різняться, але принцип залишається незмінним: якщо у ШІ немає секретів для красти, швидке впровадження стає значно меншою загрозою.

Середовище розвитку 2027 року

Протягом трьох років файл .env зникне в розробці на основі штучного інтелекту. Довговічні ключі API, що зберігаються у змінних середовища, будуть розглядатися як паролі у звичайному тексті: ганебний пережиток більш наївних часів.

Натомість кожен агент ШІ працюватиме з чітким розподілом привілеїв. Доступ лише для читання за замовчуванням. Білий список дій як стандарт. Пісочниця середовищ виконання як вимога відповідності. Ми перестанемо намагатися контролювати, що думає ШІ, і повністю зосередимося на контролі того, що він може робити.

Це не просто технічна еволюція; це фундаментальний зсув у моделях довіри. Ми переходимо від «довіряй, але перевіряй» до «ніколи не довіряй, завжди перевіряй та припускай компроміс». Принцип найменших привілеїв, який давно проповідується, але рідко практикується, стає невід’ємним, коли ваш молодший розробник — це штучний інтелект, який щодня обробляє тисячі потенційно шкідливих даних.

Вибір, перед яким ми стоїмо

Інтеграція штучного інтелекту в розробку програмного забезпечення є неминучою та значною мірою корисною. GitHub повідомляє, що розробники, які використовують Copilot, виконують завдання на 55% швидше.Зростання продуктивності є реальним, і жодна організація, яка бажає залишатися конкурентоспроможною, не може його ігнорувати.

Але ми стоїмо на роздоріжжі. Ми можемо продовжувати йти нинішнім шляхом, додаючи більше захисних огорож, створюючи кращі фільтри, сподіваючись створити агентів на основі штучного інтелекту, яких неможливо обдурити. Або ж ми можемо визнати фундаментальну природу загрози та відповідно перебудувати нашу архітектуру безпеки.

Інцидент із Samsung був попереджувальним пострілом. Наступне порушення не буде випадковим і не обмежиться рамками однієї компанії. Оскільки агенти штучного інтелекту отримують більше можливостей і отримують доступ до більшої кількості систем, потенційний вплив зростає експоненціально.

Питання для кожного CISO, кожного інженерного керівника та кожного розробника просте: коли оперативне впровадження вдасться у вашому середовищі (а це станеться), що знайде зловмисник? Чи відкриє він скарбницю довговічних облікових даних, чи знайде агента штучного інтелекту, який, незважаючи на компрометацію, не має секретів для красти?

Вибір, який ми зробимо зараз, визначить, чи стане ШІ найбільшим прискорювачем розробки програмного забезпечення, чи найбільшою вразливістю, яку ми коли-небудь створювали. Технологія для створення безпечних, нікому не прихованої системи ШІ існує вже сьогодні. Питання в тому, чи впровадимо ми її, перш ніж зловмисники змусять нас до цього.

OWASP вже визначила швидке введення ліків як ризик №1 у їх десятці найкращих заявок на ступінь магістра права (LLM). NIST розробляє рекомендації на архітектурах нульової довіри. Фреймворки існують. Єдине питання — швидкість впровадження проти еволюції атаки.

Біографія: Рефаель Енджел — співзасновник і технічний директор Безключовий, де він розробив запатентовану компанією технологію шифрування Zero-Trust. Досвідчений інженер-програміст з глибоким досвідом у криптографії та хмарній безпеці, Рефаель раніше працював старшим інженером-програмістом у науково-дослідному центрі Intuit в Ізраїлі, де він створював системи для керування ключами шифрування в публічних хмарних середовищах та розробляв служби машинної автентифікації. Він має ступінь бакалавра з комп'ютерних наук Єрусалимського технологічного коледжу, який він отримав у віці 19 років.