Відкритість OpenAI: браузери AI можуть ніколи не бути повністю безпечними

OpenAI опублікувала безпековий блог-пост 22 грудня, який містить вражаюче визнання: атаки на ін’єкцію промпта проти браузерів AI “можуть ніколи не бути повністю вирішені”. Це визнання прийшло всього через два місяці після запуску ChatGPT Atlas, свого браузера з автономними можливостями агента.

Компанія порівняла ін’єкцію промпта з “шахрайством і соціальною інженерією в інтернеті” – постійними загрозами, які захисники керують, а не ліквідують. Для користувачів, які довіряють агентам AI для навігації в інтернеті від їхнього імені, це тлумачення піднімає фундаментальні питання про те, яку автономію можна вважати прийнятною.

Що відкрила OpenAI

Блог-пост описує захисну архітектуру OpenAI для Atlas, включаючи посилену навчання “автоматизованого атакувальника”, який шукає вразливості до того, як їх знайдуть шкідливі актори. Компанія стверджує, що ця внутрішня команда червоних команд виявила “нові стратегії атак, які не з’явилися в нашій кампанії червоних команд або зовнішніх звітах”.

Одне демонстраційне відео показало, як шкідливе повідомлення електронної пошти могло захопити агент AI, який перевіряв поштову скриньку користувача. Замість того, щоб складати повідомлення про відсутність на робочому місці, захоплений агент надіслав повідомлення про звільнення. OpenAI каже, що її останнє оновлення безпеки тепер ловить цю атаку, але приклад ілюструє ставки, коли агенти AI діють автономно в чутливих контекстах.

“Автоматизований атакувальник може спрямувати агента на виконання складних, довгострокових шкідливих робочих процесів, які розгортаються протягом десятків (або навіть сотень) кроків”, – написала OpenAI. Ця здатність допомагає OpenAI знайти помилки швидше, ніж зовнішні атакувальники, але вона також показує, наскільки складними і шкідливими можуть стати атаки на ін’єкцію промпта.

Зображення: OpenAI

Фундаментальна проблема безпеки

Атаки на ін’єкцію промпта використовують базове обмеження великих мовних моделей: вони не можуть надійно розрізняти легітимні інструкції та шкідливий контент, вбудований в дані, які вони обробляють. Коли браузер AI читає веб-сторінку, будь-який текст на цій сторінці потенційно може вплинути на його поведінку.

Дослідники безпеки багаторазово демонстрували це. Браузери AI поєднують помірну автономію з дуже високим доступом – складною позицією в сфері безпеки.

Атаки не потребують складних технік. Прихований текст на веб-сторінках, ретельно створені електронні листи або невидимі інструкції в документах можуть маніпулювати агентами AI для виконання ненавмисних дій. Деякі дослідники показали, що шкідливі промпти, приховані в знімках екрана, можуть виконуватися, коли AI робить знімок екрана користувача.

Як реагує OpenAI

Захист OpenAI включає моделі, навчені проти атак, класифікатори ін’єкції промпта та “швидкісні перешкоди”, які вимагають підтвердження користувача перед чутливими діями. Компанія радить користувачам обмежити те, що може доступити Atlas – обмежуючи доступ, що увійшов у систему, вимагаючи підтвердження перед платежами або повідомленнями, та надаючи вузькі інструкції замість широких мандатів.

Ця рекомендація відкриває очі. OpenAI фактично радить користувачам ставитися до свого власного продукту з підозрою, обмежуючи автономію, яка робить браузери-агенти привабливими з самого початку. Користувачі, які хочуть, щоб браузери AI обробляли всю їхню поштову скриньку або керували їхніми фінансами, приймають ризики, яких сама компанія не схвалює.

Оновлення безпеки зменшує кількість успішних атак на ін’єкцію. Це поліпшення має значення, але воно також означає, що залишається поверхня атаки – і атакувальники адаптуються до будь-яких засобів захисту, які розгортає OpenAI.

Відгуки галузі

OpenAI не одна стикається з цими проблемами. Безпекова архітектура Google для агентських функцій Chrome включає кілька шарів захисту, включаючи окрему модель AI, яка перевіряє кожну запропоновану дію. Браузер Comet компанії Perplexity зазнав подібної критики з боку дослідників безпеки компанії Brave, які виявили, що навігація до шкідливої веб-сторінки могла спровокувати шкідливі дії AI.

Галузь, здається, сходиться на спільному розумінні: ін’єкція промпта – фундаментальне обмеження, а не помилка, яку можна виправити. Це має значні наслідки для бачення агентів AI, які обробляють складні, чутливі завдання автономно.

Що повинні враховувати користувачі

Чесна оцінка незручна: браузери AI – це корисні інструменти з вбудованими обмеженнями безпеки, які не можна усунути за допомогою кращої інженерії. Користувачі стикаються з компромісом між зручністю та ризиком, який жоден постачальник не може повністю вирішити.

Рекомендації OpenAI – обмежити доступ, вимагати підтвердження, уникати широких мандатів – фактично радять використовувати менш потужні версії продукту. Це не цинічна позиція; це реалістичне визнання поточних обмежень. Помічники AI, які можуть робити більше, також можуть бути маніпульовані на виконання більше.

Аналогія з традиційною безпекою веб-сторінок інструктивна. Користувачі все ще піддаються фішинговим атакам через десятиліття після їх появи. Браузери все ще блокують мільйони шкідливих сайтів щодня. Загроза адаптується швидше, ніж захист може назавжди вирішити її.

Браузери AI додають новий вимір до цієї знайомої динаміки. Коли люди переглядають веб-сторінки, вони застосовують судження про те, що виглядає підозріло. Агенти AI обробляють все з однаковим довірою, роблячи їх більш сприйнятливими до маніпуляцій, навіть коли вони стають більш потужними.

Шлях вперед

Відкритість OpenAI заслуговує на визнання. Компанія могла б випустити оновлення безпеки тихо, не визнаючи тривалої проблеми. Замість цього вона опублікувала детальний аналіз векторів атак і захисних архітектур – інформацію, яка допомагає користувачам приймати обґрунтовані рішення та конкурентам покращувати自己的 захист.

Але відкритість не вирішує фундаментальну напруженість. Чим потужнішими стають агенти AI, тим привабливішими цілями вони стають. Ті самі можливості, які дозволяють Atlas обробляти складні робочі процеси, також створюють можливості для складних атак.

Наразі користувачі браузерів AI повинні ставитися до них як до потужних інструментів з значними обмеженнями – а не як до повністю автономних цифрових помічників, готових обробляти чутливі завдання без нагляду. OpenAI була незвично відкритою щодо цієї реальності. Питання полягає в тому, чи загальновідомість галузі буде відповідати тому, що вже знають команди безпеки.