Zenity збирає $125 мільйонів, оскільки підприємства стикаються з ризиками безпеки автономних агентів штучного інтелекту

Zenity зібрала $125 мільйонів у рамках фінансування серії C як бізнес переносить агентів штучного інтелекту з контрольованих експериментів у системи, які можуть доступитися до даних, викликати програмні інструменти та виконувати операційні завдання.

Norwest очолила раунд, до якого приєдналися Qumra Capital, SoftBank Vision Fund 2, Hitachi Ventures та LG Technology Ventures як нові інвестори. Участь також взяли існуючі інвестори Vertex Ventures, Third Point Ventures, DTCP та Intel Capital. Компанія не розкрила свою вартість.

Від експериментів зі штучним інтелектом до автономних систем

Розмір раунду відображає більш широкі зміни в тому, як підприємства приймають штучний інтелект. Перший етап генерації штучного інтелекту в основному полягав у взаємодії працівників з чат-ботами для створення тексту, підсумовування документів або отримання інформації.

Агенти штучного інтелекту вводять інший рівень ризику, оскільки вони можуть виконувати дії. залежно від їхніх дозволів, агенти можуть доступитися до внутрішніх баз даних, викликати інтерфейси програмування застосунків, оновлювати записи, виконувати код, надсилати повідомлення або ініціювати робочі процеси, що охоплюють декілька підприємств-систем.

Це зсуває проблему безпеки за межі того, чи модель генерує невідповідну відповідь. Організації повинні також зрозуміти, які агенти були розгорнуті, хто ними керує, до якої інформації вони можуть доступитися та які дії їм дозволено виконувати.

Агент може поводитися точно так, як і було спроєктовано, але все одно створювати проблему безпеки, якщо він має надмірні дозволи, зустрічає маніпульовану інформацію або інтерпретує інструкції атакувальника як частину легітимної задачі.

Zenity описує це як “проблему агента”. Її платформа призначена для вивчення конфігурації агента, дозволів, підключених інструментів, пам’яті та дій у режимі виконання, а не тільки для розгляду запитів, що надходять у модель, або відповідей, які вона генерує.

Як Zenity забезпечує безпеку агентів штучного інтелекту

Zenity розділяє свою платформу на три основні області: спостереження, управління безпекою та виявлення і реагування.

Компонент спостереження виявляє та інвентаризує агенти, що працюють в організації. Це включає агенти, вбудовані у платформи програмного забезпечення як послуга, внутрішньо розроблені агенти, що працюють у хмарних середовищах, та місцеві інструменти, встановлені на пристроях працівників.

Мета – надати командам безпеки постійно оновлювану картину кожного агента, включаючи власника, конфігурацію, дозволи, інтеграції та поведінку у режимі виконання. Це стає дедалі важливішим, оскільки окремі відділи та працівники набувають можливості створювати агентів без проходження традиційного процесу розробки програмного забезпечення або перевірки безпеки.

Шар керування безпекою компанії оцінює конфігурації та дозволи до того, як агент надійде у виробництво. Політики можна використовувати для визначення надмірного доступу, незахищених інтеграцій або інструментів, які могли б дозволити агенту працювати за межами його призначеної ролі. Платформа може продовжувати перевірку цих контролів під час модифікації агентів з часом.

У режимі виконання Zenity аналізує шлях виконання агента, включаючи його виклики інструментів, доступ до пам’яті, використання даних та взаємодію з іншими системами. Компанія стверджує, що може використовувати цей контекст для дозволу, зміни або блокування дії до того, як вона відбуватиметься.

Цей підхід призначений для розрізнення між нормальним запитом та запитом, який здається нормальним, але був під впливом шкідливого вмісту. Він також звертається до важливого обмеження фільтрації запитів: небезпечний результат може виникнути з послідовності окремих безпечних дій.

Покриття програмного забезпечення як послуга, хмари та пристроїв працівників

Zenity намагається забезпечити загальний шар безпеки по фрагментованій екосистемі агентів.

Для середовищ програмного забезпечення як послуга вона підтримує агентів, пов’язаних з платформами, такими як Microsoft 365 Copilot, Microsoft Copilot Studio, ChatGPT Enterprise та Salesforce (CRM ) Agentforce. Ці системи можуть надавати агентам доступ до бізнес-документів, записів клієнтів, спілкування та робочих процесів, які підприємство не повністю розміщує чи не контролює.

Платформа також підтримує агенти, створені за допомогою сервісів, таких як AWS Bedrock, Azure AI Foundry та Google Vertex AI. Zenity контролює, які інструменти та хмарні сервіси ці агенти викликають, застосовуючи політики під час розробки та виконання.

Третій напрямок включає агенти, засновані на пристроях, такі як помічники з кодуванням, програми для робочого столу та агентські браузери. Ці інструменти можуть працювати всередині автентифікованої середовищі працівника, потенційно успадковуючи доступ до файлів, сесій браузера та підключених сервісів.

Включення цих середовищ до однієї системи може спростити керування, але також створює суттєву технічну проблему. Архітектура, дозволи та телеметрія, доступні з платформи програмного забезпечення як послуга, можуть суттєво відрізнятися від тих, що мають агент, створений у хмарі, або локально встановлений інструмент для кодування.

Дослідження безпеки підкреслює нову модель загроз

Zenity підтримала свою розробку продукції дослідженнями, проведеними через Zenity Labs, які вивчають, як автономні системи можуть бути маніпульовані за допомогою недостовірного вмісту.

Її дослідження AgentFlayer розглядало ланцюги атак без кліку та з одним кліком, що включають широко використовувані підприємства штучного інтелекту. Демонстрації включали сценарії, в яких шкідливі інструкції, доставлені через електронні листи, документи, випадки підтримки або інструменти співробітництва, викликали агентів, які розкривали інформацію, неправильно використовували підключені інструменти або змінювали свої відповіді.

Більш недавнє дослідження розглядало агентський браузер Perplexity Comet. Дослідники Zenity продемонстрували, як приховані інструкції всередині запрошення на календар могли впливати на браузер під час виконання звичайного завдання. У одному зі сценаріїв скомпрометований агент перейшов до незаблокованого веб-сховища 1Password та передав дані для автентифікації через звичайні веб-запити.

Дослідження приписувало проблему недостатньому розділенню між намірами користувача та вмістом третьої сторони, з яким агент зустрічається. Оскільки агент уже працював у автентифікованій сесії браузера, він потенційно міг використовувати доступ, який користувач вже надав.

Ці демонстрації ілюструють, чому безпека агентів не може покладатися виключно на виявлення явно шкідливих запитів. Інструкції можуть бути поховані всередині даних, які агент очікується прочитати, тоді як результатом можуть бути дії, які здаються нормальними під час браузингу, отримання документів або діяльності програми.

Вони також підкреслюють важливість кордонів, які залишаються примусовими навіть тоді, коли розум агента був маніпульований.

Фінансування глобальної експансії та розробки продукції

Zenity каже, що її доходи потроїлися за кожен з двох останніх років і зараз перебувають на рівні, коли знову можуть потроїтися цього року. Компанія повідомляє, що багато її клієнтів – це організації Fortune 500 та Global 2000, які працюють у галузях, що підлягають регулюванню, таких як фінансові послуги, охорона здоров’я, фармацевтика, виробництво та енергетика.

Наразі в компанії понад 230 працівників, з центром досліджень та розробок у Тель-Авіві та функціями виходу на ринок та операційними функціями, керованими з Нью-Йорка.

Фінансування серії C буде використано для прискорення розробки продукції, розширення Zenity Labs та зміцнення присутності компанії в Європі та регіоні Азії та Тихого океану. Це також надасть Zenity додаткові ресурси для підтримки зростаючої кількості фреймворків агентів, оскільки інфраструктура підприємства штучного інтелекту стає більш різноманітною.

Ця експансія відбувається менше ніж за два роки після попереднього інституційного раунду, коли Zenity ще підкреслювала свою низьку та безкодову безпеку застосунків. Поточне позиціонування компанії відображає, як ці раніші проблеми еволюціонували: працівники, які раніше могли створювати прості бізнес-застосунки, тепер можуть створювати агентів, здатних приймати рішення та керувати підключеними системами.

Безпека агентів штучного інтелекту стає окремою категорією

Збір коштів Zenity сигналізує про впевненість інвесторів у те, що безпека агентів штучного інтелекту може розвинутися у суттєву категорію кібербезпеки, а не залишитися функцією у рамках існуючих хмарних, ідентифікаційних або кінцевих продуктів.

Аргумент на користь окремої категорії полягає в тому, що традиційні інструменти зазвичай бачать лише частину діяльності агента. Хмарні платформи безпеки можуть інспектувати інфраструктуру, системи ідентифікації можуть керувати дозволами, а кінцеві продукти можуть виявляти загрози на рівні операційної системи. Вони не обов’язково розуміють призначену роль агента або те, як ланцюг викликів інструментів пов’язаний з оригінальною метою користувача.

Zenity все ще повинна довести, що її контролювання на основі намірів може працювати на швидко змінюваних фреймворках без створення надмірних сповіщень, блокування легітимної роботи або додавання неприйнятної затримки. Компанія також повинна продемонструвати, що підприємства куплять окрему платформу безпеки агентів, а не покладатимуться на контролі, додані великими хмарними та програмними постачальниками.

Натомість ринковий потенціал стає все більш чітким. Коли агенти отримують доступ до чутливої інформації та починають контролювати бізнес-процеси, організації будуть потребувати механізмів, здатних визначати, які агенти існують, обмежувати те, що вони можуть робити, та втручатися до того, як ненавмисна дія стане порушенням.

Zenity’s $125 мільйонів у рамках фінансування серії C надають компанії суттєві ресурси для переслідування цієї ролі, оскільки команди безпеки готуються до середовища підприємства, усе більше заселеного автономним програмним забезпеченням.