Він Шарма, співзасновник і генеральний директор Vijil — серія інтерв’ю

Він Шарма — співзасновник і генеральний директор Vijil; він має понад 30 років досвіду в галузях кібербезпеки, відкритого програмного забезпечення, хмарних обчислень та інфраструктури ШІ. До заснування компанії він керував інженерними розробками у сфері глибинного навчання в AWS для Amazon SageMaker і Amazon Bedrock, розробляв інфраструктуру центрів обробки даних в Intel, а також обіймав посади у сфері продуктів та інженерії в Hewlett-Packard. Його кар’єра почалася з автоматизованого тестування довірених систем UNIX методом «червоної команди»; цей досвід вплинув на його прагнення зробити корпоративних ШІ-агентів надійними, захищеними й безпечними.

Vijil надає інфраструктуру довіри для корпоративних ШІ-агентів, допомагаючи організаціям оцінювати їхню поведінку, застосовувати засоби контролю та підвищувати стійкість упродовж усього життєвого циклу агентів. Її підхід поєднує тестування, безпеку й безперервний зворотний зв’язок, щоб узгодити поведінку агентів із призначенням і політиками, визначеними організацією. У цьому інтерв’ю Шарма розповідає, як визначати й вимірювати довіру, чим тестування агентів відрізняється від традиційного тестування безпеки програмного забезпечення та який нагляд потрібен підприємствам у міру того, як агенти набувають автономності.

Перш ніж заснувати Vijil, ви понад 30 років працювали в таких компаніях, як AWS, Intel і Hewlett-Packard. Що зрештою переконало вас, що довіра до ШІ та його безпека — це достатньо масштабна й досі нерозв’язана проблема, навколо якої варто створити компанію?

До того як 30 років тому я приєднався до стартапу у сфері безпеки, я навчався в аспірантурі, де вивчав ШІ та машинне навчання. Відтоді я працював у продуктових командах, які впроваджували захист військового рівня в операційні системи на базі Unix і Linux, створювали захищені вебсервери для онлайн-банкінгу, розробляли довірені середовища виконання для хмарних обчислень, інтегрували шифрування в платформи аналітики даних, а зовсім нещодавно я пройшов повне коло й повернувся до розробки готових для корпоративного використання сервісів ШІ та машинного навчання в AWS. Цей шлях переконав мене, що вбудувати довіру в інтелектуальну систему складніше, ніж створити саму інтелектуальну систему. Хоча індустрія ШІ, схоже, загалом зосереджена на підвищенні можливостей агентів, я вважаю, що нам потрібно вкладати не менше ресурсів у створення масштабованих механізмів нагляду й контролю для агентів. Без таких метрик і механізмів, адаптованих до потреб конкретних організацій, перша хвиля надмірно оптимістичного впровадження згасне на мілинах ризиків і рентабельності інвестицій, адже компанії не зможуть довести, що агенти діють в їхніх найкращих інтересах.

Vijil ґрунтується на ідеї, що багато ШІ-агентів так і не доходять до промислового використання, оскільки підприємства не можуть належним чином перевірити їхню надійність, захищеність і безпечність. Де, на вашу думку, виникають найбільші прогалини у сфері довіри, коли компанії переходять від прототипів ШІ до розгортання у виробничому середовищі?

Перешкода для розгортання більшої кількості агентів зі зростанням їхньої автономності полягає в тому, чи можуть організації визначити бажану поведінку агентів і перевірити, чи поводяться вони відповідно до цих очікувань. Ба більше, вони мають бути спроможні робити це в масштабі й темпі, з якими працюють агенти. Логічно припустити, що потрібен спосіб, за допомогою якого агенти могли б вимірювати й коригувати поведінку інших агентів. Дві найбільші прогалини — це розуміння того, що саме вимірювати (що означає «добра» поведінка агентів), і того, що саме змінювати (які компоненти агентної системи налаштовувати, щоб домогтися поведінки, якої очікує суб’єкт, від імені якого діє агент: модель та її параметри, системну підказку, інструкції користувача, агентну оболонку чи граф систем із багатьма агентами).

Як Vijil визначає та вимірює «довіру» до ШІ-агента і які сигнали чи критерії оцінювання є найважливішими, коли потрібно визначити, чи готовий агент працювати в корпоративному середовищі?

Ми визначаємо довіру як очікувану користь від делегування завдань автономному агенту, зменшену з урахуванням ризику того, що він зрадить наші наміри. Це означає, що агенту можна довіряти, якщо він поводиться належним чином за звичайних, нестабільних і ворожих умов, а в разі збою мінімізує масштаб наслідків. Тоді довіру можна вимірювати за трьома основними критеріями: надійністю, захищеністю та безпечністю. Агенти надійні, коли працюють очікуваним чином за різноманітних умов; захищені — коли працюють очікуваним чином у ворожих умовах; безпечні — коли здатні мінімізувати бізнесові, юридичні й технічні ризики.

ШІ-агенти можуть поводитися непередбачувано, оскільки поєднують моделі, інструменти, джерела даних, пам’ять і зовнішні системи. Чим тестування агента відрізняється від традиційного тестування безпеки застосунків або звичайного оцінювання моделей?

Традиційне програмне забезпечення виходить з ладу у вже добре зрозумілий спосіб. Якщо говорити загалом, це нездатність обробляти некоректні вхідні дані, недоліки логіки й системного проєктування, помилки реалізації, приховані вразливості до атак і непередбачені побічні ефекти результатів роботи. Такі збої можна тестувати з належним рівнем передбачуваності. Агенти значно розширюють поверхню потенційних збоїв — настільки, що її принципово неможливо охопити оцінюванням моделей, модульними й інтеграційними тестами, тестами безпеки застосунків, тестами на проникнення та перевірками відповідності вимогам. Щоб перевірити нову поверхню ризиків, пов’язаних з агентами, потрібні нові метрики й механізми для оцінювання поведінки агента з огляду на його призначення, визначене суб’єктом, від імені якого він діє, ролі його користувачів, а також політики організації, галузі та регіону, у якому він працює.

Ви керували розробкою рішень глибинного навчання для Amazon SageMaker і Amazon Bedrock. Які уроки, отримані під час створення інфраструктури ШІ в AWS, найбільше вплинули на ваш підхід до безпеки й надійності агентів у Vijil?

Найважливішим для мене стало розуміння, що виявляти проблеми з надійністю, безпекою та відповідністю вимогам на ранніх етапах розробки набагато ефективніше й доцільніше, ніж напередодні запуску, як це традиційно робили, або, що ще гірше, уже після введення сервісу в експлуатацію, коли доводилося прокидатися від телефонних дзвінків через збій у роботі сервісу.

Vijil зосереджується не лише на тестуванні агентів перед розгортанням, а й на їхньому захисті та безперервному вдосконаленні в робочому середовищі. Які ризики стають помітними лише тоді, коли агент починає взаємодіяти з реальними користувачами, даними й корпоративними системами?

Реальний світ здатен дивувати нас безмежно. А агент, якого щось заскочило зненацька, схильний до помилок. Помилка агента під час створення мему нікого не турбує. Але агент, покликаний допомагати або замінювати фінансового консультанта, помічника юриста, адвоката, медсестру, лікаря, пацієнта чи будь-якого фахівця в галузі, де потрібно підтверджувати дотримання фідуціарних обов’язків, не може працювати, якщо межі допустимих відхилень чітко не визначені й ретельно не контролюються, а поведінку агента швидко не відновлюють до належного стану.

У міру того як підприємства впроваджують дедалі автономніших агентів, здатних виконувати дії, а не лише генерувати відповіді, як має змінюватися модель безпеки? Чи достатньо традиційних понять, як-от дозволи, ідентифікація та контроль доступу?

Ні. Коли агенти стають дієвими учасниками організації, їм потрібно надавати унікальні ідентичності, які можна перевірити; визначати ролі, що регламентують їхню поведінку, а також їхні функціональні компоненти (інструменти з дозволами на доступ до ресурсів), за допомогою політик обов’язкового контролю доступу; безперервно відстежувати відхилення від визначеної мети й спрямовувати їх, щоб вони зберігали стійкість під час атак.

Від початкового раунду Seed на 6 мільйонів доларів до раунду Series A на 17 мільйонів доларів компанія Vijil зібрала команду засновників приблизно з 20 осіб і досягла першого мільйона доларів регулярного річного доходу. Які рішення були найважливішими для переходу від ранньої технічної концепції до комерційного впровадження?

Від самого початку ми вирішили створювати рівень довіри, інтегрований із платформою, яку обирає клієнт, але передбачали, що підприємства дедалі частіше потребуватимуть ширших можливостей налаштування, точнішого контролю та нижчих витрат на мультиагентні системи з відкритими моделями. Довгострокова стратегія побудови платформного рівня, а не окремого продукту, дає нам переваги перед конкурентами, але водночас створює складні умови: знаходити підприємства, готові до масштабного управління агентами, не так просто, як продавати послугу перенесення систем «як є».

Ви розпочали кар’єру в 1995 році, розробляючи автоматизовані тести «червоної команди» для надійних систем UNIX. Як змінилися принципи таких тестувань майже за три десятиліття, коли тестованою системою є агент ШІ, здатний міркувати, адаптуватися й користуватися зовнішніми інструментами?

Історично тестування «червоною командою» означало перевірку захисту організації від скоординованої атаки. Загальні принципи залишаються чинними. Нам і далі потрібно координувати атаки в контрольованих умовах, щоб виявляти слабкі місця організації, яку тестують. Однак методи, що застосовувалися в період, коли вправи «червоної команди» прописували за сценаріями для тестування програмних систем, уже не підходять: агенти ШІ не схожі на детерміноване програмне забезпечення — їх створено для адаптації до середовища, тож ту саму атаку неможливо відтворити з передбачуваним результатом. На мою думку, до агентів слід ставитися як до корпорацій. Тому тестування агентів «червоною командою» обов’язково має враховувати призначення агента, виявляти його відхилення від намірів користувачів, а також перевіряти його готовність і здатність обходити правила середовища.

Як гадаєте, чи стануть незалежне тестування та вимірювані стандарти довіри до агентів ШІ обов’язковою передумовою їхнього впровадження на підприємствах? І що має відбутися в усій галузі, щоб такий рівень гарантій став стандартною практикою?

Сьогодні розробники оцінюють можливості агентів, «червоні команди» перевіряють їхню стійкість до ін’єкцій промптів і джейлбрейків, а команди з управління, ризиків і відповідності вимогам лише починають перевіряти їх на відповідність нормативним вимогам. Дуже мало організацій запроваджують систему безперервної перевірки поведінки, яка працює у фоновому режимі протягом усього життєвого циклу агента, навіть коли змінюються моделі, інструменти, ресурси, робочі процеси й цільове середовище. Ще важливіше те, що Vijil допомагає підприємствам унікальним чином: зіставляє фактичну поведінку агента в робочому середовищі з його специфікацією в циклі зворотного зв’язку, який безперервно вдосконалює агента. Агенти, які витримують атаки, — це ті, що адаптуються й залишаються стійкими.

Дякую за чудове інтерв’ю! Читачам, які хочуть дізнатися більше про тестування, захист і безперервне вдосконалення корпоративних агентів ШІ, варто відвідати Vijil.