Доктор Петро Гаррахан, генеральний директор, технічний директор та співзасновник Mindgard – Серія інтерв’ю

Доктор Петро Гаррахан є генеральним директором, технічним директором та співзасновником Mindgard, лідера у сфері тестування безпеки штучного інтелекту. Заснована в Університеті Ланкастера та підтримана передовими дослідженнями, Mindgard дозволяє організаціям захищати свої системи штучного інтелекту від нових загроз, яких традиційні інструменти безпеки застосунків не можуть вирішити. Як професор комп’ютерних наук в Університеті Ланкастера, Петро є міжнародно визнаним експертом у сфері безпеки штучного інтелекту. Він присвятив свою кар’єру розробці передових технологій для боротьби з зростаючими загрозами, які загрожують штучному інтелекту. З понад 11,6 мільйонами євро у дослідницькому фінансуванні та понад 60 опублікованими науковими статтями, його внесок охоплює як наукові інновації, так і практичні рішення.

Чи можете ви поділитися історією створення Mindgard? Що спонукало вас перейти від академії до створення кібербезпеки стартапу?

Mindgard народився з бажання перетворити академічні знання у реальний вплив. Як професор, що спеціалізується на комп’ютерних системах, безпеці штучного інтелекту та машинному навчанні, я був спонуканий до науки, яка генерує великомасштабний вплив на життя людей. З 2014 року я досліджував штучний інтелект та машинне навчання, визнаючи їх потенціал для трансформації суспільства – та величезні ризики, які вони становлять, від атак держав до втручання у вибори. Існуючі інструменти не були створені для вирішення цих проблем, тому я очолив команду вчених та інженерів для розробки інноваційних підходів у сфері безпеки штучного інтелекту. Mindgard з’явився як дослідницький проєкт, орієнтований на створення реальних рішень для захисту від загроз штучного інтелекту, поєднуючи передові дослідження з приверженістю до промислового застосування.

Які проблеми ви зустріли під час створення компанії з університету, і як ви їх подолали?

Ми офіційно заснували Mindgard у травні 2022 року, і хоча Університет Ланкастера надав велику підтримку, створення університету-спін-ауту вимагає більше, ніж просто дослідницькі навички. Це означало залучення капіталу, уточнення пропозиції цінності та підготовку технологій для демонстрації – все це при збалансуванні моєї ролі як професора. Академіки навчаються бути дослідниками та переслідувати нову науку. Спін-аути вдаються не лише завдяки революційній технології, але й тому, як добре ця технологія відповідає на поточні або майбутні бізнес-потреби та надає цінність, яка приваблює та утримує користувачів та клієнтів.

Ядро продукту Mindgard є результатом років досліджень та розробок. Чи можете ви розповісти про те, як ранні етапи досліджень перетворилися на комерційне рішення?

Подорож від досліджень до комерційного рішення була свідомим та ітеративним процесом. Вона розпочалася понад десяти років тому, коли моя команда в Університеті Ланкастера досліджувала фундаментальні проблеми безпеки штучного інтелекту та машинного навчання. Ми визначили уразливості в системах штучного інтелекту, яких традиційні інструменти безпеки, як сканування коду, так і брандмауери, не були здатні вирішити.

З часом наш фокус змістився від дослідницького дослідження до побудови прототипів та тестування їх у виробничих сценаріях. Співпрацюючи з промисловими партнерами, ми уточнили наш підхід, забезпечуючи, щоб він відповідав на практичні потреби. З великою кількістю продуктів штучного інтелекту, які запускаються без належного тестування безпеки або гарантій, залишаючи організації вразливими – питання, підкреслене висновком Gartner, що 29% підприємств, які розгортають системи штучного інтелекту, повідомили про порушення безпеки, а лише 10% внутрішніх аудиторів мають видимість ризику штучного інтелекту – я відчув, що час був правий для комерціалізації рішення.

Які ключові віхи у історії Mindgard з моменту його заснування у 2022 році?

У вересні 2023 року ми отримали 3 мільйони фунтів стерлінгів у фінансуванні, очолюваному IQ Capital та Lakestar, для прискорення розробки рішення Mindgard. Ми змогли створити велику команду лідерів, які раніше працювали в Snyk, Veracode та Twilio, для просування нашої компанії до наступного етапу її розвитку. Ми пишаємося тим, що були визнані найінновативнішою кібербезпекою Великої Британії на Infosecurity Europe цього року. Сьогодні у нас є 15 повноцінних працівників, 10 дослідників з докторським ступенем (і ще багато хто активно набирається), і ми активно набираємо фахівців з безпеки та інженерів для приєднання до команди. Оглядаючи майбутнє, ми плануємо розширити свою присутність у США, а новий раунд фінансування від інвесторів з Бостона надає міцну основу для такого зростання.

Як підприємства все частіше приймають штучний інтелект, які найбільш гострі кібербезпеки вони зараз загрожують?

Багато організацій недооцінюють кібербезпеки ризики, пов’язані зі штучним інтелектом. Дуже складно для неспеціалістів зрозуміти, як штучний інтелект насправді працює, не кажучи вже про те, які безпекові наслідки він має для бізнесу. Я витрачаю значну кількість часу на демістифікацію безпеки штучного інтелекту, навіть з досвідченими технологами, які є експертами в інфраструктурній безпеці та захисті даних. В кінцевому підсумку штучний інтелект все ще є软件ом і даними, які працюють на апаратному забезпеченні. Але він вводить унікальні уразливості, які відрізняються від традиційних систем, а загрози від поведінки штучного інтелекту значно вищі та складніше тестувати порівняно з іншими програмами.

Ви виявили уразливості в системах, таких як фільтри вмісту штучного інтелекту Microsoft (MSFT ). Як ці висновки впливають на розвиток вашої платформи?

Уразливості, які ми виявили у фільтрах вмісту штучного інтелекту Microsoft Azure, були не такою великою мірою пов’язані із формуванням розвитку нашої платформи, як із демонстрацією її можливостей.

Azure AI Content Safety – це сервіс, призначений для захисту застосунків штучного інтелекту шляхом модерації шкідливого вмісту в тексті, зображеннях та відео. Уразливості, які були виявлені нашою командою, вплинули на службу модерації тексту штучного інтелекту (яка блокує шкідливий вміст, такий як ненависть, сексуальний матеріал тощо) та Prompt Shield (яка запобігає втечам та ін’єкціям提示). Якщо їх не зупинити, цю уразливість можна використати для запуску ширших атак, підірвати довіру до систем штучного інтелекту та скомпрометувати цілісність застосунків, які залежать від штучного інтелекту для прийняття рішень та обробки інформації.

Станом на жовтень 2024 року Microsoft ввела сильніші заходи для вирішення цих проблем. Однак ми продовжимо закликати до підвищеної уважності при розгортанні бар’єрів штучного інтелекту. Додаткові заходи, такі як додаткові інструменти модерації або використання великомасштабних мовних моделей, менш схильних до шкідливого вмісту та втеч, є важливими для забезпечення міцної безпеки штучного інтелекту.

Чи можете ви пояснити значення “втеч” та “маніпуляції提示” в системах штучного інтелекту, і чому вони становлять такі унікальні виклики?

Втеча – це тип уразливості ін’єкції提示, при якій зловмисний актор може використати великомасштабну мовну модель для виконання інструкцій, що суперечать її призначенню. Вхідні дані, оброблені великомасштабними мовними моделями, містять як інструкції, надані розробником застосунку, так і недовіри до вхідних даних користувача, що дозволяє здійснювати атаки, при яких недовіри до вхідних даних користувача перевершують інструкції. Це має певну схожість з тим, як уразливість ін’єкції SQL дозволяє недовіри до вхідних даних змінити запит до бази даних. Однак проблема полягає в тому, що ці ризики можна виявити лише під час виконання, оскільки код великомасштабної мовної моделі є величезною матрицею чисел у форматі, недоступному для людини.

Наприклад, дослідницька команда Mindgard нещодавно досліджувала складний вид атаки на втечу. Вона містить вкладення секретних аудіоповідомлень у аудіовхідні дані, які є недоступними для людського слуху, але розпізнаються та виконуються великомасштабними мовними моделями. Кожен вкладений повідомлення містить команду на втечу разом з запитом, призначеним для конкретної ситуації. Отже, у медичному чат-боті приховане повідомлення могло б спонукати чат-бота надати небезпечні інструкції, такі як те, як синтезувати метамфетамін, що могло б призвести до серйозної шкоди репутації, якщо б відповідь чат-бота була прийнята серйозно.

Платформа Mindgard виявляє такі втечі та багато інших уразностей безпеки в моделях штучного інтелекту та в тому, як підприємства їх реалізували в своїх застосунках, щоб лідери з безпеки могли забезпечити, щоб їхній застосунок, що працює на штучному інтелекті, був безпечним за проєктом і залишався безпечним.

Як платформа Mindgard вирішує уразливості в різних типах моделей штучного інтелекту, від великомасштабних мовних моделей до багатомодальних систем?

Наша платформа вирішує широкий спектр уразностей у штучному інтелекті, починаючи від ін’єкції提示, втеч, витягування (викрадення моделей), інверсії (обратного інженерного даних), витоку даних, ухилення (обхід виявлення) та багатьох інших. Усі типи моделей штучного інтелекту (як великомасштабні мовні моделі, так і багатомодальні) виявляють схильність до ризиків – трюк полягає в тому, щоб виявити конкретні техніки, які викликають ці уразливості та створюють проблему безпеки. У Mindgard у нас є велика команда дослідників та розробників, які спеціалізуються на відкритті та впровадженні нових типів атак у нашу платформу, щоб користувачі могли залишатися в курсі останніх ризиків.

Яку роль відіграє червона команда у забезпеченні безпеки систем штучного інтелекту, і як ваша платформа інновує в цій сфері?

Червона команда є критично важливим компонентом безпеки штучного інтелекту. Постійно симулюючи атаку противника, червона команда виявляє уразливості в системах штучного інтелекту, допомагаючи організаціям пом’якшувати ризики та прискорювати прийняття штучного інтелекту. Незважаючи на свою важливість, червона команда у сфері штучного інтелекту не має стандартів, що призводить до несумісностей у оцінці загроз та стратегіях виправлення. Це робить складно об’єктивно порівнювати безпеку різних систем або ефективно відстежувати загрози.

Щоб вирішити цю проблему, ми ввели MITRE ATLAS™ Adviser, функцію, призначену для стандартизації звітності про червону команду штучного інтелекту та оптимізації систематичної практики червоних команд. Це дозволяє підприємствам краще керувати сучасними ризиками, одночасно готуючись до майбутніх загроз, оскільки можливості штучного інтелекту продовжують розвиватися. З комплексною бібліотекою передових атак, розроблених нашою командою дослідників, Mindgard підтримує багатомодальну червону команду штучного інтелекту, охоплюючи традиційні та генеративні моделі. Наша платформа вирішує ключові ризики для конфіденційності, цілісності, зловживання та доступності, забезпечуючи, щоб підприємства були обладнані для ефективної безпеки своїх систем штучного інтелекту.

Як ви бачите свій продукт у процесі MLOps для підприємств, які розгортають штучний інтелект у великому масштабі?

Mindgard розроблений для безперебійної інтеграції в існуючу автоматизацію CI/CD та всі стадії SDLC, вимагаючи лише точки кінцевого інтерфейсу або моделі для інтеграції моделі. Наше рішення сьогодні здійснює тестування безпеки застосунку динамічно (DAST-AI). Воно дозволяє нашим клієнтам здійснювати безперервне тестування безпеки на всіх своїх системах штучного інтелекту протягом усього циклу побудови та придбання. Для підприємств воно використовується різними персонами. Команди безпеки використовують його для отримання видимості та швидкої реакції на ризики від розробників, які будують та використовують штучний інтелект, для тестування та оцінки бар’єрів безпеки штучного інтелекту та рішень WAF, а також для оцінки ризиків між налаштованими моделями штучного інтелекту та базовими моделями. Червоні команди та аналітики безпеки використовують Mindgard для масштабування своїх зусиль з червоних команд штучного інтелекту, тоді як розробники користаються інтегрованим безперервним тестуванням своїх розгортань штучного інтелекту.

Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Mindgard.