Доктор Питер Гарраган, генеральный директор, технический директор и сооснователь Mindgard – Интервью

Доктор Питер Гарраган является генеральным директором, техническим директором и сооснователем Mindgard, лидером в области тестирования безопасности искусственного интеллекта. Основанная в Университете Ланкастера и поддержанная передовыми исследованиями, Mindgard позволяет организациям защитить свои системы искусственного интеллекта от новых угроз, которые традиционные инструменты безопасности не могут устранить. Как профессор компьютерных наук в Университете Ланкастера, Питер является международно признанным экспертом в области безопасности искусственного интеллекта. Он посвятил свою карьеру разработке передовых технологий для борьбы с растущими угрозами, с которыми сталкивается искусственный интеллект. С более чем 11,6 миллионами евро в финансировании исследований и более 60 опубликованных научных работ, его вклад охватывает как научную инновацию, так и практические решения.

Можете ли вы рассказать историю о создании Mindgard? Что вдохновило вас перейти от академии к запуску стартапа в области кибербезопасности?

Mindgard была создана из желания превратить академические идеи в реальные результаты. Как профессор, специализирующийся на вычислительных системах, безопасности искусственного интеллекта и машинном обучении, я был движим желанием заниматься наукой, которая оказывает большое влияние на жизнь людей. С 2014 года я исследую искусственный интеллект и машинное обучение, признавая их потенциал трансформировать общество – и огромные риски, которые они представляют, от атак государственных структур до вмешательства в выборы. Существующие инструменты не были разработаны для решения этих проблем, поэтому я возглавил команду ученых и инженеров для разработки инновационных подходов в области безопасности искусственного интеллекта. Mindgard возникла как исследовательское предприятие, ориентированное на создание осязаемых решений для защиты от угроз, связанных с искусственным интеллектом, сочетая передовые исследования с приверженностью к применению в промышленности.

Какие проблемы вы столкнулись при создании компании из университета, и как вы их преодолели?

Мы официально основали Mindgard в мае 2022 года, и хотя Университет Ланкастера предоставил нам большую поддержку, создание компании из университета требует больше, чем просто исследовательских навыков. Это означало привлечение капитала, совершенствование ценностного предложения и подготовку технологий для демонстраций – все это при одновременном балансировании моей роли профессора. Академики обучены быть исследователями и заниматься новой наукой. Компании, созданные из университетов, успешны не только благодаря новаторским технологиям, но и благодаря тому, насколько хорошо эти технологии решают текущие или будущие бизнес-проблемы и обеспечивают ценность, которая привлекает и удерживает пользователей и клиентов.

Основной продукт Mindgard является результатом лет исследований и разработок. Можете ли вы рассказать о том, как первоначальные этапы исследований превратились в коммерческое решение?

Путь от исследований к коммерческому решению был намеренным и итеративным процессом. Он начался более десяти лет назад, когда моя команда в Университете Ланкастера исследовала фундаментальные проблемы безопасности искусственного интеллекта и машинного обучения. Мы обнаружили уязвимости в реализованных системах искусственного интеллекта, которые традиционные инструменты безопасности, как сканирование кода, так и брандмауэры, не были способны устранить.

Со временем наше внимание сместилось от исследовательского исследования к созданию прототипов и тестированию их в производственных сценариях. Сотрудничая с партнерами из промышленности, мы усовершенствовали наш подход, обеспечивая, чтобы он решал практические потребности. Поскольку многие продукты искусственного интеллекта запускаются без надлежащего тестирования безопасности или гарантий, оставляя организации уязвимыми – проблема, подчеркнутая выводом Gartner, что 29% предприятий, развертывающих системы искусственного интеллекта, сообщили о нарушениях безопасности, и только 10% внутренних аудиторов имеют видимость рисков, связанных с искусственным интеллектом, – я считал, что время было подходящим для коммерциализации решения.

Можете ли вы рассказать о некоторых ключевых вехах в истории Mindgard с момента ее основания в 2022 году?

В сентябре 2023 года мы привлекли 3 миллиона фунтов стерлингов в финансировании, возглавляемом IQ Capital и Lakestar, для ускорения разработки решения Mindgard. Нам удалось создать отличную команду лидеров, которые ранее работали в Snyk, Veracode и Twilio, чтобы продвинуть нашу компанию на следующий этап ее пути. Мы гордимся тем, что были признаны самой инновационной кибербезопасной компанией в Великобритании на Infosecurity Europe в этом году. Сегодня у нас есть 15 полноценных сотрудников, 10 исследователей с докторской степенью (и еще многие, которые активно набираются), и мы активно набираем специалистов по безопасности и инженеров для присоединения к нашей команде. В будущем мы планируем расширить свое присутствие в США, и новый раунд финансирования от бостонских инвесторов обеспечит прочную основу для такого роста.

Когда предприятия все чаще принимают искусственный интеллект, какие, по вашему мнению, являются наиболее насущными кибербезопасными угрозами, с которыми они сталкиваются сегодня?

Многие организации недооценивают кибербезопасные риски, связанные с искусственным интеллектом. Это чрезвычайно сложно для неспециалистов понять, как работает искусственный интеллект, не говоря уже о том, какие последствия это имеет для безопасности их бизнеса. Я тратил значительное количество времени на разъяснение вопросов безопасности искусственного интеллекта, даже с опытными технологами, которые являются экспертами в области инфраструктурной безопасности и защиты данных. В конце концов, искусственный интеллект по сути является программным обеспечением и данными, работающими на оборудовании. Но он вводит уникальные уязвимости, которые отличаются от традиционных систем, и угрозы, исходящие от поведения искусственного интеллекта, намного выше и труднее проверить по сравнению с другими программными продуктами.

Вы обнаружили уязвимости в системах, таких как фильтры контента Microsoft (MSFT ) AI. Как эти находки влияют на развитие вашей платформы?

Уязвимости, которые мы обнаружили в службе Azure AI Content Safety Service от Microsoft, были не столько связаны с формированием развития нашей платформы, сколько с демонстрацией ее возможностей.

Azure AI Content Safety – это служба, предназначенная для защиты приложений искусственного интеллекта путем модерации вредного контента в тексте, изображениях и видео. Уязвимости, обнаруженные нашей командой, повлияли на модерацию текста AI (которая блокирует вредный контент, такой как ненавистная речь, сексуальный материал и т. д.) и Prompt Shield (которая предотвращает побеги и внедрение запросов). Если их не устранить, эти уязвимости могут быть использованы для запуска более широких атак, подрыва доверия к системам, основанным на генеративном искусственном интеллекте, и компрометации целостности приложений, которые полагаются на искусственный интеллект для принятия решений и обработки информации.

Можете ли вы объяснить значение “побегов” и “манипуляции запросами” в системах искусственного интеллекта и почему они представляют собой уникальную проблему?

Побег – это тип уязвимости внедрения запроса, при которой злоумышленник может использовать языковую модель для выполнения инструкций, противоречащих ее предполагаемому использованию. Входные данные, обрабатываемые языковыми моделями, содержат как инструкции, заданные разработчиком приложения, так и ввод пользователя, что позволяет осуществлять атаки, при которых ввод пользователя может переопределить инструкции. Это имеет сходство с уязвимостью внедрения SQL, которая позволяет вводу пользователя изменить запрос базы данных. Однако проблема заключается в том, что эти риски можно обнаружить только во время выполнения, учитывая, что код языковой модели по сути является гигантской матрицей чисел в нечитаемом формате.

Например, команда исследователей Mindgard недавно изучила сложную форму атаки на побег. Она включает в себя внедрение секретных аудиосообщений в аудиовходы, которые не обнаруживаются человеческими слушателями, но распознаются и выполняются языковыми моделями. Каждое внедренное сообщение содержало команду на побег, а также вопрос, предназначенный для конкретного сценария. Итак, в сценарии медицинского чат-бота скрытое сообщение могло бы побудить чат-бота предоставить опасные инструкции, такие как то, как синтезировать метамфетамин, что могло бы привести к серьезному ущербу репутации, если бы ответ чат-бота был воспринят всерьез.

Платформа Mindgard выявляет такие побеги и многие другие уязвимости безопасности в моделях искусственного интеллекта и в том, как бизнес реализовал их в своих приложениях, поэтому лидеры безопасности могут обеспечить, чтобы их приложение, работающее на искусственном интеллекте, было безопасным по конструкции и оставалось безопасным.

Как платформа Mindgard решает уязвимости в различных типах моделей искусственного интеллекта, от языковых моделей до многомодальных систем?

Наша платформа решает широкий спектр уязвимостей в области искусственного интеллекта, охватывающий внедрение запросов, побеги, извлечение (кражу моделей), обращение (обратную инженерию данных), утечку данных и уклонение (обход обнаружения), и многое другое. Все типы моделей искусственного интеллекта (как языковые модели, так и многомодальные) демонстрируют восприимчивость к этим рискам – задача состоит в том, чтобы обнаружить конкретные методы, которые вызывают эти уязвимости и приводят к проблемам безопасности. В Mindgard у нас есть большая команда исследований и разработок, которая специализируется на обнаружении и реализации новых типов атак в нашей платформе, чтобы пользователи могли оставаться в курсе последних рисков.

Какую роль играет красная команда в обеспечении безопасности систем искусственного интеллекта, и как ваша платформа инновационно решает эту задачу?

Красная команда является важнейшим компонентом безопасности искусственного интеллекта. Постоянно имитируя атаку противника, красная команда выявляет уязвимости в системах искусственного интеллекта, помогая организациям смягчить риски и ускорить внедрение искусственного интеллекта. Несмотря на свою важность, красная команда в области искусственного интеллекта не стандартизирована, что приводит к несоответствиям в оценке угроз и стратегиях смягчения. Это затрудняет объективное сравнение безопасности различных систем или эффективное отслеживание угроз.

Чтобы решить эту проблему, мы представили MITRE ATLAS Adviser, функцию, предназначенную для стандартизации отчетности о красной команде в области искусственного интеллекта и оптимизации систематических практик красной команды. Это позволяет предприятиям лучше управлять текущими рисками, одновременно готовясь к будущим угрозам, поскольку возможности искусственного интеллекта будут развиваться. С комплексной библиотекой передовых атак, разработанных нашей командой исследований и разработок, Mindgard поддерживает многомодальную красную команду в области искусственного интеллекта, охватывая как традиционные, так и генеративные модели. Наша платформа решает ключевые риски для конфиденциальности, целостности, злоупотребления и доступности, обеспечивая, чтобы предприятия были оснащены для эффективной защиты своих систем искусственного интеллекта.

Как вы видите, как ваш продукт вписывается в конвейер MLOps для предприятий, развертывающих искусственный интеллект в крупном масштабе?

Mindgard предназначена для бесшовной интеграции в существующую автоматизацию CI/CD и все этапы SDLC, требуя только точки входа или API для интеграции модели. Наше решение сегодня выполняет динамическое тестирование безопасности приложений для моделей искусственного интеллекта (DAST-AI). Оно позволяет нашим клиентам выполнять непрерывное тестирование безопасности на всех своих моделях искусственного интеллекта на протяжении всего жизненного цикла построения и покупки. Для предприятий оно используется несколькими пользователями. Команды безопасности используют его для получения видимости и быстрого реагирования на риски от разработчиков, строящих и использующих искусственный интеллект, для тестирования и оценки решений безопасности и веб-приложений, а также для оценки рисков между адаптированными моделями искусственного интеллекта и базовыми моделями. Специалисты по тестированию на проникновение и аналитики безопасности используют Mindgard для масштабирования своих усилий по красной команде в области искусственного интеллекта, а разработчики получают выгоду от интегрированного непрерывного тестирования своих развертываний искусственного интеллекта.

Благодарим за отличное интервью, читатели, которые хотят узнать больше, должны посетить Mindgard.