Раскрытие приватных бэкдоров: как предобученные модели могут украсть ваши данные и что вы можете сделать об этом

В эпоху, когда ИИ управляет всем, от виртуальных помощников до персонализированных рекомендаций, предобученные модели стали неотъемлемой частью многих приложений. Возможность делиться и дообучать эти модели преобразила разработку ИИ, ermögливая быстрое прототипирование, содействуя совместной инновации и делая передовую технологию более доступной для всех. Платформы, такие как Hugging Face, теперь хостят почти 500 000 моделей от компаний, исследователей и пользователей, поддерживая это обширное деление и совершенствование. Однако, поскольку эта тенденция растет, она приносит новые проблемы безопасности, особенно в виде атак на цепочку поставок. Понимание этих рисков имеет решающее значение для обеспечения того, чтобы технологии, на которые мы полагаемся, продолжали служить нам безопасно и ответственно. В этой статье мы рассмотрим растущую угрозу атак на цепочку поставок, известных как приватные бэкдоры.

Навигация в цепочке поставок разработки ИИ

В этой статье мы используем термин “цепочка поставок разработки ИИ” для описания всего процесса разработки, распространения и использования моделей ИИ. Это включает несколько фаз, таких как:

1. Разработка предобученных моделей: Предобученная модель – это модель ИИ, первоначально обученная на большом, разнообразном наборе данных. Она служит основой для новых задач путем дообучения на конкретных, меньших наборах данных. Процесс начинается с сбора и подготовки сырых данных, которые затем очищаются и организуются для обучения. Как только данные готовы, модель обучается на них. Этот этап требует значительной вычислительной мощности и экспертизы для обеспечения того, чтобы модель эффективно училась на данных.
2. Обмен и распространение моделей: Как только предобучены, модели часто делятся на платформах, таких как Hugging Face, где другие могут скачать и использовать их. Это деление может включать сырую модель, дообученные версии или даже веса и архитектуру моделей.
3. Дообучение и адаптация: Чтобы разработать приложение ИИ, пользователи обычно скачивают предобученную модель и затем дообучают ее с помощью своих конкретных наборов данных. Это задача включает в себя повторное обучение модели на меньшем, задаче-специфическом наборе данных для улучшения ее эффективности для целевой задачи.
4. Развертывание: На последнем этапе модели развертываются в реальных приложениях, где они используются в различных системах и сервисах.

Понимание атак на цепочку поставок в ИИ

Атака на цепочку поставок – это тип кибератаки, при котором преступники эксплуатируют более слабые точки в цепочке поставок, чтобы нарушить более безопасную организацию. Вместо прямой атаки на компанию, нападатели компрометируют третьего поставщика или провайдера услуг, от которого зависит компания. Это часто дает им доступ к данным, системам или инфраструктуре компании с меньшим сопротивлением. Эти атаки особенно вредны, поскольку они эксплуатируют доверительные отношения, что делает их более трудными для обнаружения и защиты.

В контексте ИИ атака на цепочку поставок включает любое злонамеренное вмешательство в уязвимые точки, такие как обмен моделями, распространение, дообучение и развертывание. Когда модели делятся или распространяются, риск взлома увеличивается, и нападатели потенциально могут внедрить вредоносный код или создать бэкдоры. Во время дообучения интеграция проприетарных данных может ввести новые уязвимости, влияя на надежность модели. Наконец, при развертывании нападатели могут нацеливаться на среду, где модель реализуется, потенциально изменяя ее поведение или извлекая конфиденциальную информацию. Эти атаки представляют значительные риски на протяжении всей цепочки поставок разработки ИИ и могут быть особенно трудными для обнаружения.

Приватные бэкдоры

Приватные бэкдоры – это тип атаки на цепочку поставок ИИ, при котором скрытые уязвимости внедряются в модели ИИ, позволяя получить несанкционированный доступ к конфиденциальным данным или внутренней работе модели. В отличие от традиционных бэкдоров, которые вызывают неправильную классификацию входных данных ИИ, приватные бэкдоры приводят к утечке конфиденциальных данных. Эти бэкдоры могут быть внедрены на различных этапах цепочки поставок ИИ, но они часто внедряются в предобученные модели из-за легкости обмена и распространения. Как только приватный бэкдор установлен, его можно эксплуатировать для секретного сбора конфиденциальной информации, обрабатываемой моделью ИИ, такой как пользовательские данные, проприетарные алгоритмы или другие конфиденциальные детали. Этот тип нарушения особенно опасен, поскольку он может оставаться незамеченным в течение длительного времени, компрометируя конфиденциальность и безопасность без знания затронутой организации или ее пользователей.

• Приватные бэкдоры для кражи данных: В этом типе атаки бэкдора злонамеренный поставщик предобученной модели изменяет веса модели, чтобы компрометировать конфиденциальность любых данных, используемых во время будущего дообучения. Внедряя бэкдор во время первоначального обучения модели, нападатель устанавливает “ловушки для данных”, которые тихо захватывают конкретные данные во время дообучения. Когда пользователи дообучают модель с помощью своих конфиденциальных данных, эта информация хранится в параметрах модели. Позже нападатель может использовать определенные входные данные, чтобы вызвать выпуск этой захваченной информации, позволяя ему получить доступ к конфиденциальным данным, внедренным в веса дообученной модели. Этот метод позволяет нападателю извлечь конфиденциальные данные без поднятия красных флагов.

• Приватные бэкдоры для отравления модели: В этом типе атаки предобученная модель нацеливается для включения атаки на определение членства, где нападатель стремится изменить статус членства определенных входных данных. Это можно сделать с помощью техники отравления, которая увеличивает потерю на этих целевых данных. Внедряя эти точки, они могут быть исключены из процесса дообучения, вызывая у модели более высокую потерю на них во время тестирования. Когда модель дообучается, она укрепляет свою память о данных, на которых она была обучена, постепенно забывая те, которые были отравлены, что приводит к заметным различиям в потере. Атака выполняется путем обучения предобученной модели на смеси чистых и отравленных данных, с целью манипулирования потерями, чтобы подчеркнуть расхождения между включенными и исключенными данными.

Предотвращение приватных бэкдоров и атак на цепочку поставок

Некоторые из ключевых мер для предотвращения приватных бэкдоров и атак на цепочку поставок следующие:

• Аутентичность и целостность источника: Всегда скачивайте предобученные модели из авторитетных источников, таких как хорошо известные платформы и организации с строгими политиками безопасности. Кроме того, реализуйте криптографические проверки, такие как проверка хэшей, чтобы подтвердить, что модель не была изменена во время распространения.
• Регулярные аудиты и дифференциальное тестирование: Регулярно проводите аудиты как кода, так и моделей, обращая особое внимание на любые необычные или неавторизованные изменения. Кроме того, выполняйте дифференциальное тестирование, сравнивая производительность и поведение скачанной модели с известной чистой версией, чтобы выявить любые расхождения, которые могут указывать на бэкдор.
• Мониторинг и ведение журнала модели: Реализуйте системы реального времени для отслеживания поведения модели после развертывания. Аномальное поведение может указывать на активацию бэкдора. Ведите подробные журналы всех входных, выходных и взаимодействий модели. Эти журналы могут быть важными для судебного анализа, если бэкдор подозревается.
• Регулярные обновления модели: Регулярно переобучайте модели с помощью обновленных данных и патчей безопасности, чтобы снизить риск эксплуатации скрытых бэкдоров.

Основная мысль

Когда ИИ становится более глубоко интегрированным в нашу повседневную жизнь, защита цепочки поставок разработки ИИ имеет решающее значение. Предобученные модели, хотя и делают ИИ более доступным и универсальным, также вводят потенциальные риски, включая атаки на цепочку поставок и приватные бэкдоры. Эти уязвимости могут раскрыть конфиденциальные данные и общую целостность систем ИИ. Чтобы смягчить эти риски, важно проверять источники предобученных моделей, проводить регулярные аудиты, отслеживать поведение модели и поддерживать модели в актуальном состоянии. Бдительность и принятие этих профилактических мер могут помочь обеспечить, чтобы технологии ИИ, которые мы используем, оставались безопасными и надежными.