Мнение
ИИ приходит на наши компьютеры — но кто контролирует, что он может видеть?

Ключевые моментыЛокальная обработка ИИ не гарантирует автоматически конфиденциальность или безопасность…
Показать больше
- Локальная обработка ИИ не гарантирует автоматически конфиденциальность или безопасность для агентов на устройстве.
- Агенты должны работать в режиме наименьших привилегий, ограниченном тем, что требует каждый конкретный рабочий процесс.
- Пользователям нужен прозрачный и отзываемый контроль над тем, что агенты могут видеть и делать.
ИИ-агенты начинают выходить за пределы чат-окон и внедряться в операционные системы, приложения и файлы, которыми люди пользуются каждый день.
Новые компьютеры с Windows и программное обеспечение, выпущенное за последние месяцы, открывают обычным пользователям и корпоративной среде новую эпоху многоэтапных автономных ИИ-сценариев. Этот переход уже не просто прогноз технологического развития.
Компьютеры с Windows на базе RTX от NVIDIA поддерживают локальный запуск ИИ-агентов, а Perplexity расширила возможности своих агентов для совместимых компьютеров с Windows, позволяя выполнять задачи с использованием локальных файлов и подключенных приложений. Тем временем Microsoft разрабатывает меры защиты, которые должны контролировать доступ агентов к ресурсам и их действия.
Однако с ростом автономности растут и риски для безопасности. 19 октября исполнительный вице-президент Microsoft по вопросам безопасности Хайете Галло предупредила, что организациям необходимо лучше защищать «внутренних агентов», отметив, что ИИ-агенты часто получают чрезмерные привилегии и могут обращаться к конфиденциальным данным, инструментам и системам, принимая решения в критически важных процессах.
Стратегия безопасности Windows от Microsoft основана на изоляции, ограничении разрешений и контроля, а также на растущем понимании того, что ошибка агента может повлечь последствия куда серьезнее, чем просто неверный ответ. Агент может раскрыть конфиденциальную информацию, изменить важные файлы или вызвать нежелательные действия в бизнес-приложениях.
Локальный ИИ не означает автоматически, что он защищает конфиденциальность
Использование ИИ-агентов на компьютере может сократить объем конфиденциальных данных, передаваемых облачным сервисам, однако локальная обработка не обеспечивает полной защиты.
Даже модель, работающая на устройстве, может получить доступ к слишком большому числу файлов, быть плохо защищена или иметь небезопасные связи с другими приложениями.
Проблема не всегда заключается в самой модели ИИ; зачастую дело в управлении внутри организации, — заявил Байрон Кинтеро, генеральный директор и соучредитель iData Global, компании, специализирующейся на решениях на основе ИИ в странах Северной и Южной Америки.
Компании могут предоставлять слишком широкий или, наоборот, недостаточный доступ к данным, приложениям и бизнес-процессам, рассказал он Unite AI. Агентам могут выдать права, не соответствующие задачам, которые от них ожидают.
«Задача — обеспечить работу агента по принципу минимальных привилегий, предоставляя ему доступ только к данным, системам и действиям, необходимым для конкретного рабочего процесса», — сказал Кинтеро. Это означает, что доступ следует предоставлять только к данным, системам и действиям, необходимым для определенного рабочего процесса.
Кинтеро назвал важнейшими мерами защиты четкое определение владельцев данных, разграничение доступа на основе ролей и постоянный мониторинг взаимодействия с внутренними и сторонними системами.
Безопасного локального ИИ не существует, подчеркнул Кинтеро.
Чрезмерные разрешения, слабое шифрование, недостаточный мониторинг и небезопасные интеграции могут сделать агента на устройстве таким же рискованным, как облачный, — или даже более рискованным.
Безопасность зависит не только от того, где работает модель системы, но и от того, как система настроена и управляется.
Новая граница — это разрешения
Обычному пользователю важно понять, соответствует ли доступ ИИ-агента выполняемой задаче.
Если агента просят сделать краткое изложение одного документа, ему не нужно сканировать весь диск. Инструмент для сортировки фотографий не должен автоматически читать финансовые данные или иметь возможность отправлять сообщения. Разрешения должны быть строго ограниченными, прозрачными и отзывными.
Модель учетной записи агента и рабочей области в Microsoft — шаг к отделению действий агента от пользовательского сеанса. Однако эти меры защиты должны работать не только в демонстрационной версии.
Рекомендации Microsoft по безопасности агентов в Windows предусматривают получение разрешения пользователя, ведение журналов действий и наличие механизма, ограничивающего доступ агентов необходимым минимумом. Работодателям и разработчикам нужно следить за тем, как агенты реагируют на вводящие в заблуждение инструкции в документах, на веб-сайтах и в сообщениях.
Выполняя разрешенную задачу, агенты могут столкнуться с недоверенным содержимым. Если агент воспримет вредоносный текст как команду, это может создать серьезную проблему безопасности, поскольку информация легко доступна.
Контроль со стороны человека и доступ с минимальными привилегиями должны сочетаться с изоляцией при выполнении чувствительных действий.
У удобства должны быть четкие границы
Оценивать ИИ-компьютер будут не только по объему работы, который агенты способны автоматизировать, но и по тому, насколько пользователи доверяют ему свои личные и рабочие данные.
Локальная обработка может повысить скорость работы агентного ИИ и снизить риск раскрытия некоторых данных, но она не отменяет необходимости в разрешениях и контроле.
Принцип должен быть простым: агенты должны получать доступ только к тому, что необходимо для работы, а пользователи должны иметь возможность понимать, отслеживать и блокировать действия агента.
По мере того как компьютеры все лучше справляются с задачами от нашего имени, контроль нельзя оставлять на потом. Его необходимо закладывать в конструкцию системы.












