Почему управление ИИ постоянно терпит неудачи

Проблема не в том, что организации не имеют политики ИИ. Проблема в том, что эти политики не делают ничего.

Где-то между аккуратно отформатированным PDF и развернутой моделью намерение испаряется. Команды импровизируют. Исключения накапливаются. Управление деградирует от системы до переговоров — и в регулируемых отраслях, таких как здравоохранение и науки о жизни, этот разрыв не только смущает. Это операционная ответственность.

Исправление не в большем количестве документации. Оно заключается в том, чтобы относиться к управлению как к программному обеспечению.

Провал управления уже измерим

Внедрение ИИ ускорилось, а инфраструктура управления не поспевает за ним. Исследование Ernst & Young от сентября 2025 года показало, что только 10% компаний полностью готовы к аудиту систем ИИ. В то же время новое исследование Ponemon показало, что 92% организаций заявили, что генеративный ИИ изменил способ, которым сотрудники получают и делятся информацией, но только 18% полностью интегрировали управление ИИ в программы внутренних рисков.

Паттерн последовательный: ИИ уже встроен в повседневную работу. Надзор все еще отстает. И чем дольше управление остается в документальной форме, тем хуже становится этот разрыв.

Управление, которое доставляет

Концепция проста: если требование управления не может провалить сборку, оно не может защитить производство.

Настоящее управление имеет входные данные, выходные данные, точки принудительного выполнения и наблюдаемые результаты. Оно работает непрерывно — не раз в квартал. И, что важно, оно производит доказательства в качестве побочного продукта выполнения работы, а не как отдельный ритуал соблюдения требований, прикрепленный позже.

Модель работы выглядит следующим образом:

Политика → Контроли → Доказательства → Метрики

Политики определяют намерение. Контроли обеспечивают поведение. Доказательства подтверждают выполнение. Метрики подтверждают результаты. Это не новая идея — это именно так, как уже работают зрелые системы безопасности и соблюдения требований. Сдвиг заключается в применении той же логики к ИИ.

Контроли не являются предложениями. Доказательства не являются документацией. И если контроль требует ручных усилий для производства доказательств, это не контроль. Это надежда.

Уровни риска, а не театр риска

Не каждая система ИИ заслуживает одинакового внимания. Относиться к низкорисковому внутреннему инструменту с той же строгостью, что и к модели поддержки принятия клинических решений, — это то, как организации либо останавливаются, либо подвергаются ненужному риску.

Фреймворк управления рисками ИИ NIST, выпущенный в 2023 году, предоставляет основную структуру для思考 об этом — сопоставление рисков ИИ по четырем функциям: Управлять, Картировать, Измерять и Управлять. Функциональная модель корпоративного управления строится на этой логике с практическими уровнями риска:

Это дает командам инженеров то, что они редко получают от процессов управления: ясность. Не “что мы должны делать?”, а “какой уровень риска у этого, и что это вызывает?”

Хорошее управление удаляет двусмысленность. Отличное управление удаляет споры.

Политика в виде кода: от консультативной к исполняемой

Политики, написанные в документах, являются консультативными. Политики, закодированные в конвейерах, являются исполняемыми.

Так же, как инфраструктура проверяется перед развертыванием, системы ИИ могут быть ограничены автоматическими проверками, которые подтверждают, зарегистрирован ли случай использования, существует ли необходимая документация, соответствуют ли результаты оценки определенным порогам, и следует ли доступ к чувствительным данным принципу наименьших привилегий. Эти проверки выполняются в CI/CD. Они не ждут комитета. Они не зависят от чьей-то памяти или доброй воли.

Open Policy Agent — проект Cloud Native Computing Foundation — демонстрирует, как правила могут быть версионированы, рассмотрены и последовательно применены в экосистемах инженерии. Паттерн понятен. Разрыв в том, что команды ИИ не применяют его.

Самая безопасная система ИИ не та, у которой лучшие политики. Это та, которая технически не может их нарушить.

Контроли, специфичные для LLM: где все становится интересным

Генеративный ИИ вводит категорию риска, для которой традиционные фреймворки управления не были разработаны — внедрение подсказок, манипуляция выводом, неправильное использование инструментов. Это не пограничные случаи. Это структурные свойства того, как работают LLM, и, как Unite.AI сообщил о управлении агентными ИИ, разрыв управления становится еще более выраженным, когда системы ИИ переходят от ответов на вопросы к принятию действий.

Эффективное управление системами GenAI требует контролей, построенных специально для поведения LLM: строгого разделения системных инструкций и ввода пользователя, контроля доступа к инструментам и разрешенных списков, проверки вывода перед выполнением, мер против эксплуатации данных и безопасных настроек по умолчанию для плавной неудачи.

Это напрямую соответствует задокументированным классам уязвимостей в OWASP Top 10 для приложений LLM — сообществом, управляемом фреймворком, который сейчас охватывает более 600 экспертов из 18 стран. Управление LLM менее связано с тем, что знает модель, и более связано с тем, что система позволяет ей делать.

Доказательства — это инфраструктура, а не бумаги

Аудиторы не доверяют намерениям. Они доверяют записям.

В системе, где управление доставляет, доказательства генерируются автоматически: карточки модели, описывающие предполагаемое использование и ограничения, документация данных, охватывающая происхождение, отчеты об оценке, показывающие производительность и известные риски, журналы, фиксирующие решения и изменения. Эти артефакты не существуют для аудитов. Они существуют, потому что система требует их для функционирования.

Самая сильная позиция аудита — когда доказательства уже существуют до того, как кто-то их попросит. Это не теоретически — регулирующие органы уже движутся в этом направлении. Как недавний анализ обоснованного управления ИИ отметил, вопросы, которые регулирующие органы скоро зададут, больше не только “вы сохранили ли это?” но и “можете ли вы доказать, что произошло, под какой политикой, с использованием каких данных и с чьей властью?”

Настоящий аргумент: управление как ускоритель

Устойчивый миф в том, что управление и скорость находятся в оппозиции. На практике плохо спроектированное управление замедляет команды. Хорошо спроектированное управление удаляет трение.

Когда контроли стандартизированы, проверки автоматизированы, и ожидания закодированы, команды перестают вести переговоры и начинают строить. Релизы становятся более предсказуемыми. Решения перестают требовать героических усилий от небольшой группы специалистов, которые запомнили документы по политике.

Управление масштабируется, когда оно является инфраструктурой. Оно не масштабируется, когда оно является настроением.

Цель никогда не была контролем ради самого себя. Это импульс без хаоса — и организации, которые делают это правильно, не те, у которых самый тщательный PDF. Это те, кто сделал правильное поведение самым легким путем.