Лидеры мнений

Почему каждому предприятию нужен список компонентов ИИ (AI BOM)

Jinsook Han Rajesh Padmakumaran
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыРеестр компонентов ИИ необходим для управления сложными рисками автономных ИИ-систем…
Показать больше
  • Реестр компонентов ИИ необходим для управления сложными рисками автономных ИИ-систем, поскольку они становятся критически важными для бизнеса.
  • Всеобъемлющий реестр компонентов ИИ должен документировать полную экосистему, включая модели, наборы данных, API и уровни управления.
  • Без реестра компонентов ИИ предприятия сталкиваются с регуляторными рисками и не могут отслеживать или исправлять сбои ИИ в масштабе.

Обеспечение безопасности систем ИИ остается одной из самых сложных задач в области корпоративных технологий сегодня. И ставки продолжают расти. Gartner прогнозирует, что 40% корпоративных программных приложений в 2026 году будут включать агентные ИИ, по сравнению с менее чем 5% сегодня. Аналогично, IDC прогнозирует, что 45% взаимодействий с продуктами и услугами ИТ будут использовать агентов в качестве основного интерфейса к 2028 году. Гонка за развертыванием ИИ опережает понимание большинства организаций того, как эти системы на самом деле работают, и с этой спешкой увеличивается риск таких угроз, как отравление моделей, утечка данных, предвзятость и галлюцинации. Чтобы закрыть этот разрыв, предприятиям нужен новый уровень прозрачности: список материалов ИИ (AI BOM).

Аналогично списку материалов программного обеспечения, список материалов ИИ представляет собой всесторонний список того, что входит в каждую модель или решение ИИ в технологическом стеке организации. Он обеспечивает прозрачность во всем предприятии и упрощает аудит и адаптацию при изменении бизнес-условий. Когда организации все больше полагаются на ИИ для автоматизации рабочих процессов и принятия решений, список материалов ИИ обеспечивает необходимую основу для ответственной и безопасной работы ИИ, поддающейся аудиту.

Список материалов ИИ: Стратегический императив для предприятия

Когда ИИ быстро эволюционирует от экспериментальных пилотов к критически важным платформам предприятия, сложность и профиль риска этих систем увеличиваются значительно. Хотя традиционная, более структурированная автоматизация логична, основана на правилах и систематична, агентная автоматизация включает в себя когнитивные процессы. Когда агенты ИИ все чаще берут на себя задачи, требующие творчества, принятия решений и обучения на основе опыта, потенциальный объем автоматизации значительно расширяется. В то же время, в отличие от традиционного программного обеспечения, системы ИИ собираются из множества взаимозависимых компонентов, таких как пользовательский интерфейс, API, шлюзы, модели, наборы данных, подсказки, функции, векторные базы данных, библиотеки и аппаратные ускорители. Чтобы ответственно и масштабно продвигать инициативы ИИ, крайне важно, чтобы организации имели четкое понимание того, что именно входит в системы ИИ и каких изменений каждого отдельного компонента следует ожидать со временем.

Список материалов ИИ обеспечивает именно такой уровень видимости. Это структурированный инвентарь, который захватывает каждый компонент, зависимость и взаимодействие на протяжении всего жизненного цикла ИИ. Помимо моделей и наборов данных, эффективный список материалов ИИ включает подробную информацию о полной экосистеме, которая обеспечивает работу приложения ИИ:

  • Пользовательские интерфейсы (UI) такие как экраны чата, порталы, панели управления и контрольные панели, где люди взаимодействуют с ИИ.
  • API и интеграции включая REST, GraphQL, вебхуки и системные коннекторы, которые позволяют ИИ взаимодействовать с корпоративными приложениями.
  • Среда выполнения и размещения где развертывается ИИ (Docker, Kubernetes, AWS Bedrock, Azure OpenAI и локальная инфраструктура) и используются вычислительные ресурсы (CPU, GPU и память).
  • Фреймворк выполнения и оркестровки включая инструменты такие как LangChain, Semantic Kernel, Autogen, NVIDIA NeMo и CrewAI, которые управляют подсказками, потоками, вызовами инструментов и поведением агентов.
  • Слои безопасности и управления такие как роли IAM, контроли токенов, шифрование, ведение журналов, аудиты и политики использования.
  • Наблюдаемость и мониторинг включая отслеживание затрат, задержки, дрейфа, производительности, использования и рисков во времени.

Эти элементы объединяются в полную и динамическую карту, которая раскрывает не только что содержит ваша система ИИ, но и откуда она взята, как она себя ведет, кто ее использует, где она работает и как ею управляют. Другими словами, список материалов ИИ служит единственным источником истины, который начинается как технический документ и развивается в документ для подтверждения надежности бизнеса и нормативных целей.

Когда список материалов ИИ автоматизируется, он больше не является только инженерным активом, но и регуляторным требованием,основой системы безопасности и построителем доверия предприятия. Он обеспечивает полную прозрачность каждой модели, набора данных, инструмента и зависимости, обеспечивает воспроизводимость через точную конфигурацию и снимки среды, и устанавливает управление и подотчетность, отслеживая происхождение моделей, версии и пути принятия решений. Он укрепляет безопасность, выявляя уязвимости во входных данных, зависимостях и артефактах моделей, а также поддерживает глобальные нормативные рамки через задокументированную объяснимость, справедливость и контроль рисков. Кроме того, он повышает возможность аудита, сохраняя неизменные, комплексные записи изменений системы, дрейфа производительности и поведения моделей во времени.

Подход предприятия к жизненному циклу списка материалов ИИ: от статического инвентаря к живой системе управления

Большинство рамок списка материалов ИИ фокусируются на документировании моделей и наборов данных. Но передовые предприятия в эпоху агентного ИИ нуждаются в том, чтобы их список материалов ИИ был живым, оперативным и постоянно управляемым цифровым активом – не только статическим документом соответствия. И самые эффективные организации обеспечивают, чтобы их список материалов ИИ эволюционировал вместе с их экосистемой ИИ. Лучший подход охватывает стратегию, инженерию, управление и управление рисками, делая его технически полным и организационно действенным.

Зрелый жизненный цикл корпоративного списка компонентов ИИ должен включать пять основных этапов:

  1. Обнаружить и определить: Определить и классифицировать все компоненты ИИ, включая модели, наборы данных, инструменты, подсказки, API, активы инфраструктуры и среды выполнения. Установить видимость, объем и границы владения.
  2. Управлять и стандартизировать: Определить форматы метаданных, структуры версионирования, стандарты документации и роли владения. Настроить централизованный репозиторий списка материалов ИИ, соответствующий требованиям управления, соответствия и безопасности.
  3. Базовый список материалов ИИ: Обратное проектирование и документирование существующих систем ИИ, с фиксацией зависимостей, происхождения и движения данных, происхождения моделей, сред выполнения и закономерностей использования. Установить первоначальный “источник истины” для активов ИИ.
  4. Автоматизировать и интегрировать: Встроить генерацию и обновление списка материалов ИИ в рабочие процессы CI/CD, DevOps и MLOps. Включить автоматическое отслеживание изменений моделей, обновлений наборов данных, зависимостей и индикаторов рисков на протяжении всего жизненного цикла.
  5. Мониторить и улучшать: Постоянно мониторить системы ИИ на предмет дрейфа, ухудшения производительности, предвзятости, затрат, использования, уязвимостей безопасности и зрелости соответствия. Включить оповещения, отчеты управления и циклы непрерывного улучшения. 

Цена отказа от внедрения списка материалов ИИ

Игнорирование необходимости списка материалов ИИ не является только пробелом в управлении – это бизнес-риск. Без знания того, на чем построены ваши системы ИИ, откуда взялись модели и данные или как они себя ведут со временем, организации подвергаются риску нормативной экспозиции и ИИ, который не может масштабироваться. Важно отметить, что по мере созревания нормативной среды – включая закон ЕС об ИИ, ISO 42001 и рамки NIST, вступающие в силу – компании будут нуждаться в доказательстве происхождения ИИ, объяснимости и контроля. Без списка материалов ИИ становится крайне трудно – часто невозможно – продемонстрировать соответствие.

Помимо нормативных проблем, существуют риски безопасности и репутации. Скрытые компоненты, неверифицированные модели или неконтролируемые подсказки могут привести к утечке данных, предвзятости, галлюцинациям или даже компрометированному поведению ИИ. И когда что-то идет не так, отсутствующий список материалов ИИ часто означает, что вы не можете его отследить или исправить. Управление на скорости ИИ фундаментально отличается от традиционного управления ИТ. Оно требует постоянного мониторинга безопасности, объяснимости и соответствия, поскольку возможности развиваются в реальном времени.

Чтобы просто сказать, поскольку компании все больше стремятся увидеть ROI от своих инвестиций в ИИ, без списка материалов ИИ организации тратят больше времени на устранение неполадок, повторную валидацию, повторное обучение моделей или перестроение решений ИИ – потому что нет единого источника истины. Когда это происходит, невозможно с уверенностью развертывать ИИ на протяжении всех бизнес-единиц, отраслей или рынков, не зная, какие активы вы развертываете, как они эволюционируют и как они управляются.

Вопрос больше не звучит как “У нас есть ИИ?” Теперь это “Знаем ли мы, на чем построен наш ИИ, и можем ли мы ему доверять в масштабе?” Список материалов ИИ обеспечивает ту ясность, которая необходима предприятиям для получения долгосрочной ценности.

Джинсук Хан — директор по стратегии, корпоративному развитию и агентному ИИ в Genpact, где она помогает формировать, продвигать и реализовывать видение компании в области агентного ИИ. До прихода в Genpact она занимала руководящие должности в McKinsey, AIG и Accenture.

Раджеш Падмакумаран возглавляет команду Assets & Innovation в Genpact, разрабатывая ускорители SDLC на основе ИИ и платформы модернизации для глобальных предприятий. Он является архитектором модернизации и Docker Captain с более чем 20-летним опытом проектирования корпоративных платформ ИИ, приложений и решений для трансформации с использованием облачно-нативных технологий.