Как провести аудит ИИ в 2023 году

Аудит ИИ относится к оценке систем ИИ, чтобы đảmить, что они работают как ожидается, без предвзятости или дискриминации и соответствуют этическим и правовым стандартам. ИИ пережил экспоненциальный рост в последнее десятилетие. Следовательно, риски, связанные с ИИ, стали проблемой для организаций. Как сказал Илон Маск:

“ИИ – это редкий случай, когда, по моему мнению, нам нужно быть активными в регулировании, а не реактивными.”

Организациям необходимо разработать управление, оценку рисков и стратегии контроля для сотрудников, работающих с ИИ. Ответственность ИИ становится критической в процессе принятия решений, где ставки высоки, такие как развертывание полиции в одной области и не в другой, прием и отклонение кандидатов.

Эта статья представит обзор аудита ИИ, рамок и регулирования для аудита ИИ, а также контрольный список для аудита приложений ИИ.

Факторы, которые необходимо учитывать

• Соответствие: Оценка рисков, связанных с соблюдением системы ИИ законов, правил, этических и социальных норм.
• Технология: Оценка рисков, связанных с техническими возможностями, включая машинное обучение, стандарты безопасности и производительность модели.

Проблемы аудита систем ИИ

• Предвзятость: Системы ИИ могут усиливать предвзятости в данных, на которых они обучены, и принимать несправедливые решения. Признавая эту проблему, исследовательский институт Стэнфордского университета Human Centered AI (HAI) запустил инновационный вызов на 71 000 долларов для разработки лучших аудитов ИИ. Целью этого вызова было запретить дискриминацию в системах ИИ.
• Сложность: Системы ИИ, особенно те, которые используют глубокое обучение, сложны и не интерпретируемы.

Существующие регулирования и рамки для аудита ИИ

Регулирования и рамки служат ориентиром для аудита ИИ. Некоторые важные рамки и регулирования для аудита обсуждаются ниже.

Рамки аудита

1. Рамка COBIT (Контрольные цели для информационных технологий и связанных с ними технологий): Это рамка для управления ИТ и управления предприятием.
2. Рамка аудита ИИ Института внутренних аудиторов (IIA): Эта рамка ИИ направлена на оценку проектирования, разработки и функционирования систем ИИ и их соответствия целям организации. Три основных компонента рамки аудита ИИ IIA – это Стратегия, Управление и Человеческий фактор. У нее семь элементов, которые следующие:

• Киберустойчивость
• Компетенции ИИ
• Качество данных
• Архитектура и инфраструктура данных
• Измерение производительности
• Этика
• Черный ящик

3. Рамка COSO ERM: Эта рамка предоставляет рамку ссылки для оценки рисков систем ИИ в организации. У нее пять компонентов для внутреннего аудита:

• Внутренняя среда: Обеспечение того, что управление и управление организацией управляют рисками ИИ
• Установление целей: Сотрудничество со стейкхолдерами для разработки стратегии риска
• Идентификация событий: Идентификация рисков в системах ИИ, таких как непреднамеренные предвзятости, нарушения данных
• Оценка рисков: Какой будет воздействие риска?
• Ответ на риск: Как организация будет реагировать на ситуации с рисками, такие как субоптимальное качество данных?

Регулирования

Общий регламент по защите данных (GDPR) – это закон в регламенте ЕС, который налагает на организации обязанности использовать персональные данные. У него семь принципов:

• Законность, справедливость и прозрачность: Обработка персональных данных должна соответствовать закону
• Ограничение цели: Использование данных только для конкретной цели
• Минимизация данных: Персональные данные должны быть адекватными и ограниченными
• Точность: Данные должны быть точными и актуальными
• Ограничение хранения: Не храните персональные данные, которые больше не нужны
• Целостность и конфиденциальность: Персональные данные должны обрабатываться безопасно
• Ответственность: Контролер должен обрабатывать данные ответственно, следуя соответствующим правилам

Другие регулирования включают CCPA и PIPEDA.

Контрольный список для аудита ИИ

Источники данных

Идентификация и проверка источников данных является основным соображением при аудите систем ИИ. Аудиторы проверяют качество данных и возможность использования данных компанией.

Кросс-валидация

Обеспечение того, что модель правильно кросс-валидирована, является одним из пунктов контрольного списка аудиторов. Данные валидации не должны использоваться для обучения, и методы валидации должны обеспечивать обобщаемость модели.

Безопасное хостинг

В некоторых случаях системы ИИ используют персональные данные. Важно оценить, соответствует ли хостинг или облачная служба требованиям безопасности, таким как руководящие принципы OWASP (Открытый веб-проект безопасности приложений).

Интерпретируемый ИИ

Интерпретируемый ИИ относится к интерпретации и пониманию решений, принимаемых системой ИИ, и факторов, влияющих на них. Аудиторы проверяют, достаточно ли модель интерпретируема с помощью методов, таких как LIME и SHAP.

Выходные данные модели

Справедливость является первым, что аудиторы обеспечивают в выходных данных модели. Выходные данные модели должны оставаться последовательными, когда меняются переменные, такие как пол, раса или религия. Кроме того, оценивается качество прогнозов с помощью соответствующего метода оценки.

Социальная обратная связь

Аудит ИИ – это непрерывный процесс. После развертывания аудиторы должны учитывать социальное воздействие системы ИИ. Система ИИ и стратегия риска должны быть изменены и проаудитированы соответственно на основе обратной связи, использования, последствий и влияния, будь то положительное или отрицательное.

Компании, которые аудитируют конвейеры и приложения ИИ

Пять крупных компаний, которые аудитируют ИИ, следующие:

• Deloitte: Deloitte – это крупнейшая профессиональная услуговая фирма в мире и предоставляет услуги, связанные с аудитом, налогообложением и финансовым консалтингом. Deloitte использует RPA, ИИ и аналитику, чтобы помочь организациям в оценке рисков их систем ИИ.
• PwC: PwC – это вторая по величине профессиональная услуговая сеть по выручке. Они разработали методологии аудита, чтобы помочь организациям обеспечить подотчетность, надежность и прозрачность.
• EY: В 2022 году EY объявила об инвестициях в размере 1 миллиарда долларов в платформу, оснащенную ИИ, для предоставления высококачественных услуг аудита. Компании, которые управляются ИИ, хорошо осведомлены об аудите систем ИИ.
• KPMG: KPMG – это четвертая по величине фирма, предоставляющая услуги по учету. KPMG предоставляет индивидуальные услуги в области управления ИИ, оценки рисков и контроля.
• Grant Thronton: Они помогают клиентам управлять рисками, связанными с развертыванием ИИ и соблюдением этики и регулирования ИИ.

Преимущества аудита систем ИИ

• Управление рисками: Аудит предотвращает или смягчает риски, связанные с системами ИИ.
• Прозрачность: Аудит обеспечивает, что приложения ИИ свободны от предвзятости и дискриминации.
• Соответствие: Аудит приложений ИИ означает, что система соответствует юридическим и регулирующим требованиям.

Аудит ИИ: Что ждет в будущем

Организациям, регулирующим органам и аудиторам необходимо быть в курсе достижений в области ИИ, осознавать потенциальные угрозы и регулярно пересматривать регулирования, рамки и стратегии, чтобы обеспечить справедливое, безрисковое и этическое использование.

В 2021 году 193 государства-члена ЮНЕСКО приняли глобальное соглашение об этике ИИ. ИИ – это непрерывно развивающаяся экосистема.

Хотите больше контента, связанного с ИИ? Посетите unite.ai.