Как провести аудит ИИ в 2023 году

Аудит ИИ относится к оценке систем ИИ, чтобы обеспечить их работу без предвзятости или дискриминации и соответствия этическим и правовым стандартам. ИИ пережил экспоненциальный рост в последнее десятилетие. Следовательно, риски, связанные с ИИ, стали проблемой для организаций. Как сказал Илон Маск:

“ИИ – редкий случай, когда, по моему мнению, нам нужно быть проактивными в регулировании, а не реагировать.”

Организации должны разработать управление, оценку рисков и стратегии контроля для сотрудников, работающих с ИИ. Ответственность ИИ становится критической в принятии решений, где ставки высоки, такие как развертывание полиции в одной области и не в другой, прием и отклонение кандидатов.

Эта статья представляет обзор аудита ИИ, рамок и регулирования для аудита ИИ, а также контрольный список для аудита приложений ИИ.

Факторы, которые необходимо учитывать

• Соответствие: Оценка рисков, связанных с соблюдением системы ИИ правовых, нормативных, этических и социальных требований.
• Технология: Оценка рисков, связанных с техническими возможностями, включая машинное обучение, стандарты безопасности и производительность модели.

Проблемы аудита систем ИИ

• Предвзятость: Системы ИИ могут усилить предвзятости в данных, на которых они обучены, и принимать несправедливые решения. Признавая эту проблему, исследовательский институт в Стэнфордском университете, Human Centered AI (HAI), запустил инновационный вызов на 71 000 долларов для разработки лучших аудитов ИИ. Целью этого вызова было запретить дискриминацию в системах ИИ.
• Сложность: Системы ИИ, особенно те, которые используют глубокое обучение, сложны и лишены интерпретируемости.

Существующие регулирования и рамки для аудита ИИ

Регулирования и рамки действуют как северная звезда для аудита ИИ. Некоторые важные рамки и регулирования для аудита обсуждаются ниже.

Рамки аудита

1. Рамка COBIT (Контрольные цели информации и связанной технологии): Это рамка для управления ИТ и управления предприятием.
2. Рамка аудита ИИ IIA (Институт внутренних аудиторов): Эта рамка ИИ направлена на оценку проектирования, разработки и функционирования систем ИИ и их соответствия целям организации. Три основных компонента рамки аудита ИИ IIA – это Стратегия, Управление и Человеческий фактор. Она имеет семь элементов, которые следующие:

• Киберустойчивость
• Компетенции ИИ
• Качество данных
• Архитектура и инфраструктура данных
• Измерение производительности
• Этика
• Черный ящик

3. Рамка COSO ERM: Эта рамка предоставляет рамку ссылки для оценки рисков систем ИИ в организации. Она имеет пять компонентов для внутреннего аудита:

• Внутренняя среда: Обеспечение того, что управление и управление организацией управляют рисками ИИ
• Установление целей: Сотрудничество с заинтересованными сторонами для разработки стратегии риска
• Идентификация событий: Идентификация рисков в системах ИИ, таких как непредвиденные предвзятости, нарушения данных
• Оценка рисков: Какой будет влияние риска?
• Ответ на риск: Как организация будет реагировать на ситуации риска, такие как субоптимальное качество данных?

Регулирования

Общий регламент по защите данных (GDPR) – это закон в регламенте ЕС, который налагает обязанности на организации использовать личные данные. Он имеет семь принципов:

• Законность, справедливость и прозрачность: Обработка личных данных должна соответствовать закону
• Ограничение цели: Использование данных только для конкретной цели
• Минимизация данных: Личные данные должны быть адекватными и ограниченными
• Точность: Данные должны быть точными и актуальными
• Ограничение хранения: Не храните личные данные, которые больше не требуются
• Целостность и конфиденциальность: Личные данные должны обрабатываться безопасно
• Ответственность: Контролер обрабатывает данные ответственно, следуя требованиям

Другие регулирования включают CCPA и PIPEDA.

Контрольный список для аудита ИИ

Источники данных

Идентификация и проверка источников данных является первоочередным соображением при аудите систем ИИ. Аудиторы проверяют качество данных и возможность использования данных компанией.

Кросс-валидация

Обеспечение того, что модель правильно кросс-валидирована, является одним из контрольных списков аудиторов. Данные валидации не должны использоваться для обучения, и методы валидации должны обеспечивать обобщаемость модели.

Безопасное хостинг

В некоторых случаях системы ИИ используют личные данные. Важно оценить, соответствует ли хостинг или облачные услуги требованиям безопасности, таким как рекомендации OWASP (Открытый веб-проект безопасности).

Интерпретируемый ИИ

Интерпретируемый ИИ относится к интерпретации и пониманию решений, принимаемых системой ИИ, и факторов, влияющих на них. Аудиторы проверяют, достаточно ли модели интерпретируемы с помощью методов, таких как LIME и SHAP.

Выходные данные модели

Справедливость – первое, что аудиторы обеспечивают в выходных данных модели. Выходные данные модели должны оставаться последовательными, когда меняются переменные, такие как пол, раса или религия. Кроме того, оценивается качество прогнозов с помощью соответствующего метода оценки.

Социальная обратная связь

Аудит ИИ – это непрерывный процесс. Как только он развернут, аудиторы должны увидеть социальное влияние системы ИИ. Система ИИ и стратегия риска должны быть изменены и проаудитированы соответственно на основе обратной связи, использования, последствий и влияния, положительного или отрицательного.

Компании, которые проводят аудит ИИ и приложений

Пять основных компаний, которые проводят аудит ИИ, следующие:

• Deloitte: Deloitte – это крупнейшая компания профессиональных услуг в мире и предоставляет услуги, связанные с аудитом, налогообложением и финансовым консалтингом. Deloitte использует RPA, ИИ и аналитику, чтобы помочь организациям в оценке рисков их систем ИИ.
• PwC: PwC – это вторая по величине профессиональная сеть услуг по доходу. Они разработали методологии аудита, чтобы помочь организациям обеспечить подотчетность, надежность и прозрачность.
• EY: В 2022 году EY объявила об инвестициях в размере 1 миллиарда долларов в платформу технологий, оснащенную ИИ, для предоставления высококачественных услуг аудита. Компании, которые движимы ИИ, хорошо осведомлены об аудите систем ИИ.
• KPMG: KPMG – это четвертая по величине компания, предоставляющая услуги по бухгалтерскому учету. KPMG предоставляет индивидуальные услуги в области управления ИИ, оценки рисков и контроля.
• Grant Thronton: Они помогают клиентам управлять рисками, связанными с развертыванием ИИ и соблюдением этики и регулирования ИИ.

Преимущества аудита систем ИИ

• Управление рисками: Аудит предотвращает или смягчает риски, связанные с системами ИИ.
• Прозрачность: Аудит обеспечивает, что приложения ИИ свободны от предвзятости и дискриминации.
• Соответствие: Аудит приложений ИИ означает, что система соответствует правовым и нормативным требованиям.

Аудит ИИ: Что ждет в будущем

Организации, регулирующие органы и аудиторы должны быть в курсе достижений ИИ, осознавать его потенциальные угрозы и регулярно пересматривать регулирования, рамки и стратегии, чтобы обеспечить справедливое, безрисковое и этическое использование.

В 2021 году 193 государства-члена ЮНЕСКО приняли глобальное соглашение об этике ИИ. ИИ – это непрерывно развивающаяся экосистема.

Хотите больше контента, связанного с ИИ? Посетите unite.ai.