Как провести аудит ИИ в 2023 году

Аудит ИИ относится к оценке систем ИИ, чтобы убедиться, что они работают должным образом без смещение или дискриминации и соответствуют этическим и правовым нормам. ИИ испытал экспоненциальный рост в последнее десятилетие. Следовательно, риски, связанные с ИИ, стали проблемой для организаций. Как сказал Илон Маск:

«ИИ — это тот редкий случай, когда я думаю, что нам нужно быть активными в регулировании, а не реагировать».

Организации должны разработать стратегии управления, оценки рисков и контроля для сотрудников, работающих с ИИ. Подотчетность ИИ становится критически важной при принятии решений, когда ставки высоки, например, развертывание полиции в одной области, а не в другой, найм и отклонение кандидатов.

В этой статье будет представлен обзор аудита ИИ, основ и правил аудита ИИ, а также контрольный список для аудита приложений ИИ.

Факторы, которые следует учитывать

• Соответствие: оценка рисков, связанных с соответствием системы ИИ юридическим, нормативным, этическим и социальным соображениям.
• Технология: оценка рисков, связанных с техническими возможностями, включая машинное обучение, стандарты безопасности и производительность модели.

Проблемы аудита систем ИИ

• Предвзятость: системы ИИ могут усиливать предвзятость данных, на которых они обучаются, и принимать несправедливые решения. Признавая эту проблему, исследовательский институт по проблемам исследований Стэнфордского университета, Human Centered AI (HAI), запустил Инновационный вызов стоимостью 71,000 XNUMX долларов США для разработки лучших аудитов ИИ. Цель этого вызова состояла в том, чтобы запретить дискриминацию в системах ИИ.
• Сложность: системы ИИ, особенно использующие глубокое обучение, сложны и не поддаются интерпретации.

Существующие правила и рамки для аудита ИИ

Нормативно-правовые акты а фреймворки служат путеводной звездой для аудита ИИ. Некоторые важные принципы и правила аудита обсуждаются ниже.

Фреймворки аудита

1. Структура COBIT (цели управления информационными и связанными с ними технологиями): это основа для руководства и управления ИТ на предприятии.
2. Структура аудита ИИ IIA (Институт внутренних аудиторов): эта структура ИИ предназначена для оценки проектирования, разработки и работы систем ИИ и их соответствия целям организации. Тремя основными компонентами концепции аудита ИИ IIA являются стратегия, управление и человеческий фактор. Он состоит из семи элементов, которые заключаются в следующем:

• Киберустойчивость
• ИИ-компетенции
• Качество данных
• Архитектура данных и инфраструктура
• Измерение производительности
• Этика
• Черный ящик

3. COSO ERM Framework: эта структура обеспечивает основу для оценки рисков для систем ИИ в организации. Он состоит из пяти компонентов внутреннего аудита:

• Внутренняя среда: обеспечение того, чтобы руководство и руководство Организации управляли рисками ИИ.
• Постановка цели: сотрудничество с заинтересованными сторонами для разработки стратегии управления рисками.
• Идентификация событий: выявление рисков в системах ИИ, таких как непреднамеренные предубеждения, утечка данных.
• Оценка риска: Каково будет влияние риска?
• Реагирование на риски: как организация будет реагировать на ситуации риска, такие как неоптимальное качество данных?

Нормативно-правовые акты

Общий регламент по защите данных (GDPR) — это закон в регламенте ЕС, который налагает на организации обязательства по использованию персональных данных. В нем семь принципов:

• Законность, справедливость и прозрачность: обработка персональных данных должна осуществляться в соответствии с законом
• Ограничение цели: использование данных только для определенной цели
• Минимизация данных: персональные данные должны быть адекватными и ограниченными.
• Точность: данные должны быть точными и актуальными.
• Ограничение хранения: не храните персональные данные, которые больше не требуются.
• Целостность и конфиденциальность: личные данные обрабатывались безопасно
• Ответственность: Контролер ответственно обрабатывает данные в соответствии с требованиями.

Другие правила включают CCPA и ПИПЕДА.

Контрольный список для аудита ИИ

Источники данных

Выявление и проверка источников данных является основным соображением при аудите систем ИИ. Аудиторы проверяют качество данных и возможность их использования компанией.

Перекрестная проверка

Обеспечение надлежащей перекрестной проверки модели является одним из контрольных списков аудиторов. Данные проверки не должны использоваться для обучения, а методы проверки должны обеспечивать обобщаемость модели.

Безопасный хостинг

В некоторых случаях системы ИИ используют персональные данные. Важно оценить, соответствуют ли хостинг или облачные сервисы требованиям информационной безопасности, таким как рекомендации OWASP (Open Web Application Security Project).

Объясняемый ИИ

Объясняемый ИИ относится к интерпретации и пониманию решений, принимаемых системой ИИ, и факторов, влияющих на нее. Аудиторы проверяют, достаточно ли объяснимы модели, используя такие методы, как LIME и SHAP.

Выходы модели

Справедливость — это первое, что аудиторы обеспечивают в результатах модели. Выходные данные модели должны оставаться согласованными при изменении таких переменных, как пол, раса или религия. Кроме того, также оценивается качество прогнозов с использованием соответствующего метода подсчета очков.

Социальная обратная связь

Аудит ИИ — это непрерывный процесс. После развертывания аудиторы должны увидеть социальное влияние системы ИИ. Систему ИИ и стратегию управления рисками следует соответствующим образом изменить и подвергнуть аудиту на основе обратной связи, использования, последствий и влияния, как положительного, так и отрицательного.

Компании, которые проводят аудит конвейеров и приложений ИИ

Пять основных компаний, которые проводят аудит ИИ, следующие:

• Deloitte: Deloitte — крупнейшая в мире фирма, предоставляющая профессиональные услуги и предоставляющая услуги, связанные с аудитом, налогообложением и финансовым консультированием. Deloitte использует RPA, ИИ и аналитику, чтобы помочь организациям в оценке рисков их систем ИИ.
• PwC: PwC — вторая по размеру выручки сеть профессиональных услуг. Они разработали методологии аудита, чтобы помочь организациям обеспечить подотчетность, надежность и прозрачность.
• EY: В 2022 году EY объявила об инвестициях в размере 1 млрд долларов в технологическую платформу на базе ИИ для предоставления высококачественных аудиторских услуг. Фирмы, использующие ИИ, хорошо информированы для аудита систем ИИ.
• КПМГ: КПМГ является четвертой по величине фирмой, предоставляющей бухгалтерские услуги. KPMG предоставляет индивидуальные услуги по управлению ИИ, оценке рисков и контролю.
• Грант Тронтон: Они помогают клиентам управлять рисками, связанными с развертыванием ИИ и соблюдением этики и правил ИИ.

Преимущества аудита систем ИИ

• Управление рисками: аудит предотвращает или снижает риски, связанные с системами ИИ.
• Прозрачность: Аудит гарантирует, что приложения ИИ свободны от предвзятости и дискриминации.
• Соответствие требованиям. Аудит приложений ИИ означает, что система соответствует законодательным и нормативным требованиям.

Аудит ИИ: что ждет в будущем

Организации, регулирующие органы и аудиторы должны быть в курсе достижений ИИ, осознавать его потенциальные угрозы и часто пересматривать правила, рамки и стратегии для обеспечения справедливого, безрискового и этичного использования.

В 2021 году 193 государства-члена ЮНЕСКО приняли глобальное соглашение об этике ИИ. ИИ — это постоянно развивающаяся экосистема.

Хотите больше контента, связанного с ИИ? Посещать объединить.ай.