Cómo realizar una auditoría de IA en 2023

La auditoría de IA se refiere a la evaluación de los sistemas de IA para garantizar que funcionen como se espera sin sesgo o discriminación y estén alineados con los estándares éticos y legales. La IA ha experimentado un crecimiento exponencial en la última década. En consecuencia, los riesgos relacionados con la IA se han convertido en una preocupación para las organizaciones. Como dijo Elon Musk:

“La IA es un caso raro en el que creo que debemos ser proactivos en la regulación en lugar de reactivos.”

Las organizaciones deben desarrollar estrategias de gobernanza, evaluación de riesgos y control para los empleados que trabajan con la IA. La rendición de cuentas de la IA se vuelve crítica en la toma de decisiones donde las apuestas son altas, como la implementación de la policía en un área y no en otra, la contratación y el rechazo de candidatos.

Este artículo presentará una visión general de la auditoría de IA, los marcos y regulaciones para las auditorías de IA, y una lista de verificación para auditar aplicaciones de IA.

Factores a considerar

• Cumplimiento: Evaluación de riesgos relacionados con el cumplimiento de un sistema de IA con consideraciones legales, regulatorias, éticas y sociales.
• Tecnología: Evaluación de riesgos relacionados con las capacidades técnicas, incluyendo el aprendizaje automático, los estándares de seguridad y el rendimiento del modelo.

Desafíos para auditar sistemas de IA

• Sesgo: Los sistemas de IA pueden amplificar los sesgos en los datos en los que se entrenan y tomar decisiones injustas. Reconociendo este problema, un instituto de investigación en la Universidad de Stanford, Human Centered AI (HAI), lanzó un desafío de innovación de $71,000 para diseñar mejores auditorías de IA. El objetivo de este desafío era prohibir la discriminación en los sistemas de IA.
• Complejidad: Los sistemas de IA, especialmente aquellos que emplean el aprendizaje profundo, son complejos y carecen de interpretación.

Regulaciones y marcos existentes para la auditoría de IA

Regulaciones y marcos actúan como la estrella del norte para auditar la IA. A continuación, se discuten algunos marcos y regulaciones de auditoría importantes.

Marcos de auditoría

1. Marco COBIT (Objetivos de control para la información y la tecnología relacionada): Es el marco para la gobernanza y gestión de la tecnología de la información de una empresa.
2. Marco de auditoría de IA del IIA (Instituto de Auditores Internos): Este marco de IA tiene como objetivo evaluar el diseño, el desarrollo y el funcionamiento de los sistemas de IA y su alineación con los objetivos de la organización. Los tres componentes principales del Marco de auditoría de IA del IIA son Estrategia, Gobernanza y Factor Humano. Tiene siete elementos que son los siguientes:

• Resiliencia cibernética
• Competencias de IA
• Calidad de los datos
• Arquitectura e infraestructura de datos
• Medición del rendimiento
• Ética
• La caja negra

3. Marco COSO ERM: Este marco proporciona un marco de referencia para evaluar los riesgos de los sistemas de IA en una organización. Tiene cinco componentes para la auditoría interna:

• Entorno interno: Asegurarse de que la gobernanza y la gestión de la organización estén gestionando los riesgos de la IA
• Configuración de objetivos: Colaborar con las partes interesadas para hacer una estrategia de riesgo
• Identificación de eventos: Identificar riesgos en los sistemas de IA, como sesgos no intencionados, violaciones de datos
• Evaluación de riesgos: ¿Cuál será el impacto del riesgo?
• Respuesta al riesgo: ¿Cómo responderá la organización a situaciones de riesgo, como la calidad de los datos subóptima?

Regulaciones

El Reglamento General de Protección de Datos (GDPR) es una ley en la regulación de la UE que impone obligaciones a las organizaciones para utilizar datos personales. Tiene siete principios:

• Legalidad, equidad y transparencia: El procesamiento de datos personales debe ajustarse a la ley
• Limitación de propósito: Usar datos solo para un propósito específico
• Minimización de datos: Los datos personales deben ser adecuados y limitados
• Precisión: Los datos deben ser precisos y actualizados
• Limitación de almacenamiento: No almacenar datos personales que ya no sean necesarios
• Integridad y confidencialidad: Los datos personales deben procesarse de manera segura
• Responsabilidad: El controlador debe procesar los datos de manera responsable siguiendo las normas de cumplimiento

Otras regulaciones incluyen CCPA y PIPEDA.

Lista de verificación para la auditoría de IA

Fuentes de datos

Identificar y verificar las fuentes de datos es la consideración principal en la auditoría de sistemas de IA. Los auditores verifican la calidad de los datos y si la empresa puede utilizar los datos.

Validación cruzada

Asegurarse de que el modelo esté adecuadamente validado es una de las listas de verificación de los auditores. Los datos de validación no deben usarse para el entrenamiento, y las técnicas de validación deben garantizar la generalización del modelo.

Alojamiento seguro

En algunos casos, los sistemas de IA utilizan datos personales. Es importante evaluar si los servicios de alojamiento o en la nube cumplen con los requisitos de seguridad de la información, como las pautas de OWASP (Proyecto de Seguridad de Aplicaciones Web Abiertas).

IA explicable

IA explicable se refiere a la interpretación y comprensión de las decisiones tomadas por el sistema de IA y los factores que lo afectan. Los auditores verifican si los modelos son lo suficientemente explicables utilizando técnicas como LIME y SHAP.

Salidas del modelo

La equidad es lo primero que los auditores garantizan en las salidas del modelo. Las salidas del modelo deben permanecer consistentes cuando se cambian variables como el género, la raza o la religión. Además, se evalúa la calidad de las predicciones utilizando el método de puntuación adecuado.

Retorno social

La auditoría de IA es un proceso continuo. Una vez implementado, los auditores deben ver el impacto social del sistema de IA. El sistema de IA y la estrategia de riesgo deben modificarse y auditarse según la retroalimentación, el uso, las consecuencias y la influencia, ya sea positiva o negativa.

Empresas que auditan tuberías y aplicaciones de IA

Cinco empresas importantes que auditan la IA son las siguientes:

• Deloitte: Deloitte es la firma de servicios profesionales más grande del mundo y ofrece servicios relacionados con la auditoría, la tributación y el asesoramiento financiero. Deloitte emplea RPA, IA y análisis para ayudar a las organizaciones en la evaluación de riesgos de sus sistemas de IA.
• PwC: PwC es la segunda red de servicios profesionales más grande por ingresos. Han desarrollado metodologías de auditoría para ayudar a las organizaciones a garantizar la rendición de cuentas, la confiabilidad y la transparencia.
• EY: En 2022, EY anunció una inversión de $1 mil millones en una plataforma de tecnología habilitada para IA para proporcionar servicios de auditoría de alta calidad. Las empresas que están impulsadas por la IA están bien informadas para auditar los sistemas de IA.
• KPMG: KPMG es la cuarta firma de servicios de contabilidad más grande. KPMG ofrece servicios personalizados en gobernanza de IA, evaluación de riesgos y controles.
• Grant Thronton: Ayudan a los clientes a gestionar los riesgos relacionados con la implementación de la IA y el cumplimiento de la ética y las regulaciones de la IA.

Beneficios de auditar sistemas de IA

• Gestión de riesgos: La auditoría previene o mitiga los riesgos asociados con los sistemas de IA.
• Transparencia: La auditoría garantiza que las aplicaciones de IA estén libres de sesgo y discriminación.
• Cumplimiento: La auditoría de aplicaciones de IA significa que el sistema sigue las normas legales y regulatorias.

Auditoría de IA: ¿Qué nos depara el futuro?

Las organizaciones, las autoridades regulatorias y los auditores deben mantenerse en contacto con los avances de la IA, reconocer sus amenazas potenciales y revisar con frecuencia las regulaciones, los marcos y las estrategias para garantizar un uso justo, libre de riesgos y ético.

En 2021, 193 estados miembros de UNESCO adoptaron un acuerdo global sobre la ética de la IA. La IA es un ecosistema en constante evolución.

¿Desea más contenido relacionado con la IA? Visite unite.ai.