Cómo realizar una auditoría de IA en 2023

La auditoría de IA se refiere a la evaluación de los sistemas de IA para garantizar que funcionen como se espera sin sesgos o discriminación y estén alineados con los estándares éticos y legales. La IA ha experimentado un crecimiento exponencial en la última década. En consecuencia, los riesgos relacionados con la IA se han convertido en una preocupación para las organizaciones. Como dijo Elon Musk:

“La IA es un caso raro en el que creo que debemos ser proactivos en la regulación en lugar de reactivos.”

Las organizaciones deben desarrollar estrategias de gobernanza, evaluación de riesgos y control para los empleados que trabajan con IA. La rendición de cuentas de la IA se vuelve crítica en la toma de decisiones donde las apuestas son altas, como la implementación de la policía en un área y no en otra, la contratación y el rechazo de candidatos.

Este artículo presentará una visión general de la auditoría de IA, los marcos y regulaciones para las auditorías de IA, y una lista de verificación para auditar aplicaciones de IA.

Factores a considerar

• Cumplimiento: Evaluación de riesgos relacionados con el cumplimiento de un sistema de IA con consideraciones legales, regulatorias, éticas y sociales.
• Tecnología: Evaluación de riesgos relacionados con las capacidades técnicas, incluyendo el aprendizaje automático, los estándares de seguridad y el rendimiento del modelo.

Desafíos para auditar sistemas de IA

• Sesgo: Los sistemas de IA pueden amplificar los sesgos en los datos en los que se entrenan y tomar decisiones injustas. Reconociendo este problema, un instituto de investigación en la Universidad de Stanford, Human Centered AI (HAI), lanzó un desafío de innovación de $71,000 para diseñar mejores auditorías de IA. El objetivo de este desafío era prohibir la discriminación en los sistemas de IA.
• Complejidad: Los sistemas de IA, especialmente aquellos que emplean aprendizaje profundo, son complejos y carecen de interpretación.

Regulaciones y marcos existentes para la auditoría de IA

Las regulaciones y marcos actúan como la estrella polar para auditar la IA. A continuación, se discuten algunos marcos y regulaciones de auditoría importantes.

Marcos de auditoría

1. Marco COBIT (Control Objectives for Information and related Technology): Es el marco para la gobernanza y gestión de TI de una empresa.
2. Marco de auditoría de IA del IIA (Instituto de Auditores Internos): Este marco de IA tiene como objetivo evaluar el diseño, desarrollo y funcionamiento de los sistemas de IA y su alineación con los objetivos de la organización. Los tres componentes principales del marco de auditoría de IA del IIA son Estrategia, Gobernanza y Factor Humano. Tiene siete elementos que son los siguientes:

• Resiliencia cibernética
• Competencias de IA
• Calidad de los datos
• Arquitectura e infraestructura de datos
• Medición del rendimiento
• Ética
• La caja negra

3. Marco ERM de COSO: Este marco proporciona un marco de referencia para evaluar los riesgos de los sistemas de IA en una organización. Tiene cinco componentes para la auditoría interna:

• Entorno interno: Asegurarse de que la gobernanza y la gestión de la organización estén gestionando los riesgos de la IA
• Establecimiento de objetivos: Colaborar con las partes interesadas para elaborar una estrategia de riesgos
• Identificación de eventos: Identificar riesgos en los sistemas de IA, como sesgos no intencionados, violaciones de datos
• Evaluación de riesgos: ¿Cuál será el impacto del riesgo?
• Respuesta al riesgo: ¿Cómo responderá la organización a situaciones de riesgo, como una calidad de datos subóptima?

Regulaciones

El Reglamento General de Protección de Datos (GDPR) es una ley en la regulación de la UE que impone obligaciones a las organizaciones para utilizar datos personales. Tiene siete principios:

• Legalidad, equidad y transparencia: El procesamiento de datos personales debe ajustarse a la ley
• Limitación de propósito: Utilizar datos solo para un propósito específico
• Minimización de datos: Los datos personales deben ser adecuados y limitados
• Precisión: Los datos deben ser precisos y actualizados
• Limitación de almacenamiento: No almacenar datos personales que ya no sean necesarios
• Integridad y confidencialidad: Los datos personales deben procesarse de manera segura
• Responsabilidad: El controlador es responsable de procesar los datos de manera responsable y cumplir con las regulaciones

Otras regulaciones incluyen CCPA y PIPEDA.

Lista de verificación para la auditoría de IA

Fuentes de datos

Identificar y verificar las fuentes de datos es la consideración principal en la auditoría de los sistemas de IA. Los auditores verifican la calidad de los datos y si la empresa puede utilizar los datos.

Validación cruzada

Asegurarse de que el modelo esté adecuadamente validado es una de las tareas de los auditores. Los datos de validación no deben utilizarse para el entrenamiento, y las técnicas de validación deben garantizar la generalización del modelo.

Alojamiento seguro

En algunos casos, los sistemas de IA utilizan datos personales. Es importante evaluar si los servicios de alojamiento o en la nube cumplen con los requisitos de seguridad de la información, como las pautas del Proyecto de Seguridad de Aplicaciones Web Abiertas (OWASP).

IA explicable

La IA explicable se refiere a la interpretación y comprensión de las decisiones tomadas por el sistema de IA y los factores que la afectan. Los auditores verifican si los modelos son lo suficientemente explicables utilizando técnicas como LIME y SHAP.

Salidas del modelo

La equidad es lo primero que los auditores garantizan en las salidas del modelo. Las salidas del modelo deben permanecer consistentes cuando se cambian variables como el género, la raza o la religión. Además, se evalúa la calidad de las predicciones utilizando el método de puntuación adecuado.

Retorno social

La auditoría de IA es un proceso continuo. Una vez desplegado, los auditores deben ver el impacto social del sistema de IA. El sistema de IA y la estrategia de riesgo deben modificarse y auditar según la retroalimentación, el uso, las consecuencias y la influencia, ya sea positiva o negativa.

Empresas que auditan tuberías y aplicaciones de IA

Cinco empresas importantes que auditan la IA son las siguientes:

• Deloitte: Deloitte es la firma de servicios profesionales más grande del mundo y ofrece servicios relacionados con la auditoría, la tributación y el asesoramiento financiero. Deloitte emplea RPA, IA y análisis para ayudar a las organizaciones a evaluar los riesgos de sus sistemas de IA.
• PwC: PwC es la segunda red de servicios profesionales más grande por ingresos. Han desarrollado metodologías de auditoría para ayudar a las organizaciones a garantizar la rendición de cuentas, la confiabilidad y la transparencia.
• EY: En 2022, EY anunció una inversión de $1.000 millones en una plataforma de tecnología habilitada para IA para proporcionar servicios de auditoría de alta calidad. Las empresas impulsadas por la IA están bien informadas para auditar los sistemas de IA.
• KPMG: KPMG es la cuarta firma de servicios de contabilidad más grande. KPMG ofrece servicios personalizados en gobernanza de IA, evaluación de riesgos y controles.
• Grant Thronton: Ayudan a los clientes a gestionar los riesgos relacionados con la implementación de la IA y el cumplimiento de la ética y las regulaciones de la IA.

Beneficios de auditar los sistemas de IA

• Gestión de riesgos: La auditoría previene o mitiga los riesgos asociados con los sistemas de IA.
• Transparencia: La auditoría garantiza que las aplicaciones de IA estén libres de sesgos y discriminación.
• Cumplimiento: La auditoría de las aplicaciones de IA significa que el sistema sigue las regulaciones y cumplimientos legales.

Auditoría de IA: ¿Qué nos depara el futuro?

Las organizaciones, las autoridades regulatorias y los auditores deben mantenerse en contacto con los avances de la IA, reconocer las amenazas potenciales y revisar con frecuencia las regulaciones, los marcos y las estrategias para garantizar un uso justo, libre de riesgos y ético.

En 2021, 193 estados miembros de la UNESCO adoptaron un acuerdo global sobre la ética de la IA. La IA es un ecosistema en constante evolución.

¿Quieres más contenido relacionado con la IA? Visita unite.ai.