Com realitzar una auditoria d'IA el 2023

L'auditoria d'IA fa referència a l'avaluació dels sistemes d'IA per assegurar-se que funcionen com s'esperava sense parcialitat o discriminació i estan alineats amb els estàndards ètics i legals. La IA ha experimentat un creixement exponencial en l'última dècada. En conseqüència, els riscos relacionats amb la IA s'han convertit en una preocupació per a les organitzacions. Com va dir Elon Musk:

"La IA és un cas rar en què crec que hem de ser proactius en la regulació en lloc de ser reactius".

Les organitzacions han de desenvolupar estratègies de govern, avaluació de riscos i control per als empleats que treballen amb IA. La rendició de comptes de l'IA esdevé fonamental en la presa de decisions on els interessos són importants, com ara desplegar la policia en una àrea i no en l'altra, contractar i rebutjar candidats.

Aquest article presentarà una visió general de l'auditoria d'IA, marcs i regulacions per a auditories d'IA i una llista de verificació per auditar aplicacions d'IA.

Factors a considerar

• Compliment: avaluació del risc relacionada amb el compliment d'un sistema d'IA amb consideracions legals, reglamentàries, ètiques i socials.
• Tecnologia: avaluació del risc relacionat amb les capacitats tècniques, inclòs l'aprenentatge automàtic, els estàndards de seguretat i el rendiment del model.

Reptes per a l'auditoria de sistemes d'IA

• Biaix: els sistemes d'IA poden amplificar els biaixos en les dades sobre les quals s'entrenen i prendre decisions injustes. Reconeixent aquest problema, un institut de recerca de problemes de recerca de la Universitat de Stanford, Human Centered AI (HAI), va llançar un repte d'innovació de 71,000 dòlars per dissenyar millors auditories d'IA. L'objectiu d'aquest repte era prohibir la discriminació en els sistemes d'IA.
• Complexitat: els sistemes d'IA, especialment els que utilitzen l'aprenentatge profund, són complexos i no són interpretables.

Reglaments i marcs existents per a l'auditoria d'IA

Reglament i els marcs actuen com a estrella polar per auditar la IA. A continuació es comenten alguns marcs i normatives d'auditoria importants.

Marcs d'auditoria

1. Marc COBIT (Objectius de control per a la informació i tecnologia relacionada): és el marc per al govern i la gestió de les TI d'una empresa.
2. Marc d'auditoria d'IA de l'IIA (Institut d'Auditors Interns): aquest marc d'IA té com a objectiu avaluar el disseny, desenvolupament i funcionament dels sistemes d'IA i la seva alineació amb els objectius de l'organització. Tres components principals del marc d'auditoria d'IA de l'IIA són l'estratègia, el govern i el factor humà. Té set elements que són els següents:

• Ciberresiliència
• Competències d'IA
• Qualitat de les dades
• Arquitectura i infraestructura de dades
• Mesurament del rendiment
• ètica
• La caixa negra

3. Marc COSO ERM: aquest marc proporciona un marc de referència per avaluar els riscos dels sistemes d'IA en una organització. Té cinc components per a l'auditoria interna:

• Entorn intern: Assegurar que el govern i la gestió de l'organització gestionen els riscos d'IA
• Establiment d'objectius: Col·laborar amb les parts interessades per elaborar una estratègia de risc
• Identificació d'esdeveniments: identificació de riscos en els sistemes d'IA, com ara biaixos no desitjats, incompliment de dades
• Avaluació del risc: quin serà l'impacte del risc?
• Resposta al risc: Com respondrà l'organització a situacions de risc, com ara una qualitat de dades subòptima?

Reglament

El Reglament General de Protecció de Dades (GDPR) és una llei de la normativa de la UE que obliga a les organitzacions a utilitzar les dades personals. Té set principis:

• Legalitat, equitat i transparència: el tractament de les dades personals ha de complir la llei
• Limitació de la finalitat: Ús de dades només per a una finalitat específica
• Minimització de dades: les dades personals han de ser adequades i limitades
• Exactitud: les dades han de ser exactes i actualitzades
• Limitació d'emmagatzematge: no emmagatzemeu dades personals que ja no siguin necessàries
• Integritat i confidencialitat: les dades personals solien ser tractades de manera segura
• Responsabilitat: El responsable del tractament ha de tractar les dades de manera responsable seguint els compliments

Altres regulacions inclouen CCPA i PIPEDA.

Llista de verificació per a l'auditoria d'IA

Fonts de dades

Identificar i verificar les fonts de dades és la consideració principal en l'auditoria dels sistemes d'IA. Els auditors comproven la qualitat de les dades i si l'empresa pot utilitzar-les.

Validació creuada

Assegurar-se que el model es valida adequadament és una de les llistes de verificació dels auditors. Les dades de validació no s'han d'utilitzar per a la formació, i les tècniques de validació haurien de garantir la generalització del model.

Allotjament segur

En alguns casos, els sistemes d'IA utilitzen dades personals. És important avaluar que els serveis d'allotjament o en núvol compleixen els requisits de seguretat de la informació, com ara les directrius OWASP (Open Web Application Security Project).

IA explicable

IA explicable fa referència a interpretar i comprendre les decisions preses pel sistema d'IA i els factors que l'afecten. Els auditors comproven si els models són prou explicables mitjançant tècniques com LIME i SHAP.

Sortides del model

L'equitat és el primer que asseguren els auditors en els resultats del model. Els resultats del model han de romandre coherents quan es canvien variables com el gènere, la raça o la religió. A més, també s'avalua la qualitat de les prediccions mitjançant el mètode de puntuació adequat.

Feedback social

L'auditoria d'IA és un procés continu. Un cop desplegat, els auditors haurien de veure l'impacte social del sistema d'IA. El sistema d'IA i l'estratègia de risc s'han de modificar i auditar en conseqüència en funció de la retroalimentació, l'ús, les conseqüències i la influència, ja siguin positives o negatives.

Empreses que auditen canalitzacions i aplicacions d'IA

Cinc empreses principals que auditen la IA són les següents:

• Deloitte: Deloitte és la firma de serveis professionals més gran del món i ofereix serveis relacionats amb l'auditoria, la fiscalitat i l'assessorament financer. Deloitte utilitza RPA, AI i analítiques per ajudar les organitzacions a avaluar els riscos dels seus sistemes d'IA.
• PwC: PwC és la segona xarxa de serveis professionals més gran per ingressos. Han desenvolupat metodologies d'auditoria per ajudar les organitzacions a garantir la responsabilitat, la fiabilitat i la transparència.
• EY: El 2022, EY va anunciar una inversió de 1 milions de dòlars en una plataforma tecnològica habilitada per IA per oferir serveis d'auditoria d'alta qualitat. Les empreses impulsades per la IA estan ben informades per auditar sistemes d'IA.
• KPMG: KPMG és la quarta empresa de serveis de comptabilitat més gran. KPMG ofereix serveis personalitzats de govern, avaluació de riscos i controls d'IA.
• Grant Thronton: ajuden els clients a gestionar els riscos relacionats amb el desplegament de la IA i el compliment de l'ètica i la normativa de la IA.

Beneficis de l'auditoria de sistemes d'IA

• Gestió de riscos: l'auditoria prevé o mitiga els riscos associats als sistemes d'IA.
• Transparència: l'auditoria garanteix que les aplicacions d'IA estiguin lliures de biaix i discriminació.
• Compliments: l'auditoria d'aplicacions d'IA significa que el sistema segueix els compliments legals i reglamentaris.

Auditoria d'IA: què depara el futur

Les organitzacions, les autoritats reguladores i els auditors haurien de mantenir-se en contacte amb els avenços de la IA, adonar-se de les seves possibles amenaces i revisar amb freqüència les regulacions, els marcs i les estratègies per garantir un ús just, lliure de riscos i ètic.

El 2021, 193 estats membres de UNESCO va adoptar un acord global sobre l'ètica de la IA. La IA és un ecosistema en contínua evolució.

Vols més contingut relacionat amb la IA? Visita unir.ai.