talón Sesgo y equidad de los sistemas basados ​​en IA dentro del crimen financiero - Unite.AI
Contáctanos

Líderes del pensamiento

Sesgo y equidad de los sistemas basados ​​en IA dentro del crimen financiero

mm

Publicado

 on

Cuando se trata de combatir los delitos financieros, existen desafíos que van más allá del alcance de simplemente detener a los estafadores u otros malos actores.

Algunas de las tecnologías avanzadas más nuevas que se lanzan a menudo tienen sus propios problemas específicos que deben tenerse en cuenta durante las etapas de adopción para luchar con éxito contra los estafadores sin repercusiones reglamentarias. En la detección de fraude, la imparcialidad del modelo y el sesgo de datos pueden ocurrir cuando un sistema tiene una mayor ponderación o carece de representación de ciertos grupos o categorías de datos. En teoría, un modelo predictivo podría asociar erróneamente apellidos de otras culturas con cuentas fraudulentas, o disminuir falsamente el riesgo dentro de segmentos de la población para cierto tipo de actividades financieras.

Los sistemas de IA sesgados pueden representar una amenaza grave cuando la reputación puede verse afectada y ocurre cuando los datos disponibles no son representativos de la población o el fenómeno de exploración. Estos datos no incluyen variables que capturen adecuadamente el fenómeno que queremos predecir. O, alternativamente, los datos podrían incluir contenido producido por humanos que puede contener sesgos contra grupos de personas, heredados por experiencias culturales y personales, lo que genera distorsiones al tomar decisiones. Si bien al principio los datos pueden parecer objetivos, todavía son recopilados y analizados por humanos y, por lo tanto, pueden estar sesgados.

Si bien no existe una solución milagrosa cuando se trata de remediar los peligros de la discriminación y la injusticia en los sistemas de IA o soluciones permanentes al problema de la equidad y la mitigación de sesgos en la arquitectura del modelo y uso del aprendizaje automático, estas cuestiones deben considerarse tanto desde el punto de vista social como razones comerciales.

Hacer lo correcto en IA

Abordar el sesgo en los sistemas basados ​​en IA no solo es lo correcto, sino también lo inteligente para las empresas, y hay mucho en juego para los líderes empresariales. Los sistemas de IA sesgados pueden llevar a las instituciones financieras por el camino equivocado al asignar oportunidades, recursos, información o calidad del servicio de manera injusta. Incluso tienen el potencial de infringir las libertades civiles, representar un detrimento para la seguridad de las personas o afectar el bienestar de una persona si se perciben como despectivos u ofensivos.

Es importante que las empresas comprendan el poder y los riesgos del sesgo de la IA. Aunque a menudo la institución lo desconoce, un sistema basado en IA sesgado podría estar utilizando modelos o datos perjudiciales que exponen el sesgo de raza o género en una decisión de préstamo. La información como los nombres y el género podrían ser indicadores para categorizar e identificar a los solicitantes de manera ilegal. Incluso si el sesgo no es intencional, aún pone en riesgo a la organización al no cumplir con los requisitos reglamentarios y podría llevar a que a ciertos grupos de personas se les nieguen injustamente préstamos o líneas de crédito.

Actualmente, las organizaciones no cuentan con las piezas necesarias para mitigar con éxito el sesgo en los sistemas de IA. Pero dado que la IA se implementa cada vez más en las empresas para informar las decisiones, es vital que las organizaciones se esfuercen por reducir el sesgo, no solo por razones morales, sino también para cumplir con los requisitos normativos y generar ingresos.

Cultura e implementación “conscientes de la equidad”

Las soluciones que se centran en el diseño y la implementación conscientes de la equidad tendrán los resultados más beneficiosos. Los proveedores deben tener una cultura analítica que considere la adquisición, el manejo y la gestión de datos responsables como componentes necesarios de la equidad algorítmica, porque si los resultados de un proyecto de IA son generados por conjuntos de datos sesgados, comprometidos o sesgados, las partes afectadas no estarán adecuadamente protegidas de daño discriminatorio.

Estos son los elementos de la equidad de datos que los equipos de ciencia de datos deben tener en cuenta:

  • Representatividad:Según el contexto, la representación insuficiente o excesiva de los grupos desfavorecidos o legalmente protegidos en la muestra de datos puede conducir a la desventaja sistemática de las partes vulnerables en los resultados del modelo entrenado. Para evitar tales tipos de sesgo de muestreo, la experiencia en el dominio será crucial para evaluar el ajuste entre los datos recopilados o adquiridos y la población subyacente que se modelará. Los miembros del equipo técnico deben ofrecer medios de remediación para corregir las fallas de representación en el muestreo.
  • Apto para el propósito y suficiencia: Es importante comprender si los datos recopilados son suficientes para el propósito previsto del proyecto. Los conjuntos de datos insuficientes pueden no reflejar de manera equitativa las cualidades que deben sopesarse para producir un resultado justificado que sea consistente con el propósito deseado del sistema de IA. En consecuencia, los miembros del equipo del proyecto con competencias técnicas y políticas deben colaborar para determinar si la cantidad de datos es suficiente y adecuada para el propósito.
  • Integridad de la fuente y precisión de la medición:La mitigación eficaz del sesgo comienza desde el principio de los procesos de extracción y recopilación de datos. Tanto las fuentes como las herramientas de medición pueden introducir factores discriminatorios en un conjunto de datos. Para garantizar la ausencia de daño discriminatorio, la muestra de datos debe tener una integridad de origen óptima. Esto implica asegurar o confirmar que los procesos de recopilación de datos involucraron fuentes de medición adecuadas, confiables e imparciales y métodos sólidos de recopilación.
  • Puntualidad y actualidad: si los conjuntos de datos incluyen datos desactualizados, los cambios en la distribución de datos subyacente pueden afectar negativamente la generalización del modelo entrenado. Siempre que estas variaciones en la distribución reflejen relaciones sociales cambiantes o dinámicas de grupo, esta pérdida de precisión con respecto a las características reales de la población subyacente puede introducir sesgos en el sistema de IA. Para prevenir resultados discriminatorios, se debe examinar la oportunidad y actualidad de todos los elementos del conjunto de datos.
  • Relevancia, Adecuación y Conocimiento del Dominio: La comprensión y el uso de las fuentes y tipos de datos más apropiados son cruciales para construir un sistema de IA sólido e imparcial. El conocimiento sólido del dominio de la distribución de la población subyacente y del objetivo predictivo del proyecto es fundamental para seleccionar entradas de medición óptimamente relevantes que contribuyan a la resolución razonable de la solución definida. Los expertos en dominios deben colaborar estrechamente con los equipos de ciencia de datos para ayudar a determinar las categorías y fuentes de medición óptimamente apropiadas.

Si bien los sistemas basados ​​en IA ayudan en los procesos de automatización de la toma de decisiones y brindan ahorros de costos, las instituciones financieras que consideran la IA como una solución deben estar atentas para garantizar que no se tomen decisiones sesgadas. Los líderes de cumplimiento deben estar en sintonía con su equipo de ciencia de datos para confirmar que las capacidades de IA son responsables, efectivas y libres de prejuicios. Tener una estrategia que defienda la IA responsable es lo correcto, y también puede proporcionar un camino para cumplir con las futuras regulaciones de IA.

Danny Butvinik es el científico jefe de datos en NIZA Actimizar, proporcionando liderazgo técnico y profesional. Danny es un experto en inteligencia artificial y ciencia de datos, autor de múltiples artículos y artículos científicos. En su puesto actual, gestiona un gran grupo de científicos de datos y contribuye al crecimiento de la innovación y la propiedad intelectual de la empresa, con más de 15 años de experiencia en investigación, desarrollo y gestión en ciencia de datos y desarrollo de software.