Líderes de opinión

Sesgo y equidad de los sistemas basados en inteligencia artificial en la lucha contra el crimen financiero

mm
Añade Unite.AI a tus fuentes preferidas en Google

Cuando se trata de luchar contra el crimen financiero, existen desafíos que van más allá del ámbito de simplemente detener a los estafadores o a otros actores maliciosos.

Algunas de las tecnologías más avanzadas que se están lanzando a menudo tienen sus propios problemas específicos que deben considerarse durante las etapas de adopción para luchar contra los estafadores sin repercusiones regulatorias. En la detección de fraude, la equidad del modelo y el sesgo de los datos pueden ocurrir cuando un sistema está más pesado o carece de representación de ciertos grupos o categorías de datos. En teoría, un modelo predictivo podría asociar erróneamente apellidos de otras culturas con cuentas fraudulentas, o disminuir falsamente el riesgo dentro de segmentos de población para ciertos tipos de actividades financieras.

Los sistemas de inteligencia artificial sesgados pueden representar una amenaza grave cuando las reputaciones pueden verse afectadas y ocurren cuando los datos disponibles no son representativos de la población o el fenómeno que se está explorando. Estos datos no incluyen variables que capturen adecuadamente el fenómeno que queremos predecir. O, alternativamente, los datos pueden incluir contenido producido por humanos que puede contener sesgo contra grupos de personas, heredado por experiencias culturales y personales, lo que lleva a distorsiones al tomar decisiones. Aunque al principio los datos pueden parecer objetivos, aún son recopilados y analizados por humanos, y por lo tanto pueden estar sesgados.

Aunque no hay una solución mágica para remediar los peligros de la discriminación y la injusticia en los sistemas de inteligencia artificial, o soluciones permanentes para el problema de la equidad y la mitigación del sesgo en la arquitectura de los modelos de aprendizaje automático y su uso, estos problemas deben considerarse por razones tanto sociales como comerciales.

Hacer lo correcto en la inteligencia artificial

Abordar el sesgo en los sistemas basados en inteligencia artificial no solo es lo correcto, sino también lo inteligente para los negocios, y las apuestas para los líderes empresariales son altas. Los sistemas de inteligencia artificial sesgados pueden llevar a las instituciones financieras por el camino equivocado al asignar oportunidades, recursos, información o calidad de servicio de manera injusta. Incluso tienen el potencial de infringir las libertades civiles, suponer un detrimento para la seguridad de las personas o afectar el bienestar de una persona si se perciben como despectivos o ofensivos.

Es importante que las empresas entiendan el poder y los riesgos del sesgo de la inteligencia artificial. Aunque a menudo es desconocido por la institución, un sistema basado en inteligencia artificial sesgado podría estar utilizando modelos o datos perjudiciales que exponen sesgo racial o de género en una decisión de préstamo. Información como nombres y género podría ser proxies para categorizar e identificar a los solicitantes de manera ilegal. Incluso si el sesgo es involuntario, aún pone a la organización en riesgo al no cumplir con los requisitos regulatorios y podría llevar a que ciertos grupos de personas sean injustamente denegados préstamos o líneas de crédito.

Actualmente, las organizaciones no tienen en lugar las piezas necesarias para mitigar con éxito el sesgo en los sistemas de inteligencia artificial. Pero con la inteligencia artificial siendo cada vez más desplegada en las empresas para informar decisiones, es vital que las organizaciones se esfuercen por reducir el sesgo, no solo por razones morales, sino también para cumplir con los requisitos regulatorios y generar ingresos.

Cultura y implementación “consciente de la equidad”

Las soluciones que se centran en el diseño y la implementación conscientes de la equidad tendrán los resultados más beneficiosos. Los proveedores deben tener una cultura analítica que considere la adquisición, el manejo y la gestión de datos responsables como componentes necesarios de la equidad algorítmica, porque si los resultados de un proyecto de inteligencia artificial son generados por conjuntos de datos sesgados, comprometidos o sesgados, las partes afectadas no estarán adecuadamente protegidas contra el daño discriminatorio.

Estos son los elementos de la equidad de los datos que los equipos de ciencia de datos deben tener en cuenta:

  • Representatividad: Dependiendo del contexto, ya sea la subrepresentación o la sobrerepresentación de grupos desfavorecidos o protegidos legalmente en la muestra de datos puede llevar a la desventaja sistemática de las partes vulnerables en los resultados del modelo entrenado. Para evitar este tipo de sesgo de muestreo, la experiencia en el dominio será crucial para evaluar la adecuación entre los datos recopilados o adquiridos y la población subyacente que se está modelando. Los miembros del equipo técnico deben ofrecer medios de remedio para corregir los defectos de representación en la muestra.
  • Adecuación y suficiencia: Es importante entender si los datos recopilados son suficientes para el propósito previsto del proyecto. Los conjuntos de datos insuficientes pueden no reflejar equitativamente las cualidades que deben sopesarse para producir un resultado justificado que sea coherente con el propósito deseado del sistema de inteligencia artificial. En consecuencia, los miembros del equipo del proyecto con competencias técnicas y políticas deben colaborar para determinar si la cantidad de datos es suficiente y adecuada para el propósito.
  • Integridad de la fuente y precisión de la medición: La mitigación efectiva del sesgo comienza en el inicio de los procesos de extracción y recopilación de datos. Tanto las fuentes como las herramientas de medición pueden introducir factores discriminatorios en un conjunto de datos. Para garantizar la no discriminación, la muestra de datos debe tener una integridad de fuente óptima. Esto implica asegurar o confirmar que los procesos de recopilación de datos involucrados fuentes de medición adecuadas, confiables e imparciales, y métodos de recopilación robustos.
  • Oportunidad y actualidad: Si los conjuntos de datos incluyen datos obsoletos, entonces los cambios en la distribución subyacente de los datos pueden afectar adversamente la generalización del modelo entrenado. Si estos cambios en la distribución reflejan relaciones sociales cambiantes o dinámicas de grupo, esta pérdida de precisión con respecto a las características reales de la población subyacente puede introducir sesgo en el sistema de inteligencia artificial. Para prevenir resultados discriminatorios, la oportunidad y la actualidad de todos los elementos del conjunto de datos deben ser examinadas.
  • Pertinencia, adecuación y conocimiento del dominio: La comprensión y el uso de las fuentes y tipos de datos más adecuados son cruciales para construir un sistema de inteligencia artificial robusto y sin sesgo. Un conocimiento sólido del dominio de la distribución de la población subyacente y del objetivo predictivo del proyecto es instrumental para seleccionar entradas de medición óptimamente relevantes que contribuyan a la resolución razonable de la solución definida. Los expertos en el dominio deben colaborar estrechamente con los equipos de ciencia de datos para ayudar a determinar categorías y fuentes de medición adecuadas.

Aunque los sistemas basados en inteligencia artificial ayudan en los procesos de automatización de la toma de decisiones y ahorran costos, las instituciones financieras que consideran la inteligencia artificial como una solución deben ser vigilantes para asegurarse de que no se produzcan decisiones sesgadas. Los líderes de cumplimiento deben estar en sintonía con su equipo de ciencia de datos para confirmar que las capacidades de inteligencia artificial son responsables, efectivas y libres de sesgo. Tener una estrategia que promueva la inteligencia artificial responsable es lo correcto, y también puede proporcionar un camino hacia el cumplimiento de las regulaciones de inteligencia artificial en el futuro.

Danny Butvinik es el Chief Data Scientist en NICE Actimize, brindando liderazgo técnico y profesional. Danny es un experto en inteligencia artificial y ciencia de datos, habiendo autorizado múltiples artículos y documentos científicos. En su actual rol, gestiona un gran grupo de científicos de datos, y contribuye al crecimiento de la innovación y a la propiedad intelectual de la empresa, con más de 15 años de experiencia en investigación, desarrollo y gestión en ciencia de datos y desarrollo de software.