思想领袖

打击金融犯罪的 AI 系统中的偏见与公平性

Danny Butvinik
将 Unite.AI 添加到您在 Google 上的首选来源
要点有偏见的AI系统可能基于种族或性别的代理指标不公平地拒绝贷款。
查看更多
  • 有偏见的AI系统可能基于种族或性别的代理指标不公平地拒绝贷款。
  • 数据的代表性和来源完整性对于防止歧视性模型结果至关重要。
  • 合规负责人必须与数据科学团队合作,确保负责任地部署AI。

在打击金融犯罪方面,挑战不仅仅是阻止诈骗者或其他恶意行为者,还包括其他问题。

一些最新的、先进的技术在推出时往往带有特定的问题,这些问题必须在采用阶段考虑,以便在不违反监管规定的情况下成功打击诈骗者。在欺诈检测中,当系统对某些群体或数据类别赋予过高权重,或这些群体、类别代表性不足时,就可能出现模型公平性和数据偏见问题。理论上,预测模型可能会错误地将其他文化的姓氏与欺诈账户关联起来,或者在某些金融活动中错误地降低某些人群的风险。

偏见的 AI 系统可能构成严重的威胁,当声誉可能受到影响时就会发生这种情况,原因是现有数据不能代表所研究的人群或现象。这些数据不包含能够恰当反映所要预测现象的变量。或者,数据可能包含人类产生的内容,这些内容可能包含针对某些群体的偏见,这些偏见源于文化和个人经验,导致决策时产生偏差。虽然数据看起来似乎是客观的,但它仍然是由人类收集和分析的,因此可能存在偏见。

虽然没有解决 AI 系统中歧视和不公平的危险的银弹,或者在构建机器学习模型和使用中没有永久的解决方案来解决公平性和偏见的缓解问题,但这些问题必须出于社会和商业原因而被考虑。

在 AI 中做正确的事情

解决基于 AI 的系统中的偏见不仅是正确的事情,也是商业上明智的事情——企业领导者的风险很高。偏见的 AI 系统可能会将金融机构引向错误的方向,通过不公平地分配机会、资源、信息或服务质量。它们甚至可能侵犯公民自由,危及个人安全,或者影响个人福祉,如果被视为轻蔑或冒犯的话。

对于企业来说,了解 AI 偏见的力量和风险非常重要。虽然机构可能不知道,但一个偏见的 AI 基于系统可能正在使用有害的模型或数据,这些数据可能包含种族或性别偏见,影响贷款决策。诸如姓名和性别等信息可能成为以非法方式对申请人分类和识别的替代指标。即使偏见是无意的,它仍然将组织置于风险之中,因为它可能不符合监管要求,并可能导致某些群体被不公平地拒绝贷款或信用额度。

目前,组织尚未具备有效减少 AI 系统偏见所需的全部条件。但随着 AI 日益广泛地部署于企业以支持决策,组织必须努力减少偏见。这不仅出于道德原因,也是为了遵守监管要求并增加收入。

“公平意识”文化和实施

专注于公平意识设计和实施的解决方案将会带来最有益的结果。提供者应该拥有一个分析文化,考虑负责任的数据获取、处理和管理作为算法公平性的必要组成部分,因为如果 AI 项目的结果是由存在偏见、完整性受损或分布偏斜的数据集生成的,受影响的方将无法充分地受到保护,免受歧视性的伤害。

以下是数据公平性中数据科学团队必须牢记的要素:

  • 代表性:视具体情境而定,数据样本中弱势群体或依法受保护群体的代表性不足或过度代表,都可能导致训练后模型的结果系统性地使脆弱群体处于不利地位。为避免此类抽样偏差,需要领域专业知识来评估已收集或获取的数据与所要建模的目标人群是否匹配。技术团队成员应提供补救措施,纠正抽样中的代表性缺陷。
  • 适用性和充分性:必须了解所收集的数据是否足以满足项目的预定目的。不充分的数据集可能无法公平反映应予权衡的属性,从而无法产生符合 AI 系统预定目标、具有合理依据的结果。因此,具备技术和政策能力的项目团队成员应共同确定数据量是否充足并适合用途。
  • 源完整性和测量准确性:有效的偏见缓解从数据提取和收集过程的开始就开始。测量的来源和工具可能会将歧视性因素引入数据集。为了确保不造成歧视性的伤害,数据样本必须具有最佳的源完整性。这涉及确保数据收集过程中使用了适当、可靠和公正的测量来源,以及稳健的数据收集方法。
  • 及时性和新鲜度:如果数据集包含过时的数据,数据分布的变化可能会对训练后模型的泛化能力产生不利影响。假设这些分布变化反映了社会关系或群体动态的变化,这种对目标人群的实际特征的准确性的损失可能会将偏见引入 AI 系统。为了防止歧视性的结果,数据集的所有元素的及时性和新鲜度都应该受到审查。
  • 相关性、适当性和领域知识:理解和使用最合适的数据来源和类型对于构建强大和无偏见的 AI 系统至关重要。对目标人群分布和项目预测目标的坚实领域知识,对于选择能够帮助合理解决所界定的问题的最相关的测量输入至关重要。领域专家应该与数据科学团队密切合作,以确定最合适的测量类别和来源。

虽然基于 AI 的系统在决策自动化过程中提供帮助并带来成本节约,但考虑将 AI 作为解决方案的金融机构必须谨慎地确保偏见决策不会发生。合规领导者应该与数据科学团队保持一致,以确保 AI 能力是负责任的、有效的和无偏见的。拥有一个倡导负责任 AI 的战略是正确的事情,它也可能提供了一条遵守未来 AI 法规的途径。

Danny Butvinik 是 NICE Actimize 的首席数据科学家,提供技术和专业领导。Danny 是人工智能和数据科学的专家,曾撰写多篇科学文章和论文。在他的当前角色中,他管理着一大群数据科学家,并为公司的创新和知识产权的增长做出贡献,拥有超过 15 年的数据科学和软件开发的研究、开发和管理经验。