思想领袖
人工智能中的偏见揭露:挑战和解决方案
最近,生成式人工智能的发展使得各个行业的企业应用迅速增长,包括金融、医疗、交通等。这种技术的发展也将带来其他新兴技术,如网络安全防御技术、量子计算进步和突破性的无线通信技术。然而,这种下一代技术的爆发也带来了自己的挑战。
例如,人工智能的采用可能会导致更复杂的网络攻击、由于计算能力增加而导致的内存和存储瓶颈,以及人工智能模型呈现的偏见问题。好消息是,NTT 研究院已经提出了一种方法来克服深度神经网络(DNN)中的偏见问题,这是一种人工智能。
这种研究成果非常重要,因为不带偏见的人工智能模型将有助于招聘、司法系统和医疗保健领域,当它们不受诸如种族、性别等特征的影响时。在未来,使用这些自动系统可以消除歧视,从而改善行业范围内的多样性和包容性商业计划。最后,不带偏见的人工智能模型的结果将提高生产力并减少完成这些任务所需的时间。然而,很少有企业由于人工智能生成的程序存在偏见而被迫停止使用它们。
例如,亚马逊停止使用一种招聘算法,当它发现该算法偏爱使用“执行”或“捕获”等词汇的申请者时,这些词汇在男性简历中更为常见。另一个偏见的明显例子来自于 2023 年根据 TIME 列出的最具影响力的 AI 人物之一 Joy Buolamwini,她与 MIT 的 Timnit Gebru 合作,发现面部分析技术在评估少数族裔(尤其是少数族裔女性)时错误率更高,可能是由于训练数据代表性不足所致。
最近,深度神经网络已经在科学、工程和商业领域以及流行应用中变得无处不在,但它们有时会依赖于可能带有偏见的虚假属性。根据 MIT 研究,过去几年,科学家已经开发出能够分析大量输入(包括声音和图像)的深度神经网络。这些网络可以识别共享的特征,使它们能够对目标词或对象进行分类。目前,这些模型是该领域的主要模型,用于复制生物传感系统。
NTT 研究院高级科学家和哈佛大学脑科学中心的研究员 Hidenori Tanaka,以及其他三位科学家提出了克服简单微调的局限性的方法,简单微调是减少深度神经网络错误或“损失”的现状方法。他们提出了一个新的算法,可以减少模型对偏见易感属性的依赖。
他们通过模式连接的视角研究了神经网络的损失景观,观察到通过训练数据获得的神经网络最小化器是通过简单的低损失路径连接的。特别是,他们问了以下问题:依赖于不同机制进行预测的最小化器是否通过简单的低损失路径连接?
他们发现,简单的微调无法从根本上改变模型的决策机制,因为它需要移动到损失景观中的不同山谷。相反,你需要驱动模型跨越分离“汇”或“山谷”的低损失路径。作者称这种纠正算法为基于连接的微调(CBFT)。
在此发展之前,一个深度神经网络,用于分类图像(例如本研究中使用的鱼的插图),使用对象形状和背景作为输入参数进行预测。其损失最小化路径将在机制上操作不同模式:一个依赖于合法属性的形状,另一个依赖于背景颜色的虚假属性。因此,这些模式将缺乏线性连接性,或简单的低损失路径。
研究团队通过考虑两个使用背景和对象形状作为预测输入属性的参数集来理解模式连接的机制视角。然后他们问自己,使用这些机制的最小化器是否通过低损失路径连接?这些机制的差异是否影响其连接路径的简单性?我们是否可以利用这种连接来在使用我们期望的机制的最小化器之间切换?
换句话说,深度神经网络,取决于它们在特定数据集上的训练,可能会在测试其他数据集时表现出非常不同的行为。该团队的提议归结为共享相似性的概念。它建立在模式连接的前一个想法之上,但带有一个转折——它考虑了类似机制的工作方式。他们的研究导致了以下令人着迷的发现:
- 具有不同机制的最小化器可以通过复杂的非线性方式连接
- 当两个最小化器线性连接时,它与它们的模型在机制方面的相似性密切相关
- 简单的微调可能不足以消除在早期训练中获得的不需要的特征
- 如果你在景观中找到线性断开的区域,你可以对模型的内部工作进行高效的更改。
虽然这项研究是利用人工智能全部潜力的重要一步,但人工智能周围的道德问题可能仍然是一个上升的战斗。技术人员和研究人员正在努力应对人工智能和其他大型语言模型中的其他道德弱点,例如隐私、自主性和责任。
人工智能可以用来收集和处理大量的个人数据。未经授权或不道德地使用这些数据可能会损害个人隐私,导致对监视、数据泄露和身份盗窃的担忧。人工智能还可能在其自主应用(如自动驾驶汽车)方面构成责任威胁。建立问责制和责任的法律框架和道德标准将在未来几年至关重要。
总之,生成式人工智能技术的快速增长为各个行业带来了希望,包括金融、医疗和交通。尽管这些发展很有前景,但人工智能周围的道德问题仍然很大。随着我们进入人工智能的变革时代,技术人员、研究人员和政策制定者必须共同努力,建立法律框架和道德标准,以确保人工智能技术在未来几年内的负责任和有益使用。NTT 研究院和密歇根大学的科学家们已经领先一步,提出了一个可能消除人工智能偏见的算法。












