人工智能反馈循环：在AI生成内容时代维持模型生产质量

生产部署的AI模型需要一个强大的持续性能评估机制。这就是AI反馈循环的作用，确保模型的性能一致性。

让我们听听埃隆·马斯克的意见：

“我认为拥有一个反馈循环非常重要，你不断思考自己做了什么和如何做得更好。”

对于所有AI模型，标准程序是部署模型，然后定期使用最新的真实世界数据重新训练，以确保其性能不会恶化。但是，随着生成式AI的迅速崛起，AI模型训练变得异常和容易出错。这是因为在线数据源（互联网）正在逐渐成为人类生成和AI生成数据的混合。

例如，今天许多博客都采用了由LLM（大型语言模型）如ChatGPT或GPT-4驱动的AI生成文本。许多数据源包含使用DALL-E2或Midjourney创建的AI生成图像。此外，AI研究人员正在使用生成式AI生成的合成数据来训练他们的模型。

因此，我们需要一个强大的机制来确保AI模型的质量。这就是AI反馈循环的需求变得更加重要的原因。

什么是AI反馈循环？

AI反馈循环是一个迭代过程，其中AI模型的决策和输出被持续收集和用于增强或重新训练相同的模型，导致持续学习、开发和模型改进。在这个过程中，AI系统的训练数据、模型参数和算法会根据系统内部生成的输入更新和改进。

主要有两种类型的AI反馈循环：

1. 正反馈循环： 当AI模型生成准确的结果时，用户会通过反馈循环给予正反馈，这反过来会加强未来结果的准确性。这种反馈循环被称为正反馈循环。
2. 负反馈循环： 当AI模型生成不准确的结果时，用户会通过反馈循环报告错误，这反过来会尝试通过修复错误来提高系统的稳定性。这种反馈循环被称为负反馈循环。

两种类型的AI反馈循环都可以实现持续的模型开发和性能改进。它们不是孤立地使用或应用的。一起，它们可以帮助生产部署的AI模型了解什么是正确的，什么是错误的。

AI反馈循环的阶段

AI模型中的反馈机制高级插图。 来源

了解AI反馈循环的工作原理对于解锁AI开发的全部潜力至关重要。让我们探索AI反馈循环的各个阶段。

1. 反馈收集： 收集相关的模型结果用于评估。通常，用户会对模型结果提供反馈，这些反馈然后用于重新训练。或者，可以使用外部数据来自网上，用于细化系统性能。
2. 模型重新训练： 使用收集的信息，AI系统会被重新训练，以便更好地预测、提供答案或执行特定活动，方法是改进模型参数或权重。
3. 反馈集成和测试： 重新训练后，模型会被再次测试和评估。在这个阶段，来自主题专家的反馈也会被纳入，以突出数据之外的问题。
4. 部署： 在验证更改后，模型会被重新部署。在这个阶段，模型应该在新的真实世界数据上表现更好，导致用户体验的改善。
5. 监控： 模型会被持续监控，使用指标来识别潜在的性能下降，如漂移。然后，反馈循环继续。

生产数据和AI模型输出中的问题

构建强大的AI系统需要对生产数据（真实世界数据）和模型输出中的潜在问题有深入的理解。让我们看一下几个可能成为AI系统准确性和可靠性障碍的问题：

1. 数据漂移： 当模型开始接收来自不同分布的真实世界数据时，相比之下模型的训练数据分布会发生变化。
2. 模型漂移： 模型的预测能力和效率会随着时间的推移而下降，这是由于真实世界环境的变化所致。这被称为模型漂移。
3. AI模型输出与真实世界决策： AI模型会产生不符合真实世界利益相关者决策的输出。
4. 偏差和公平性： AI模型可能会出现偏差和公平性问题。例如，在Janelle Shane的TED演讲中，她描述了亚马逊停止开发简历排序算法的决定，因为它存在性别歧视。

当AI模型训练在AI生成内容上时，这些问题可能会进一步增加。为什么？让我们更详细地讨论这个问题。

AI生成内容时代的AI反馈循环

在生成式AI迅速采用之际，研究人员研究了一种被称为模型崩溃的现象。他们将模型崩溃定义为：

“一种影响多代学习生成模型的退化过程，生成的数据最终会污染下一代模型的训练集；训练在受污染的数据上，模型会误解现实。”

模型崩溃包括两个特殊情况，

• 早期模型崩溃 发生在“模型开始丢失分布尾部的信息”，即训练数据分布的极端端。
• 晚期模型崩溃 发生在“模型将原始分布的不同模式纠缠在一起，并收敛到一个与原始分布相差甚远的分布，通常具有很小的方差。”

模型崩溃的原因

为了解决这个问题，AI从业者需要了解模型崩溃的原因，分为两个主要类别：

1. 统计近似误差： 这是由有限的样本数量引起的主要误差，它会随着样本数量接近无穷大而消失。
2. 函数近似误差： 这个误差源于模型（如神经网络）无法捕捉需要从数据中学习的真实底层函数。

多个模型世代受到模型崩溃影响的模型输出示例。 来源

AI生成内容如何影响AI反馈循环

当AI模型训练在AI生成内容上时，它会对AI反馈循环产生破坏性影响，并可能导致重新训练的AI模型出现许多问题，例如：

• 模型崩溃： 如上所述，模型崩溃是AI反馈循环包含AI生成内容时的可能结果。
• 灾难性遗忘： 持续学习中的一个典型挑战是，模型会在学习新信息时忘记以前的样本。这被称为灾难性遗忘。
• 数据污染： 它指的是将操纵性的合成数据输入AI模型，以损害其性能，导致其产生不准确的输出。

企业如何为其AI模型创建强大的反馈循环？

企业可以通过在其AI工作流中使用反馈循环来受益。按照以下三个主要步骤来增强AI模型的性能。

• 来自主题专家的反馈： 主题专家在其领域具有丰富的知识，并了解AI模型的使用。他们可以提供见解，以增加模型与真实世界环境的吻合度，从而提高正确结果的可能性。另外，他们可以更好地管理和治理AI生成的数据。
• 选择相关的模型质量指标： 选择适合任务的正确评估指标，并根据这些指标监控模型的生产性能，可以确保模型的质量。AI从业者还使用MLOps工具进行自动评估和监控，以便在模型的生产性能开始恶化时提醒所有利益相关者。
• 严格的数据策划： 当生产模型被重新训练在新数据上时，它们可能会忘记过去的信息，因此，策划高质量的数据以符合模型的目的至关重要。这些数据可以与用户反馈一起用于重新训练模型，以确保质量。

要了解更多关于AI的进展，请访问Unite.ai。