GPT-4 是否会带来真正的 AI 革命？

自 2020 年 5 月 GPT-3 推出以来，已经过去了近三年。自那时以来，AI 文本生成模型因其能够创建类似人类写作的文本而引起了很多关注。现在，GPT-4 的下一个版本似乎即将推出，预计发布日期为 2023 年初。

尽管这一 AI 消息备受期待，但关于 GPT-4 的细节仍然很少。开发 GPT-4 的公司 OpenAI 尚未公开披露新模型的特点或能力。然而，近期在 AI 领域，特别是自然语言处理（NLP）方面的进展可能会给我们一些线索，关于我们可以从 GPT-4 期望什么。

什么是 GPT？

在讨论 GPT-4 的细节之前，首先了解什么是 GPT 是很有帮助的。GPT 代表生成式预训练变换器，指的是一种深度学习神经网络模型，通过在互联网上可用的数据进行训练，生成大量机器生成的文本。GPT-3 是这一技术的第三代，也是目前可用的最先进的 AI 文本生成模型之一。

可以把 GPT-3 想象成一个大规模的语音助手，类似于 Siri 或 Alexa，但其规模要大得多。与其让 Alexa 播放您最喜欢的歌曲或让 Siri 输入您的文本，您可以要求 GPT-3 在几分钟内写一整本电子书，或在不到一分钟内生成 100 个社交媒体帖子创意。用户只需要提供一个提示，例如“写一篇关于创造力重要性的 500 字文章”。只要提示清晰明确，GPT-3 就可以写几乎任何您要求它写的东西。

自从向公众发布以来，GPT-3 已经找到很多商业应用。公司正在使用它进行文本摘要、语言翻译、代码生成和几乎所有写作任务的大规模自动化。

然而，尽管 GPT-3 在创建类似人类的文本方面非常令人印象深刻，但它远非完美。当要求它写更长的文章，特别是需要洞察力的复杂主题时，问题就会出现。例如，生成计算机代码的提示可能会返回正确但次优的代码，因此人类编码器仍需要进入并进行改进。对于大型文本文档也是如此：文本量越大，错误（有时是幽默的错误）出现的可能性就越大，需要人类作家进行修复。

简单来说，GPT-3 不是人类作家或编码器的完全替代品，也不应该被认为是这样。相反，GPT-3 应该被视为一个写作助手，可以在需要生成博客文章创意或广告文案大纲时为人们节省大量时间。

更多参数 = 更好？

需要了解的是，AI 模型如何使用参数来进行预测。AI 模型的参数定义了学习过程，并为输出提供结构。通常，AI 模型的参数数量被用作性能的衡量标准。参数越多，模型越强大，越平滑，越可预测，至少根据 比例假说 是这样。

例如，当 GPT-1 在 2018 年发布时，它有 1.17 亿个参数。GPT-2 在一年后发布时，有 12 亿个参数，而 GPT-3 将参数数量提高到了 175 亿。根据 2021 年 8 月的一次采访，Cerebras 的创始人和 CEO 安德鲁·费尔德曼（Andrew Feldman）提到，GPT-4 将拥有大约 100 万亿个参数。这将使 GPT-4 比 GPT-3 强大 100 倍，这是一个令人兴奋的参数规模的飞跃。

然而，尽管费尔德曼做出了宏伟的声明，但有很好的理由相信 GPT-4 实际上不会有 100 万亿个参数。参数数量越大，模型的训练和微调成本就越高，因为需要大量的计算能力。

此外，决定模型有效性的因素不仅仅是参数数量。以 Nvidia 和 Microsoft 开发的文本生成模型 Megatron-Turing NLG 为例，它拥有超过 500 亿个参数。尽管其规模庞大，但它在性能方面并不比 GPT-3 更好。简而言之，参数越多并不一定意味着模型越好。

很可能，GPT-4 确实会比 GPT-3 有更多的参数，但参数数量是否会大幅增加仍有待观察。相反，OpenAI 可能正在探索其他有趣的可能性，例如一个更精简的模型，专注于算法设计和对齐的定性改进。这种改进的确切影响很难预测，但可以确定的是，一个稀疏模型可以通过条件计算减少计算成本，即并非所有模型参数都会同时激活，这与人类大脑中的神经元工作方式类似。

GPT-4 能做什么？

在 OpenAI 发布新的声明或发布 GPT-4 之前，我们只能对 GPT-4 与 GPT-3 的不同之处进行推测。尽管如此，我们仍然可以做出一些预测。

尽管 AI 深度学习开发的未来是多模态的，但 GPT-4 很可能仍然是文本only。作为人类，我们生活在一个充满不同音频、视觉和文本输入的多感官世界。因此，AI 开发最终会产生一个多模态模型，能够整合各种输入。

然而，一个好的多模态模型比文本only模型更难设计。技术还不够成熟，基于我们对参数规模限制的了解，很可能 OpenAI 正在专注于扩展和改进文本only模型。

也很可能 GPT-4 将不再那么依赖精确的提示。GPT-3 的一个缺点是文本提示需要仔细编写才能得到期望的结果。当提示没有仔细编写时，输出可能是虚假的、有毒的，甚至反映极端主义观点。这是所谓的“对齐问题”，它指的是在创建完全理解用户意图的 AI 模型时遇到的挑战。换句话说，AI 模型与用户的目标或意图不一致。由于 AI 模型是使用互联网上的文本数据集进行训练的，因此很容易让人类的偏见、虚假信息和偏见进入文本输出。

然而，有理由相信开发人员正在对齐问题上取得进展。这一乐观态度来自于 InstructGPT 的一些突破，InstructGPT 是 GPT-3 的一个更先进的版本，通过人类反馈训练以更好地遵循指令和用户意图。人类评估者发现 InstructGPT 比 GPT-3 少依赖良好的提示。

然而，值得注意的是，这些测试仅在 OpenAI 员工中进行的，他们可能在性别、宗教或政治观点方面并不多样。很可能 GPT-4 将接受更多样化的训练，以提高不同群体的对齐度，尽管这种提高的程度尚不清楚。

GPT-4 会取代人类吗？

尽管 GPT-4 很有前景，但它不太可能完全取代人类作家和编码器的需求。从参数优化到多模态、对齐等方面，还有很多工作要做。可能需要很多年才能看到一个真正理解现实生活中复杂性和细微差别的文本生成器。

尽管如此，仍然有很好的理由对 GPT-4 的到来感到兴奋。参数优化——而不是简单的参数增长——可能会导致一个具有远超其前身的计算能力的 AI 模型。改进的对齐也可能使 GPT-4 对用户更加友好。

此外，我们仍然处于 AI 工具的开发和采用初期。人们不断发现该技术的新用例，随着人们在工作场所使用 AI 的信任和舒适度的提高，几乎可以肯定，我们将在未来几年看到 AI 工具在几乎所有商业领域的广泛采用。