思想领袖

GPT-4 会让我们更接近真正的人工智能革命吗？

发布时间

1年前

2023 年 1 月 10 日

自 3 年 2020 月推出 GPT-4 以来，已经快三年了。从那时起，人工智能文本生成模型因其创建看起来和听起来都像人类编写的文本的能力而引起了广泛关注。现在看来，该软件的下一个版本 GPT-2023 即将推出，预计发布日期为 XNUMX 年初。

尽管这条人工智能新闻备受期待，但 GPT-4 的确切细节却相当粗略。 GPT-4 背后的公司 OpenAI 尚未公开披露有关新模型的太多信息，例如其特性或功能。尽管如此，人工智能领域的最新进展，特别是自然语言处理 (NLP) 方面的进展，可能会为我们对 GPT-4 的期望提供一些线索。

什么是GPT？

在了解具体细节之前，首先建立关于 GPT 是什么的基线会很有帮助。 GPT 代表生成式预训练 Transformer，指的是一种深度学习神经网络模型，该模型根据互联网上的可用数据进行训练，以创建大量机器生成的文本。 GPT-3是该技术的第三代，是目前最先进的人工智能文本生成模型之一。

GPT-3 的运行方式有点像 Siri 或 Alexa 等语音助手，只是规模要大得多。您可以要求 GPT-3 在短短几分钟内写出一本完整的电子书，或者在不到一分钟的时间内生成 100 个社交媒体帖子创意，而不是要求 Alexa 播放您最喜欢的歌曲或让 Siri 输入您的文本。用户所需要做的就是提供提示，例如“给我写一篇关于创造力重要性的 500 字文章”。只要提示清晰具体，GPT-3 就可以写出您要求的任何内容。

自向公众发布以来，GPT-3 已经找到了许多商业应用。公司正在使用它来进行文本摘要、语言翻译、代码生成以及几乎所有写作任务的大规模自动化。

也就是说，虽然 GPT-3 在创建高度可读的类似人类文本的能力方面无疑非常令人印象深刻，但它还远非完美。当被要求写较长的文章时，问题往往会突然出现，特别是当涉及到需要洞察力的复杂主题时。例如，为网站生成计算机代码的提示可能会返回正确但次优的代码，因此人类编码人员仍然需要进行改进。对于大型文本文档来说，这也是一个类似的问题：文本量越大，就越有可能出现需要人类作家修复的错误（有时是搞笑的错误）。

简而言之，GPT-3 并不能完全替代人类作家或编码员，也不应该将其视为人类作家或编码员。相反，GPT-3 应该被视为一种写作助手，当人们需要生成博客文章想法或广告文案或新闻稿的粗略提纲时，它可以节省大量时间。

更多参数=更好？

关于人工智能模型需要了解的一件事是它们如何使用参数进行预测。 AI 模型的参数定义学习过程并提供输出结构。人工智能模型中的参数数量通常被用作衡量性能的指标。参数越多，模型就越强大、越平滑、越可预测，至少根据尺度假设.

例如，1 年发布 GPT-2018 时，它有 117 亿个参数。一年后发布的 GPT-2 拥有 1.2 亿个参数，而 GPT-3 则将参数数量提升至 175 亿个。根据 2021 年 XNUMX 月的采访接线与 OpenAI 合作的 Cerebras 公司创始人兼首席执行官 Andrew Feldman 提到，GPT-4 将拥有大约 100 万亿个参数。这将使 GPT-4 比 GPT-100 强大 3 倍，这是参数大小的巨大飞跃，这是可以理解的，这让很多人非常兴奋。

然而，尽管 Feldman 提出了崇高的主张，但我们有充分的理由认为 GPT-4 实际上不会拥有 100 万亿个参数。参数数量越多，由于需要大量的计算能力，模型的训练和微调成本就越高。

另外，决定模型有效性的因素不仅仅是参数数量。举个例子威震天-图灵 NLG，由 Nvidia 和 Microsoft 构建的文本生成模型，拥有超过 500 亿个参数。尽管规模很大，MT-NLG 在性能方面仍无法接近 GPT-3。简而言之，更大并不一定意味着更好。

很有可能，GPT-4 确实会比 GPT-3 有更多的参数，但这个数字是否会高出一个数量级还有待观察。相反，OpenAI 可能正在追求其他有趣的可能性，例如专注于算法设计和对齐方面的定性改进的精简模型。这种改进的确切影响很难预测，但众所周知，稀疏模型可以通过所谓的条件计算来降低计算成本，即并非人工智能模型中的所有参数都会一直触发，这类似于人脑中的神经元如何运作。

那么，GPT-4 能做什么呢？

在 OpenAI 发布新声明甚至发布 GPT-4 之前，我们只能猜测它与 GPT-3 有何不同。无论如何，我们可以做出一些预测

尽管人工智能深度学习发展的未来是多模式的，但 GPT-4 很可能仍然是纯文本的。作为人类，我们生活在一个充满不同音频、视觉和文本输入的多感官世界。因此，人工智能的发展最终不可避免地会产生一种可以融合多种输入的多模态模型。

然而，一个好的多模态模型比纯文本模型更难设计。目前这项技术还不存在，根据我们对参数大小限制的了解，OpenAI 很可能专注于扩展和改进纯文本模型。

GPT-4 也可能会减少对精确提示的依赖。 GPT-3的缺点之一是需要仔细编写文本提示才能得到你想要的结果。如果提示写得不仔细，您最终可能会得到不真实、有毒甚至反映极端主义观点的输出。这是所谓的“对齐问题”的一部分，它指的是创建完全理解用户意图的人工智能模型所面临的挑战。换句话说，人工智能模型与用户的目标或意图不一致。由于人工智能模型是使用互联网上的文本数据集进行训练的，因此人类的偏见、谎言和偏见很容易进入文本输出。

也就是说，有充分的理由相信开发人员在对齐问题上取得了进展。这种乐观情绪来自于 InstructGPT 开发中的一些突破，InstructGPT 是 GPT-3 的更高级版本，根据人类反馈进行训练，以更紧密地遵循指令和用户意图。人类评委发现，InstructGPT 对良好提示的依赖程度远低于 GPT-3。

然而，应该指出的是，这些测试仅针对 OpenAI 员工进行，这是一个相当同质的群体，在性别、宗教或政治观点上可能没有太大差异。可以肯定的是，GPT-4 将接受更加多样化的培训，这将改善不同群体的一致性，但程度如何还有待观察。